AI 활용률 92%가 알려주지 않는 것 (FDE는 어떻게 사고해야 하는가)

학생 5천 명에게 AI를 제공했고 활용률은 92%다. 하지만 실제 학습 성과는 불분명하다.
다음 학기 AI 운영 전략을 제안하라.

며칠 전 저희가 진행했던 해커톤에 참여했던 대학생이 이런 과제를 보여주면서 물었어요.해커톤이 끝난 뒤에도 이 질문이 계속 남아 있었나 봅니다.

AI가 난무하는 시대에 이런 탐구정신을 나도 본받고 싶다.

AI를 쓰는 과정에서 사람이 진짜 사고했는지, 아니면 그냥 답만 받아 왔는지를 어떻게 구분하냐고요. 되게 좋은 질문이라 오늘은 이 얘기를 좀 해보려고 합니다.

AI 활용률은 아무것도 증명하지 않는다

AI 활용률 92%라는 숫자를 다시 보죠. 이 숫자는 사람들이 AI 화면을 얼마나 열었는지는 말해주지만, 그 안에서 무슨 일이 있었는지는 하나도 말해주지 않습니다. 문제를 정의하고 AI에게 검증을 요청한 92%일 수도 있고, 그냥 질문을 던지고 나온 답을 그대로 복붙한 92%일 수도 있어요. 숫자로는 이 둘이 구분이 안 됩니다.

 

이게 활용률만의 문제는 아니에요. 사람들이 흔히 사고의 증거라고 착각하는 신호들이 몇 개 더 있습니다.

 

대화 로그가 길면 뭔가 열심히 한 것 같죠. 그런데 질문을 열 번 던졌다는 게 열 번 생각했다는 뜻은 아닙니다. 같은 질문을 표현만 바꿔서 열 번 던졌을 수도 있어요. 결과물이 매끄러운 것도 마찬가지입니다. AI가 그럴듯한 오답을 내는 경우가 실제로 꽤 있거든요. 그럴듯하다는 게 문제예요. 산출물이 매끄러우면 사람들은 그 안의 사고 과정도 매끄러웠을 거라고 착각합니다. 질문의 개수, 대화의 길이, 결과물의 완성도, 활용률까지. 전부 겉에서 보이는 것들이고, 사고했는지를 확인하는 데는 가짜 신호에 가깝습니다.

 

그럼 진짜 신호는 뭘까요.

사고한다는 건 그릴 수 있다는 것이다

제가 아르바이트를 하는데 단골 손님의 장부를 따로 적고 있다고 해볼게요. 손님이 와서 식사를 하고 나 누구누구인데 이거 우리 장부에 달아놔 라고 말합니다.

 

이 한 문장 안에 이미 분기가 여러 개 들어 있어요. 단골인지 처음 온 사람인지에 따라 장부를 미리 준비해둘지 어디서 찾아올지가 갈리고, 이름과 시간을 적은 다음에는 누적 금액이 100만 원을 넘는지에 따라 그냥 기록할지 확인을 요청할지가 또 갈립니다.

 

저는 이걸 자료구조(CS)에서 쓰는 그래프로 봅니다. 노드는 동그라미, 엣지는 방향을 가진 직선이죠.[1] 이 인풋과 아웃풋, 그 사이의 분기를 AI 없이 그릴 수 있는가. 이게 제가 생각하는 사고하는 행동의 정의입니다.

 

그리고 이 구조는 그대로 옮겨 붙습니다. 장부 시스템이든 특정 대학교의 예산 시스템이든 똑같은 모양으로 들어가요. 그러니까 이건 장부에 대한 얘기가 아니라, 어떤 문제든 이런 식으로 쪼갤 수 있는가에 대한 얘기입니다.

 

한 가지 더 볼 게 있어요. 그릴 줄 아는 사람은 새로운 케이스가 왔을 때 반응이 다릅니다. 어느 날 처음 보는 손님이 단골처럼 장부를 달아달라고 하면, 그리지 못하는 사람은 당황합니다. 그린 사람은 당황하지 않아요. 기존 분기 어디에 이 케이스가 안 들어맞는지가 바로 보이니까, 분기를 하나 더 추가하면 된다는 걸 압니다. 사고했는지는 예외가 나타났을 때 제일 잘 드러납니다. 평소에는 둘 다 비슷해 보여요.

 

관계자가 여럿이면 그래프도 여럿이다

학생이 준 과제를 다시 보면, 상사, 교수, 담당자, 학생까지 관계자가 넷입니다. 이게 어려운 이유는 각자가 그리는 그래프가 다르기 때문이에요. 교수가 보는 성공은 학습 성과 개선이고, 담당자가 보는 성공은 예산 안에서 운영을 유지하는 것이고, 학생이 보는 성공은 과제를 편하게 끝내는 것입니다. 셋 다 같은 시스템을 보고 있는데 인풋과 아웃풋을 서로 다르게 정의하고 있는 거예요.

 

사고하는 사람은 이걸 하나의 그래프로 뭉개지 않습니다. 대신 각자의 그래프를 따로 그려보고, 어느 노드에서 이 그래프들이 겹치는지, 어디서 갈라지는지를 찾습니다. 겹치는 지점이 진짜 요구사항이고, 갈라지는 지점이 조율해야 할 지점이죠. 이해관계자 충돌은 없애야 할 문제가 아니라, 그래프가 여러 장이라는 뜻으로 받아들이면 오히려 다루기 쉬워집니다.

 

예를 들어 이 과제에서 담당자의 그래프와 교수의 그래프가 겹치는 지점은 하나예요. 활용률이 아니라 실제 성과로 예산을 정당화해야 한다는 것. 반면 학생의 그래프는 이 지점을 아예 지나가지 않을 수도 있습니다. 학생 입장에서는 그냥 과제를 무사히 제출하는 게 목표니까요. 이 어긋남을 미리 그려보지 않으면, 다음 학기 전략을 냈을 때 교수는 만족하는데 정작 학생들은 반발하는 상황이 벌어집니다.

 

이건 저희가 FDE로 일할 때 항상 마주치는 일이기도 해요. 저희와 구축 대상, 특정 대학의 사업단이나 교수님이 각자 다른 그래프를 갖고 있는 거고, 그 사이 간격은 원래 큽니다. 도메인을 아는 쪽과 기술을 아는 쪽이 다르니까요. 그 간격을 메우는 게 결국 소통이고, 소통도 따지고 보면 상대방의 그래프를 내 쪽으로 옮겨 그려보는 일입니다.

 

여기서 흔히 하는 실수가 있어요. 간격이 크니까 일단 우리 쪽 그래프부터 완성해놓고 나중에 맞춰보자고 넘어가는 겁니다. 그러면 늦습니다. 완성된 그래프 두 장을 나중에 겹쳐보면 어긋난 부분이 한두 곳이 아니에요. 처음부터 상대방의 그래프를 대충이라도 같이 그려가면서 가는 쪽이, 나중에 다시 그리는 것보다 훨씬 빠릅니다.

 

이 능력은 저절로 드러나지 않는다

왜 이게 지금 특히 문제가 되는지를 짚고 넘어가야 할 것 같아요.

AI가 없던 시절에는 이 구조화 능력이 강제로 드러났습니다. 코드를 짜려면 무조건 먼저 구조를 손으로 설계해야 했거든요. 분기를 안 그리고는 코드 자체가 안 나왔어요. 그러니까 코드가 나왔다는 것 자체가 이미 그 사람이 구조화를 했다는 증거였습니다.

 

지금은 다릅니다. 문제를 AI에게 바로 던져도 결과가 나와요. 구조화 단계를 건너뛸 수 있게 된 겁니다. 건너뛰어도 결과물은 나오니까, 이 사람이 구조를 그렸는지 안 그렸는지가 겉으로는 안 보여요. 예전에는 관문이었던 게 지금은 선택지가 됐습니다.

 

그래서 활용률이나 결과물만 보고는 판단할 수가 없는 거예요. 관문이 사라졌으니, 관문을 지났는지를 따로 확인해야 합니다. 이게 이 글의 요지예요.

 

이게 서서히 일어나는 일이라는 것도 짚어야 할 것 같아요. 처음엔 익숙한 부분만 건너뜁니다. 어차피 답이 뻔한 곳이니까요. 그런데 이게 몇 번 반복되면 건너뛰는 게 기본값이 됩니다. 나중에는 뻔하지 않은 부분도 일단 던져보고 결과를 보는 쪽으로 습관이 굳어요. 본인은 여전히 잘하고 있다고 느낍니다. 결과물은 계속 나오니까요. 근육이 빠지고 있다는 걸 알아채는 시점은, 정말 낯선 문제를 만나서 던졌는데 결과가 이상한데 어디가 이상한지조차 짚어내지 못할 때입니다. 그때는 이미 늦은 경우가 많아요.

 

코드는 쉬워졌지만, 이건 아니다

여기서 오해하기 쉬운 지점이 하나 있어요. 코드를 짜는 것 자체는 이제 어렵지 않습니다. 저희 FDE 업무에서도 뭔가를 코드화하는 부분에는 어려움이 없어요. 해자는[2] 이제 더 이상 코드가 아니게 되어버렸습니다.

 

그런데 방금 말한 그래프를 그리는 능력, 그러니까 문제를 인풋과 아웃풋과 분기로 쪼개는 능력은 코드 문법과는 다른 겁니다. 이건 AI가 대신 해주지 않아요. 정확히는, AI에게 이걸 대신 시키면 시키는 순간 이 사람이 사고했는지를 확인할 방법이 사라집니다. 코드는 누구나 짤 수 있게 됐지만, 그 코드가 왜 그렇게 생겨야 하는지를 그릴 수 있는 사람은 여전히 드뭅니다. 그러니까 해자는 코드에서 이 구조화 능력 쪽으로 옮겨간 겁니다.

 

이게 왜 옮겨가기만 하고 사라지지는 않느냐면, 구조화는 도메인마다 다시 그려야 하기 때문이에요. 장부 구조를 한 번 그려봤다고 해서 예산 시스템 구조가 저절로 나오는 게 아닙니다. 모양은 비슷해도 손님이 다르고 규칙이 다르고 예외가 다릅니다. 코드는 복사해서 재사용할 수 있지만, 이 도메인을 처음 보고 분기를 뽑아내는 능력은 매번 새로 써야 하는 근육이에요.

 

예를 들어 장부 구조를 그릴 줄 아는 사람에게 재고 관리 시스템을 준다고 해볼게요. 겉보기엔 비슷합니다. 인풋이 들어오고 분기가 있고 아웃풋이 나가죠. 그런데 재고는 마이너스가 될 수 없다는 규칙이 있고, 발주 시점이라는 시간 조건이 끼어들고, 여러 창고 사이의 이동이라는 관계가 추가됩니다. 장부에서 썼던 분기 감각은 도움이 되지만, 그대로 복사해서는 안 맞아요. 매번 그 도메인의 규칙을 새로 물어보고 다시 그려야 합니다. 코드는 한 번 짜면 재사용되지만, 이 그리는 능력은 매번 그 도메인 앞에서 다시 발휘돼야 하는 거예요.

 

AI에게 정의를 맡기지 말고 평가를 맡겨라

그래서 AI를 쓰는 두 가지 방식이 완전히 다른 결과를 냅니다.

이거 어떻게 해야 될까요 라고 던지고 답을 받는 건 의존이에요. 반면 내가 문제를 정의하고, 내 나름의 방법을 만들고, 이걸 평가해달라고 AI에게 요청하는 건 다릅니다. 앞의 방식에서는 그래프를 그린 사람이 AI고, 뒤의 방식에서는 그래프를 그린 사람이 나예요. AI는 그 그림을 검토하는 역할일 뿐이고요.

 

말로는 비슷해 보이는데 실제로 던지는 질문이 다릅니다. 의존형은 이거 어떻게 해야 될까요 라고 묻습니다. 사고형은 내가 생각한 방법은 이건데, 이 부분에 구멍이 있는지, 더 나은 방법이 있는지 봐달라고 묻습니다. 둘 다 AI에게 물어보는 건 똑같아요. 그런데 앞의 질문은 답을 구하는 질문이고, 뒤의 질문은 이미 나온 답을 검증하는 질문입니다. 질문을 던지기 전에 이미 뭔가를 그려놨는지가 갈림길이에요.

 

똑같이 AI를 쓰고 있는데 한쪽은 사고를 넘겨버린 거고, 한쪽은 사고를 자기가 하고 검증만 맡긴 겁니다. 활용률로는 이 둘이 똑같아 보이지만, 실제로는 완전히 다른 일을 하고 있는 거죠.

 

패턴을 본다, 숫자를 보지 않는다

활용률 92%가 가짜 신호라고 했는데, 그러면 실제로는 뭘 보냐고 물으실 수 있을 것 같아요.

 

숫자가 아니라 패턴을 봅니다. 어떤 사람이 AI를 어떤 순서로 쓰는지 보면, 문제를 정의하는 질문을 먼저 던지는지 아니면 바로 해결책부터 요구하는지가 보입니다. 막히는 지점에서 뭘 하는지도 보이고요. 막히면 처음부터 다른 질문을 던지는 사람이 있고, 막힌 지점을 정확히 짚어서 그 부분만 다시 물어보는 사람이 있습니다. 후자는 자기가 어디서 막혔는지 이미 알고 있다는 뜻이에요. 그게 그래프를 갖고 있다는 증거입니다.

 

장부 얘기로 다시 돌아가면, 막혔을 때 이거 어떻게 정리해야 되나요 라고 처음부터 다시 묻는 사람과, 단골 판단 기준을 어디에 저장해야 할지 모르겠어요 라고 묻는 사람은 다릅니다. 뒤의 질문은 이미 전체 그래프를 그려놓고 그 안의 한 노드에서 막힌 거예요. 저는 이 질문의 해상도를 봅니다.

 

이게 저희가 하네스나[3] 코딩 에이전트를 고객에게 직접 써보게 하고, 그 사용 패턴을 분석하는 이유이기도 해요. 얼마나 썼는지가 아니라 어떻게 썼는지를 보는 거죠. 활용률 92%는 얼마나 썼는지의 숫자입니다. 저희가 실제로 보는 건 그 92% 안에서 이 사람이 어떤 순서로 질문을 던졌고, 막혔을 때 어떻게 반응했는가입니다.

 

저한테도 적용됩니다

이 글을 쓰면서 저한테도 물어봤어요. 저는 요즘 그래프를 얼마나 직접 그리고 있나.

 

솔직히 말하면 저도 가끔 익숙한 패턴이 나오면 그리지 않고 바로 코딩 에이전트한테 넘길 때가 있어요. 그게 틀렸다는 건 아니에요. 다만 그 순간 저도 관문을 하나 건너뛴 겁니다. 문제는 이걸 계속 건너뛰다 보면, 낯선 도메인을 만났을 때 그리는 근육 자체가 굳어 있다는 걸 그제야 알게 된다는 거예요. 제일 나쁜 시점에요.

 

남을 평가하는 기준을 만들어놓고 정작 저 자신한테는 안 물어보면 그 기준은 의미가 없죠. 저는 웬만하면 AI 없이 그래프를 먼저 그려봅니다. 내가 생각하는지, 생각한다고 착각하는지 확인하려고요.

FDE로 일하며 가장 중요한 "워크플로우" 작성. 가장 시간이 오래걸리지만 빼놓을 수 없는 단계.

그래서 이 사람에게 일을 맡길 수 있는가

결국 학생의 두 번째 질문, 이 사람에게 맡겨도 되겠다는 판단은 어디서 나오는가로 돌아옵니다.

 

제 답은 같아요. 그 사람 손에 애매한 문제를 하나 쥐여주고, 그걸 그래프로 그려보라고 하면 됩니다. AI 없이요. 손님 장부처럼 익숙한 소재가 아니어도 상관없습니다. 오히려 처음 보는 도메인일수록 좋아요. 그 사람이 진짜 구조화를 할 줄 아는지, 아니면 이전에 봤던 패턴을 외워서 흉내만 내는지가 낯선 문제에서 드러나거든요.

 

그리는 걸 지켜보면 뭘 먼저 묻는지가 보입니다. 그리지 못하는 사람은 바로 답을 내놓으려고 하고, 그리는 사람은 예외부터 묻습니다. 이게 처음 온 손님이면 어떻게 되나요, 라고요. 이 질문이 나오는 순간 저는 이 사람이 사고하고 있다는 걸 압니다. 그다음에 AI를 붙이든 안 붙이든 그건 부차적인 문제예요.

 

시간을 많이 들일 필요도 없어요. 10분이면 충분합니다. 화이트보드든 종이든 상관없고, AI 화면은 끄고 시작합니다. 완성된 그림을 보려는 게 아니라, 그리는 도중에 나오는 질문을 보려는 거니까요. 완벽하게 그리는 사람은 오히려 의심스럽습니다. 실제 업무는 그렇게 깔끔하지 않거든요. 제가 믿는 건 막혔을 때 정확히 어디서 막혔는지 짚어내는 사람입니다.

 

활용률 92%는 이 질문에 답을 주지 않습니다. 그림을 그릴 수 있는가, 그리고 예외 앞에서 무엇을 묻는가만이 답을 줍니다.

 

학생이 처음 물어본 두 개의 질문, 흔적을 어떻게 아는가와 맡겨도 되는가는 사실 하나였습니다. 흔적이 곧 신뢰의 근거였어요. 그리고 그 흔적은 화면 안에 있지 않았습니다. 화면 밖에서, 그 사람이 무엇을 먼저 그렸는가에 있었습니다.

---

주석

[1] 컴퓨터과학에서 그래프는 노드(정점)와 엣지(간선)로 이루어진 구조입니다. 방향성 있는 엣지는 한쪽으로만 흐르는 관계를 나타내며, 여기서는 프로세스의 분기와 흐름을 표현하는 데 쓰였습니다.

 

[2] 여기서 해자는 경제적 해자, 즉 경쟁자가 쉽게 따라오지 못하게 막아주는 구조적 우위를 뜻합니다. 코드를 짤 수 있다는 것 자체는 더 이상 그런 우위가 되지 못한다는 의미로 쓰였습니다.

 

[3] 하네스는 모델 호출 주변을 감싸는 실행 골격을 말합니다. 프롬프트 구성, 도구 호출, 반복 제어, 실패 처리 같은 것들을 묶어 놓은 층입니다.

참고

• 이 글은 실제 대학생에게 받은 질문을 계기로 썼습니다. FDE 조직을 어떻게 구성할지 다룬 지난 글의 후속편이기도 합니다.

이 글의 주장과 판단은 제 경험에서 나온 것입니다.