AI 토큰 사용량을 KPI로 삼는 순간 — 측정이 목표를 왜곡한다

토큰 리더보드가 만든 낭비

최근 온라인 커뮤니티에서 Meta의 AI 토큰 사용량 리더보드 사례가 화제가 됐어요. 누가 AI를 가장 많이 쓰는지 순위를 매긴 거죠. 그런데 결과는 예상과 달랐습니다. 상위권은 실제 생산성이 높은 팀이 아니라, 밤새 유휴 에이전트를 돌려 토큰을 낭비한 직원들이었다고 해요. 저는 이 사례를 보며 "역시 측정하는 순간 그게 목표가 되는구나" 싶었습니다. AI 도입을 고민하는 기업이라면, KPI 설계 단계에서 이 함정을 반드시 경계해야 한다고 생각해요. 왜냐면 잘못된 지표는 오히려 조직을 더 비효율적으로 만들기 때문이거든요.

AI 사용량이 성과가 될 수 없는 이유

저도 작년에 비슷한 경험을 했어요. 회사에서 "AI 도구 활용률"을 팀 목표로 세웠는데, 3개월 뒤 확인해보니 실제 업무 개선은 거의 없었습니다. 대신 간단한 질문을 AI에 반복해서 던지거나, 쓸모없는 코드 생성 요청을 늘리는 식으로 수치만 채운 거더라고요. 이게 바로 굿하트의 법칙이에요. "측정 대상이 목표가 되는 순간, 그것은 좋은 측정 대상이 되기를 멈춘다"는 원칙이죠.

역사적으로 비슷한 사례가 많습니다. 1980~90년대 소프트웨어 업계에서 "코드 라인수(LOC)"를 생산성 지표로 쓴 적이 있어요. 결과는? 개발자들이 한 줄로 쓸 수 있는 코드를 세 줄로 늘렸고, 유지보수는 더 어려워졌죠. Meta의 토큰 리더보드도 똑같은 패턴입니다. 수치는 올라가는데 실질적인 가치는 사라지는 거예요.

제가 관찰한 바로는, AI 도입 초기 기업들이 가장 자주 저지르는 실수가 이겁니다. "일단 많이 써야 효과가 나겠지"라는 가정 하에 사용량을 KPI로 잡는 거죠. 하지만 AI는 도구예요. 망치를 많이 휘둘렀다고 집이 잘 지어지는 게 아니잖아요. 중요한 건 어디에, 어떻게 쓰느냐인데 말이죠.

구체적으로 봤을 때, 토큰 사용량은 비용 지표일 뿐입니다. 성과는 "이 AI가 몇 시간을 절약했나", "오류를 몇 건 줄였나", "고객 만족도가 얼마나 올랐나" 같은 결과로 측정돼야 해요. 그런데 이런 질적 지표는 측정이 까다롭다 보니, 손쉬운 정량 지표에 의존하게 되는 거죠.

그럼 AI 성과는 어떻게 측정할까요?

여기서 반론이 나올 수 있어요. "그럼 대체 뭘 측정하란 말이냐"는 거죠. AI 도입 효과를 정량화하지 않으면 예산 확보도 어렵고, 개선 방향도 모호해진다는 지적이에요. 일리 있는 말입니다.

제 생각엔, 측정 자체가 문제는 아니에요. 문제는 "무엇을" 측정하느냐죠. 토큰 사용량 대신 "AI로 자동화한 작업 중 인간 개입 없이 완료된 비율", "AI 제안을 실제 적용한 횟수", "AI 도입 전후 작업 시간 차이" 같은 걸 봐야 합니다. 이건 수집이 번거롭지만, 실제 가치와 연결돼 있어요.

또 다른 반론은 "초기엔 일단 많이 써봐야 익숙해진다"는 거예요. 맞아요, 학습 곡선은 필요하죠. 하지만 그걸 KPI로 삼는 순간, 학습이 아니라 수치 게임이 됩니다. 차라리 "AI 활용 베스트 프랙티스 공유 횟수", "AI 도입으로 해결한 실제 문제 사례 수" 같은 질적 지표를 병행하는 게 낫다고 봐요.

마지막으로, "우리 회사는 그럴 리 없다"고 생각할 수도 있어요. Meta만큼 큰 조직도 이런 함정에 빠지는데, 규모가 작다고 안전한 건 아니에요. 오히려 작은 팀일수록 잘못된 지표 하나가 문화 전체를 왜곡시킬 위험이 크거든요.

측정 설계가 문화를 만든다

Meta 사례에서 배울 건 명확합니다. AI 도입 시 KPI는 "사용량"이 아니라 "결과"여야 한다는 거예요. 그리고 그 결과는 비즈니스 목표와 직접 연결돼야 하고요.

제가 요즘 실천하는 방법은 이래요. 매주 금요일, AI를 써서 해결한 문제를 하나씩 기록합니다. "몇 토큰 썼나"가 아니라 "어떤 문제를 어떻게 풀었나"를 쓰는 거죠. 3개월 뒤 돌아보면, 숫자보다 훨씬 명확하게 가치가 보여요. 여러분 팀에서도 비슷한 방식으로 시작해보면 어떨까요?

AI는 강력한 도구지만, 측정 방식을 잘못 잡으면 독이 됩니다. 토큰 리더보드가 아니라, 진짜 문제 해결 사례가 쌓이는 조직이 되길 바랍니다.

자주 묻는 질문

Q. 경영진이 정량 지표를 요구하면 어떻게 설득하나요? A. 토큰 사용량 옆에 "AI가 절감한 총 작업 시간"을 병기하세요. 예를 들어 "이번 달 50만 토큰 사용, 추정 120시간 절감"처럼요. 비용과 효과를 함께 보여주면 대화가 수월해집니다.

Q. 팀원들이 AI를 거의 안 쓰는데, 강제해야 할까요? A. 강제는 역효과예요. 대신 "이번 주 AI로 해결한 문제 한 가지"를 회의 때 돌아가며 공유해보세요. 성공 사례가 쌓이면 자발적으로 따라오게 되더라고요.

Q. 토큰 리더보드를 이미 운영 중인데, 폐지해야 할까요? A. 즉시 폐지보다는, 리더보드 옆에 "AI로 해결한 실제 문제 사례 수"를 추가하세요. 점진적으로 후자의 비중을 높이면 문화 충격 없이 전환 가능합니다.

Q. 스타트업처럼 빠르게 실험하는 조직에선 어떻게 적용하나요? A. 오히려 스타트업이 유리해요. "이번 스프린트에서 AI가 실제로 기여한 것"을 매주 회고에 포함시키면, 측정 부담 없이 방향성을 유지할 수 있습니다. 정성 평가로도 충분해요.