남은 데이터를 확인하던 우리가 이제 AI 토큰을 세는 이유

AI 토큰 사용량을 관리해야 한다는 이야기를 들으면 스마트폰이 처음 보급되던 때가 떠오른다. 처음에는 밖에서도 인터넷을 쓸 수 있게 하는 게 중요했다. 그러다 출퇴근길에 유튜브를 보는 일이 익숙해지면서, 누군가는 데이터 잔량을 확인했고 누군가는 데이터가 더 넉넉한 요금제를 골랐다.

AI를 도입한 기업에서도 비슷한 변화가 보인다. 직원들이 일단 써보도록 장려하던 회사가, 이제는 어떤 업무에 얼마나 쓰고 무엇을 얻었는지 묻기 시작했다.

유튜브가 일상으로 들어오자, 남은 데이터가 신경 쓰이기 시작했다

스마트폰 보급 초기 국내 정책의 과제 중 하나는 무선인터넷을 쓰는 데 드는 부담을 낮추는 일이었다. 방송통신위원회는 2010년 업무계획에서 스마트폰 전용 요금제와 무선 데이터 요금 인하를 추진 방향으로 제시했다. 이후 국내 무선 데이터 트래픽은 2010년 1월 449TB에서 2011년 1월 5,463TB로 12배 넘게 늘었다.

동영상은 데이터 사용 방식이 얼마나 달라졌는지 보여준다. 네트워크 분석업체 샌드바인에 따르면 2011년 하반기 북미 모바일망에서 유튜브는 이용이 몰리는 시간대 트래픽의 18.2%를 차지했다. 휴대전화로 웹페이지를 열거나 메일을 확인하던 때와 달리, 이동 중에 영상을 보는 습관도 데이터 사용량에 영향을 주기 시작했다.

요금제도 이런 사용 패턴의 차이를 담기 시작했다. 미국 AT&T는 2010년 월 200MB와 2GB 요금제를 내놓고, 사용량을 앱에서 확인하거나 문자로 알림을 받을 수 있게 했다. 국내에서는 KT가 2012년 LTE 요금제를 출시하면서 초과 요금 부담을 줄이는 안심차단 옵션을 도입했다. 적게 쓰는 사람은 낮은 요금제에서 사용량을 관리하고, 많이 쓰는 사람은 더 큰 제공량을 선택할 수 있었다.

AI를 적극 권하던 Shopify는 왜 토큰 사용량 순위표를 없앴을까?

(개발 지식 없이도 쉽고 빠르게 자신만의 온라인 쇼핑몰을 만들고 운영할 수 있게 해주는 글로벌 전자상거래 플랫폼 기업)

Shopify는 2025년 직원들이 업무에서 AI를 자연스럽게 활용하기를 기대한다고 밝혔다. 이를 위해서 개발 조직에서는 토큰을 많이 쓴 사람을 보여주는 순위표도 있었다. 도입 초기에는 AI를 많이 쓰는 사람이 AI로 어떤 일을 하는지 살펴보고, 새로운 활용법을 발견할 수 있었다.

시간이 지나자 순위 자체가 목표가 되는 문제가 생겼다. 2026년 순위표를 사용량 대시 보드로 바꾸고, 지출이 급증하면 사용자에게 의도한 지출인지 확인하는 장치를 뒀다. 오래 걸리는 작업에 그 비용을 쓸 이유가 있으면 계속 진행할 수 있고, 잊고 있던 작업이 백그라운드에서 돌고 있는 등 불필요한 작업이라면 멈추도록 했다.

모바일 데이터와 닮은 지점이 여기 있다. 사용량을 보여주는 숫자는 초기에 사람들이 새로운 것을 얼마나 사용하는지를 알려준다. 이후에 사용이 일반적으로 되면 같은 양을 사용하더라도 어디에 사용하고 있는지 확인하게 된다. 그다음 판단은 진행한 일의 결과를 봐야 판단을 할 수 있다.

고객 문의를 분류하는 일이라면, 매번 제품 매뉴얼 전체를 보내는 방식과 관련 문단만 보내는 방식의 정확도를 비교해볼 수 있다. 정확도가 비슷하면 더 적은 비용으로 같은 일을 처리할 수 있다. 반대로 복잡한 장애를 분석할 때는 로그와 변경 이력을 충분히 제공하는 편이 엔지니어의 조사 시간을 줄일 수 있다. 이때 비용을 따지려면 토큰 지출과 함께 사람이 검토하고 다시 작업하는 시간도 봐야 한다.

AI를 처음 도입할 때는 “이 일에도 써봤나요?”라는 질문이 새로운 활용법을 찾는 데 도움이 된다. 이제 매일 AI에 맡기는 일이 생겼다면, 다음 질문은 조금 더 구체적이다.

“이 일을 원하는 품질로 끝내는 데 비용과 시간이 얼마나 드나요?”