진한 커피 향기

LLM 성능과 비용을 결정짓는 '토큰(Token)'의 경제학챗GPT, 클로드, 제미나이와 같은 대규모 언어 모델(LLM)을 활용할 때 우리는 흔히 모델의 지능에만 집중합니다. 하지만 실무 환경에서 가장 중요한 것은 '어떤 형식으로 데이터를 전달하는가'입니다. LLM은 텍스트를 숫자로 변환하는 토큰(Token) 단위를 사용하며, 이 토큰의 양은 곧 API 비용과 처리 속도(Latency)로 직결되기 때문입니다.우리가 흔히 사용하는 JSON(JavaScript Object Notation)은 범용적이고 편리하지만, LLM 환경에서는 불필요한 문법적 기호로 인해 토큰을 과도하게 낭비하는 경향이 있습니다. 최근 AI 엔지니어링 분야에서 주목받는 TOON(Tensor Object Notation) 스타일의 데이터..