LLM 비용 30% 줄이는 데이터 포맷 최적화: JSON 대신 TOON을 써야 하는 이유

LLM 성능과 비용을 결정짓는 '토큰(Token)'의 경제학

챗GPT, 클로드, 제미나이와 같은 대규모 언어 모델(LLM)을 활용할 때 우리는 흔히 모델의 지능에만 집중합니다. 하지만 실무 환경에서 가장 중요한 것은 '어떤 형식으로 데이터를 전달하는가'입니다. LLM은 텍스트를 숫자로 변환하는 토큰(Token) 단위를 사용하며, 이 토큰의 양은 곧 API 비용과 처리 속도(Latency)로 직결되기 때문입니다.

우리가 흔히 사용하는 JSON(JavaScript Object Notation)은 범용적이고 편리하지만, LLM 환경에서는 불필요한 문법적 기호로 인해 토큰을 과도하게 낭비하는 경향이 있습니다. 최근 AI 엔지니어링 분야에서 주목받는 TOON(Tensor Object Notation) 스타일의 데이터 최적화 기법은 이러한 JSON의 한계를 극복하고 효율성을 극대화하는 핵심 전략입니다.

---

1. JSON 포맷의 숨겨진 한계: 왜 LLM에 비효율적일까?

반복되는 키(Key)와 문법적 오버헤드

JSON은 데이터의 구조를 명확히 하기 위해 중괄호({}), 큰따옴표(""), 콜론(:), 쉼표(,)를 필수적으로 사용합니다. 또한, 리스트 형태의 데이터를 전송할 때마다 필드명(Key)이 반복해서 등장합니다.

• 토큰 밀도 저하: 실제 정보량보다 문법 기호가 차지하는 비중이 커져 정보 밀도가 낮아집니다.
• 컨텍스트 윈도우 낭비: 모델이 한 번에 처리할 수 있는 토큰 제한(Context Window) 내에 담을 수 있는 데이터 양이 줄어듭니다.
• 비용 증가: 불필요한 기호 하나하나가 모두 비용으로 환산됩니다.

실제 예시: JSON 데이터의 토큰 소모 구조

[
  {"id": 1, "name": "김철수", "role": "admin", "status": "active"},
  {"id": 2, "name": "이영희", "role": "user", "status": "inactive"}
]

위 예시에서 id, name, role 등의 키 값은 데이터가 늘어날수록 기하급수적으로 반복되며 토큰을 소모합니다.

---

2. 차세대 대안: TOON(Tensor Object Notation)이란?

TOON은 텐서(Tensor)와 같은 다차원 배열의 효율적인 구조를 데이터 표현에 차용한 방식입니다. 모든 데이터에 이름을 붙이는 대신, 구조(Schema)와 값(Value)을 분리하여 텍스트 밀도를 극대화합니다.

TOON의 3가지 핵심 최적화 원리

1. 헤더(Header) 선언: 데이터 필드명을 상단에 한 번만 정의합니다.
2. 구분자(Separator) 활용: 파이프(|)나 탭 같은 최소한의 기호로 데이터를 구분합니다.
3. 구조적 평탄화(Flattening): 중첩된 구조를 단순화하여 LLM이 맥락만으로 관계를 파악하게 유도합니다.

TOON으로 변환된 데이터 예시

#id|name|role|status
1|김철수|admin|active
2|이영희|user|inactive

JSON과 비교했을 때 반복되는 따옴표와 키 이름이 사라져, 시각적으로나 기술적으로 훨씬 간결해진 것을 알 수 있습니다.

---

3. JSON vs TOON 토큰 효율 비교 (Python 실험)

실제 gpt-4o 토크나이저를 사용하여 10개의 사용자 레코드를 처리했을 때의 효율성을 비교해 보았습니다.

import tiktoken
import json

encoding = tiktoken.encoding_for_model("gpt-4o")

# 1. JSON 방식: 키 값이 매번 반복됨
json_tokens = len(encoding.encode(json.dumps(users)))

# 2. TOON 방식: 헤더 1회 선언 후 값만 나열
toon_data = "id|name|role|dept\n" + "\n".join([f"{u['id']}|{u['name']}|{u['role']}|{u['dept']}" for u in users])
toon_tokens = len(encoding.encode(toon_data))

print(f"JSON 토큰: {json_tokens} vs TOON 토큰: {toon_tokens}")

비교 결과 및 기대 효과

• 토큰 절감: 데이터 구조에 따라 약 30% 이상의 토큰 절감이 가능합니다.
• 비용 최적화: 호출량이 많은 서비스일수록 운영 비용을 획기적으로 낮출 수 있습니다.
• 속도 향상: 입력 토큰이 줄어들면 모델의 초기 처리 속도(TTFT)가 단축됩니다.

---

4. 실무 적용 시나리오와 주의사항

TOON 도입이 효과적인 경우

• 대량의 DB 레코드 처리: 수백 개의 행 데이터를 LLM에 입력하여 요약하거나 분석할 때.
• RAG(검색 증강 생성): 검색된 지식 베이스의 내용을 모델에 주입하여 정확도를 높일 때.
• 반복적인 배치 작업: 정해진 형식의 데이터를 주기적으로 처리하는 AI 자동화 파이프라인.

구현 시 필수 체크리스트

1. 명확한 프롬프트 지침: "데이터는 파이프(|) 구분자로 구성된 TOON 형식이며 첫 줄은 헤더다"라고 모델에게 명시해야 합니다.
2. 구분자 충돌 방지: 데이터 본문에 파이프(|) 기호가 포함될 경우 이스케이프(Escape) 처리나 다른 특수문자 선택이 필수입니다.
3. 파싱 검증: LLM이 응답으로 TOON 형식을 내뱉을 경우, 이를 시스템에서 안전하게 읽어올 수 있는 유효성 검증 로직을 갖춰야 합니다.

---

결론: 기술적 선택이 서비스 경쟁력을 결정합니다

LLM 서비스의 성공은 단순히 모델의 성능에만 달려 있지 않습니다. 데이터를 얼마나 효율적으로 관리하고 비용을 최적화하느냐가 실질적인 비즈니스 지속 가능성을 결정합니다.

익숙한 JSON에서 벗어나 TOON 스타일의 데이터 최적화를 시도해 보세요. 작은 포맷의 변화만으로도 비용 절감, 속도 개선, 컨텍스트 확장이라는 세 마리 토끼를 동시에 잡을 수 있습니다. 지금 바로 여러분의 프롬프트 데이터 구조를 점검해 보시기 바랍니다.