LLM 컨텍스트 길이 초과 오류를 토큰 계산으로 미리 막는 방법

컨텍스트 예산에 포함해야 할 데이터

시스템 역할 지시, 사용자와 어시스턴트의 이전 메시지, 함수나 도구 정의, 검색 문서, 도구 실행 결과가 모두 요청에 직렬화될 수 있습니다. JSON Schema처럼 반복되는 키 이름도 토큰을 사용합니다. 애플리케이션 화면에 보이지 않는 메시지가 있는지 네트워크 요청 또는 서버 로그의 안전한 샘플로 확인하세요.

한글 글자 수로 토큰을 고정 환산할 수 없는 이유

토크나이저는 텍스트를 모델이 사용하는 어휘 단위로 나눕니다. 한글, 영어, 숫자, 공백, 코드가 섞이는 방식과 사용 어휘에 따라 같은 글자 수라도 결과가 달라집니다. 따라서 글자당 일정 토큰이라는 비율은 거친 추정에만 쓰고 최종 검사는 대상 토크나이저로 해야 합니다.

입력과 출력 예산을 나누는 방법

모델 문서에 표시된 현재 컨텍스트 한도 안에서 입력이 전부를 차지하도록 두면 답변을 생성할 공간이 부족합니다. 필요한 답변 길이를 먼저 정하고 그만큼 출력 예산을 예약한 뒤 나머지를 입력에 배분합니다. 한도와 과금 방식은 모델 버전별 공식 문서를 배포 시점에 다시 확인하세요.

길어진 요청을 정보 손실 없이 줄이는 순서

중복된 시스템 지시와 동일 문서, 이미 해결된 오래된 대화부터 제거합니다. 긴 검색 결과는 질문과 관련된 구간만 선택하고 출처 식별자는 남깁니다. 요약은 세부 수치나 제약을 잃을 수 있으므로 원문을 다시 찾을 수 있는 키와 함께 저장하고 축약 후 토큰을 재계산합니다.

단계별로 확인하는 방법

1. 실제 요청 구성 모으기

   시스템 지시, 전체 메시지, 도구 정의와 결과, 출력 스키마를 API 전송 형태에 가깝게 모읍니다.

2. 대상 토크나이저로 세기

   사용할 모델과 호환되는 토크나이저를 선택해 구성 요소별 토큰 수와 합계를 계산합니다.

3. 출력 예산 먼저 예약하기

   업무에 필요한 답변 길이를 정하고 현재 모델 문서의 한도 안에서 출력 공간과 운영 여유를 남깁니다.

4. 큰 항목부터 줄여 재검사하기

   중복 대화와 관련 없는 도구 결과를 줄인 뒤 동일한 요청 구조로 다시 계산하고 경계값 테스트를 합니다.

함께 보면 좋은 글

• LLM 토큰 수와 한글 입력을 계산하는 방법
• 글자 수를 세는 기준과 실무 체크리스트

한글 한 글자는 몇 토큰인가요?

고정된 환산값은 없습니다. 모델의 어휘와 주변 문자에 따라 분할이 달라지므로 실제 대상 토크나이저로 전체 문장을 계산해야 합니다.

사용자 프롬프트만 세면 왜 오차가 큰가요?

시스템 지시, 역할 표식, 대화 기록, 도구 정의와 결과처럼 API가 함께 처리하는 데이터가 빠지기 때문입니다.

출력 토큰은 실제로 생성된 만큼만 입력 한도에서 빠지나요?

요청 허용 여부와 최대 출력 설정의 관계는 API별로 다를 수 있습니다. 필요한 출력 공간을 예약하고 해당 모델의 공식 규칙을 확인하세요.

요약하면 항상 토큰이 줄어드나요?

대체로 짧아질 수 있지만 새 지시나 메타데이터가 붙으면 기대만큼 줄지 않을 수 있습니다. 요약한 최종 문자열을 다시 계산해야 합니다.