LLM 캐시는 어떻게 작동할까: 앤트로픽 S-1 보고서로 읽는 AI 인프라 효율화

Wed, 28 Oct 2026 10:00:00 +0900

Anthropic은 S-1에서 같은 수준의 모델 성능을 제공하는 데 필요한 추론 연산을 줄이고, 운영 환경에서 연산 자원의 활용 효율도 높여 왔다고 설명한다. – 「Compute Efficiency」 요약¹

TL;DR

LLM 인프라는 같은 성능의 작업에 필요한 연산을 줄이고, 확보한 자원을 더 잘 활용하는 방향으로 발전하고 있다. Anthropic S-1의 추론 효율 설명은 이 흐름을 보여주는 근거 중 하나다.
프롬프트 캐시는 동일한 입력 앞부분을 처리하며 만든 KV 캐시를 재사용한다. 긴 문서를 다시 계산하는 일을 줄이되, 새 질문의 처리와 답변 생성은 계속 수행한다.
대규모 인프라에서는 공통 계산을 메모리 블록으로 공유하고, 캐시 위치와 부하를 고려해 요청을 분산한다. 일부 시스템은 GPU 밖의 메모리와 저장소에도 캐시를 보관한다.
캐시 효율을 높이려면 누구의 계산을 누구와 공유할지 먼저 정해야 한다. 사용자별 격리는 재사용 범위를 줄일 수 있으며, GPU 밖으로 옮긴 캐시에도 같은 권한 경계를 유지해야 한다.
캐시의 효과는 재사용 빈도, 메모리 여유, 전송 비용에 따라 달라진다. 재처리하는 입력 토큰이 줄어든 비율을 전체 비용 절감률로 해석해서는 안 된다.

같은 제품 설명서를 들고 상담원을 찾아간다고 생각해 보자. 첫날에는 설명서를 처음부터 읽어야 한다. 다음 날 다른 질문을 했는데, 상담원이 그 설명서를 또 처음부터 읽는다면 어떨까. 질문에 답하는 시간보다 같은 자료를 반복해서 읽는 시간이 더 길어질 수 있다.