단일 시퀀스 토큰당 dense KV 바이트 계산기

단일 시퀀스 토큰당 dense KV 바이트에 필요한 KV 캐시 보유 layer 수, 실제 KV head 수, head dimension, KV 원소당 바이트을 입력합니다. 정의·단위·가정을 확인해 계산하세요.

계산 적용 범위

일반 decoder의 dense KV=2×layer×KV head×head dim×token×batch×KV bytes입니다. query head가 아닌 실제 KV head를 입력합니다. 가중치 packing은 지정 bit 기준이며 양자화 scale·metadata·활성값·workspace·MoE·혼합 attention·런타임 예약은 별도로 입력해야 합니다. 추론 성능 예측이 아닌 데이터량 산술입니다.
입력 필드의 범위·정수 조건과 함수의 정의역을 검사합니다.
십진 GB·MB와 이진 GiB·MiB, bit와 byte, ms와 초의 차이를 확인하세요.

계산 공식

y = 2*L*H*D*B

L: KV 캐시 보유 layer 수 (개); H: 실제 KV head 수 (개); D: head dimension (개); B: KV 원소당 바이트 (B). . 일반 decoder의 dense KV=2×layer×KV head×head dim×token×batch×KV bytes입니다. query head가 아닌 실제 KV head를 입력합니다. 가중치 packing은 지정 bit 기준이며 양자화 scale·metadata·활성값·workspace·MoE·혼합 attention·런타임 예약은 별도로 입력해야 합니다. 추론 성능 예측이 아닌 데이터량 산술입니다.

입력 항목

KV 캐시 보유 layer 수 (개):
실제 KV head 수 (개):
head dimension (개):
KV 원소당 바이트 (B):

사용 예시

정의된 입력 예시

KV 캐시 보유 layer 수=32 개; 실제 KV head 수=8 개; head dimension=128 개; KV 원소당 바이트=2 B일 때 결과는 131,072 B/token입니다. 예시 용량·요율·목표는 설명용 값이며 공급자의 현재 사양이나 권장 설정이 아닙니다.

자주 묻는 질문

정확히 어떤 정의와 가정을 사용하나요?

일반 decoder의 dense KV=2×layer×KV head×head dim×token×batch×KV bytes입니다. query head가 아닌 실제 KV head를 입력합니다. 가중치 packing은 지정 bit 기준이며 양자화 scale·metadata·활성값·workspace·MoE·혼합 attention·런타임 예약은 별도로 입력해야 합니다. 추론 성능 예측이 아닌 데이터량 산술입니다.

실제 운영 성능·요금·정책과 같은 값인가요?

프로토콜·수학 정의에 따른 값과 입력한 운영 모형을 구분합니다. 실제 지연·자원 예약·공급자 요율·클러스터 정책·계측 기준은 확인한 값을 입력해야 합니다. 출처는 정의와 배경 자료이며 모형의 운영 적합성을 보장하지 않습니다.

결과 정밀도와 입력 제한은 무엇인가요?

IPv·큰 정수·비트 항목은 256bit 이하 정수 입력을 BigInt로 계산해 모든 결과 자릿수를 보존합니다. 다른 항목은 배정밀도 계산이며 안전 정수는 모두 표시하고 비정수는 최대 유효숫자 12자리로 표시합니다. 목록은 1000개, 문자열은 10000 UTF16 코드단위 이내입니다. 잘못된 정의역·짝 없는 서로게이트·0분모는 오류로 구분합니다.