가중치·예약 후 단일시퀀스 KV 토큰 한도 계산기

가중치·예약 후 단일시퀀스 KV 토큰 한도에 필요한 파라미터 개수, 가중치 파라미터당 bit, KV 캐시 보유 layer 수, 실제 KV head 수, head dimension, KV 원소당 바이트, 장치 전체 메모리, 추가 예약 메모리을 입력합니다. 정의·단위·가정을 확인해 계산하세요.

계산 적용 범위

일반 decoder의 dense KV=2×layer×KV head×head dim×token×batch×KV bytes입니다. query head가 아닌 실제 KV head를 입력합니다. 가중치 packing은 지정 bit 기준이며 양자화 scale·metadata·활성값·workspace·MoE·혼합 attention·런타임 예약은 별도로 입력해야 합니다. 추론 성능 예측이 아닌 데이터량 산술입니다.
추가 조건: G>=R.
max(a,b)=큰 값
floor(x)=x 이하 최대 정수
ceil(x)=x 이상 최소 정수
십진 GB·MB와 이진 GiB·MiB, bit와 byte, ms와 초의 차이를 확인하세요.

계산 공식

y = max(0,floor((G*1073741824-R*1073741824-ceil(P*b/8))/(2*L*H*D*B)))

P: 파라미터 개수 (개); b: 가중치 파라미터당 bit (bit); L: KV 캐시 보유 layer 수 (개); H: 실제 KV head 수 (개); D: head dimension (개); B: KV 원소당 바이트 (B); G: 장치 전체 메모리 (GiB); R: 추가 예약 메모리 (GiB). 추가 조건: G>=R. max(a,b)=큰 값; floor(x)=x 이하 최대 정수; ceil(x)=x 이상 최소 정수. 일반 decoder의 dense KV=2×layer×KV head×head dim×token×batch×KV bytes입니다. query head가 아닌 실제 KV head를 입력합니다. 가중치 packing은 지정 bit 기준이며 양자화 scale·metadata·활성값·workspace·MoE·혼합 attention·런타임 예약은 별도로 입력해야 합니다. 추론 성능 예측이 아닌 데이터량 산술입니다.

입력 항목

파라미터 개수 (개):
가중치 파라미터당 bit (bit):
KV 캐시 보유 layer 수 (개):
실제 KV head 수 (개):
head dimension (개):
KV 원소당 바이트 (B):
장치 전체 메모리 (GiB):
추가 예약 메모리 (GiB):

사용 예시

정의된 입력 예시

파라미터 개수=7000000000 개; 가중치 파라미터당 bit=4 bit; KV 캐시 보유 layer 수=32 개; 실제 KV head 수=8 개; head dimension=128 개; KV 원소당 바이트=2 B; 장치 전체 메모리=24 GiB; 추가 예약 메모리=2 GiB일 때 결과는 153,521 token입니다. 예시 용량·요율·목표는 설명용 값이며 공급자의 현재 사양이나 권장 설정이 아닙니다.

자주 묻는 질문

정확히 어떤 정의와 가정을 사용하나요?

일반 decoder의 dense KV=2×layer×KV head×head dim×token×batch×KV bytes입니다. query head가 아닌 실제 KV head를 입력합니다. 가중치 packing은 지정 bit 기준이며 양자화 scale·metadata·활성값·workspace·MoE·혼합 attention·런타임 예약은 별도로 입력해야 합니다. 추론 성능 예측이 아닌 데이터량 산술입니다. 추가 조건: G>=R.

실제 운영 성능·요금·정책과 같은 값인가요?

프로토콜·수학 정의에 따른 값과 입력한 운영 모형을 구분합니다. 실제 지연·자원 예약·공급자 요율·클러스터 정책·계측 기준은 확인한 값을 입력해야 합니다. 출처는 정의와 배경 자료이며 모형의 운영 적합성을 보장하지 않습니다.

결과 정밀도와 입력 제한은 무엇인가요?

IPv·큰 정수·비트 항목은 256bit 이하 정수 입력을 BigInt로 계산해 모든 결과 자릿수를 보존합니다. 다른 항목은 배정밀도 계산이며 안전 정수는 모두 표시하고 비정수는 최대 유효숫자 12자리로 표시합니다. 목록은 1000개, 문자열은 10000 UTF16 코드단위 이내입니다. 잘못된 정의역·짝 없는 서로게이트·0분모는 오류로 구분합니다.