LLM 추론 속도 높이기 — 양자화와 배치 추론

✍️

📌 3줄 요약

  • LLM 추론이 느린 근본 원인은 메모리 대역폭 한계와 토큰 단위 순차 생성에 있습니다.
  • 양자화(Quantization)는 가중치의 비트 수를 줄여 모델을 가볍고 빠르게 만듭니다.
  • 배치 추론(Batching)은 여러 요청을 묶어 GPU 활용률을 끌어올려 처리량을 높입니다.

📖 목차

  1. LLM 추론은 왜 느릴까
  2. 양자화 — 모델을 가볍게 만들기
  3. 배치 추론 — 처리량을 끌어올리기
  4. 두 기법을 함께 쓰기
  5. 실무 적용 시 고려할 점

요청 입력
→
배치 묶기
→
양자화 모델 추론
→
토큰 생성
→
응답 반환

대규모 언어 모델(LLM)을 직접 서비스에 올려 본 분이라면 한 번쯤 느꼈을 것입니다. 모델 품질은 훌륭한데, 응답이 생각보다 느리고 GPU 비용은 만만치 않습니다. 추론 속도는 사용자 경험과 운영 비용을 동시에 좌우하는 핵심 요소입니다. 이 글에서는 추론이 느린 이유를 짚고, 가장 널리 쓰이는 두 가지 최적화 기법인 양자화와 배치 추론을 설명체로 정리합니다.


🐌 LLM 추론은 왜 느릴까

LLM의 텍스트 생성은 자기회귀(autoregressive) 방식입니다. 즉, 토큰을 한 번에 하나씩 생성하고, 생성한 토큰을 다시 입력에 붙여 다음 토큰을 예측합니다. 이 순차적 특성 때문에 문장이 길어질수록 반복 횟수가 그대로 늘어납니다.

LLM 추론의 병목은 대부분 연산량이 아니라 메모리 대역폭입니다. 가중치를 GPU 메모리에서 읽어 오는 시간이 전체 지연의 큰 부분을 차지합니다.

토큰 하나를 생성할 때마다 모델의 모든 가중치를 메모리에서 읽어야 합니다. 수십억 개의 파라미터를 가진 모델이라면, 이 읽기 작업 자체가 상당한 시간을 잡아먹습니다. 이런 상황을 흔히 메모리 바운드(memory-bound)라고 부릅니다. 연산 장치는 놀고 있는데 데이터가 도착하길 기다리는 상태입니다.

⏱️ 지연시간(Latency)

첫 토큰이 나오기까지, 그리고 토큰 하나당 걸리는 시간. 사용자 체감 속도와 직결됩니다.

📊 처리량(Throughput)

단위 시간당 처리하는 토큰·요청 수. 서버 비용 효율과 직결됩니다.

양자화는 주로 지연시간을, 배치 추론은 주로 처리량을 개선하는 방향으로 작동합니다. 두 지표는 때때로 상충하므로, 서비스 성격에 맞춰 균형을 잡는 것이 중요합니다.


🪶 양자화 — 모델을 가볍게 만들기

양자화(Quantization)는 모델 가중치를 표현하는 숫자의 정밀도를 낮추는 기법입니다. 일반적으로 학습된 모델은 가중치를 32비트 또는 16비트 부동소수점으로 저장합니다. 양자화는 이를 8비트나 4비트 정수처럼 더 적은 비트로 바꿉니다.

비트 수를 줄이면 두 가지 이득이 생깁니다. 첫째, 모델이 차지하는 메모리 용량이 줄어듭니다. 둘째, 메모리에서 읽어 오는 데이터 양이 줄어 메모리 바운드 병목이 완화됩니다. 앞서 설명한 대로 LLM 추론은 메모리 대역폭에 크게 의존하므로, 읽을 데이터가 작아지는 것만으로도 속도가 개선될 수 있습니다.

정밀도 특징 일반적 쓰임
FP16 / BF16 16비트. 품질 손실이 거의 없음 학습·고품질 추론 기본값
INT8 8비트. 메모리 절반, 품질 손실 적음 균형 잡힌 서빙
INT4 4비트. 매우 가벼움, 품질 영향 가능 저사양 환경·로컬 실행

양자화 방식은 크게 두 갈래로 나눌 수 있습니다. 학습이 끝난 모델에 바로 적용하는 사후 학습 양자화(PTQ, Post-Training Quantization)와, 학습 과정에서 양자화를 감안해 가중치를 조정하는 양자화 인식 학습(QAT, Quantization-Aware Training)입니다. PTQ는 적용이 간편하고, QAT는 더 낮은 비트에서도 품질을 비교적 잘 유지하는 경향이 있습니다.

실무에서는 GPTQ, AWQ, bitsandbytes 같은 라이브러리나 포맷이 자주 쓰입니다. 아래는 개념을 보여주는 간단한 로딩 예시입니다.

# bitsandbytes로 4비트 양자화 로딩 (개념 예시)
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,            # 4비트로 로딩
    bnb_4bit_quant_type="nf4",   # 양자화 방식
    bnb_4bit_compute_dtype="float16",
)

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    quantization_config=bnb_config,
    device_map="auto",
)
💡 팁: 비트 수를 무작정 낮추면 응답 품질이 눈에 띄게 떨어질 수 있습니다. 서비스에 투입하기 전에 실제 평가 세트로 품질을 측정해 속도와 정확도의 균형점을 찾는 과정이 필요합니다.

📦 배치 추론 — 처리량을 끌어올리기

배치 추론(Batching)은 여러 개의 요청을 묶어 한 번에 처리하는 기법입니다. 앞서 LLM 추론이 메모리 바운드라고 설명했습니다. 가중치를 한 번 읽어 오는 김에 여러 요청을 동시에 처리하면, 같은 메모리 읽기 비용으로 더 많은 일을 해낼 수 있습니다. GPU의 연산 자원을 더 알차게 쓰는 셈입니다.

배치는 개별 요청을 더 빠르게 만드는 것이 아니라, 같은 시간에 더 많은 요청을 처리해 전체 효율을 높이는 전략입니다.

다만 단순히 요청을 모으는 방식에는 함정이 있습니다. LLM 요청은 응답 길이가 제각각이라, 짧은 응답이 긴 응답을 기다리며 GPU가 놀 수 있습니다. 이를 해결하기 위해 등장한 것이 연속 배치(Continuous Batching)입니다.

🧱 정적 배치(Static)

한 배치가 모두 끝날 때까지 기다린 뒤 다음 배치를 시작합니다. 구현이 단순하지만 GPU 공회전이 생길 수 있습니다.

🔄 연속 배치(Continuous)

끝난 요청 자리에 새 요청을 즉시 채워 넣습니다. GPU를 쉼 없이 돌려 처리량을 크게 높입니다.

연속 배치는 vLLM, TGI(Text Generation Inference) 같은 추론 서버에서 기본적으로 제공합니다. 여기에 더해, 이미 계산한 어텐션 키·값을 재사용하는 KV 캐시(KV Cache)와 이를 효율적으로 관리하는 PagedAttention 같은 기법이 결합되어 처리량을 한층 끌어올립니다.


🤝 두 기법을 함께 쓰기

양자화와 배치 추론은 서로 다른 지점을 공략하므로 함께 쓸 때 효과가 큽니다. 양자화로 모델 메모리를 줄이면, 같은 GPU 메모리 안에 더 큰 배치를 올릴 수 있습니다. 배치가 커지면 처리량이 올라갑니다. 즉, 두 기법이 서로를 돕는 구조입니다.

양자화로 메모리 절약
→
더 큰 배치 가능
→
처리량 상승

예를 들어 4비트로 양자화한 모델을 vLLM 같은 연속 배치 서버에 올리는 조합은, 제한된 GPU로 많은 동시 사용자를 감당해야 하는 환경에서 자주 선택됩니다. 물론 양자화로 인한 품질 변화는 별도로 확인해야 합니다.


🧭 실무 적용 시 고려할 점

최적화는 공짜가 아닙니다. 적용 전에 아래 사항을 점검하면 시행착오를 줄일 수 있습니다.

  • 품질 검증 우선: 양자화 후에는 반드시 실제 과제로 응답 품질을 비교합니다. 체감되지 않는 수준의 손실인지 확인해야 합니다.
  • 목표 지표 명확화: 챗봇처럼 응답 속도가 중요하면 지연시간을, 대량 배치 처리면 처리량을 우선합니다.
  • 하드웨어 호환성: 특정 양자화 방식은 지원하는 GPU·커널이 정해져 있습니다. 환경과 맞는지 먼저 확인합니다.
  • 검증된 서버 활용: vLLM·TGI 같은 성숙한 추론 서버는 배치·KV 캐시를 안정적으로 다뤄, 직접 구현보다 안전합니다.

❓ 자주 묻는 질문

Q. 양자화하면 모델이 멍청해지나요?
낮은 비트일수록 품질에 영향을 줄 수 있지만, INT8 수준에서는 손실이 미미한 경우가 많습니다. 과제에 따라 체감 차이가 다르므로 직접 평가해 보는 것이 가장 확실합니다.

Q. 배치를 쓰면 개별 사용자의 응답이 더 빨라지나요?
반드시 그렇지는 않습니다. 배치는 전체 처리량을 높이는 기법이라, 개별 지연시간은 비슷하거나 약간 늘 수도 있습니다. 다만 연속 배치는 대기 시간을 줄여 체감 속도를 개선합니다.


📝 마무리

LLM 추론 속도 문제의 핵심에는 메모리 대역폭 한계와 순차적 토큰 생성이 있습니다. 양자화는 모델을 가볍게 만들어 읽어 올 데이터를 줄이고, 배치 추론은 같은 메모리 읽기로 더 많은 요청을 처리합니다. 두 기법은 접근하는 지점이 달라 함께 쓸 때 시너지가 큽니다. 다만 어떤 최적화든 품질 검증과 목표 지표 설정이 선행되어야 합니다. 작은 모델부터 vLLM 같은 검증된 도구로 조합을 실험해 보며, 서비스에 맞는 균형점을 찾아 나가길 권합니다.

답글 남기기