Terry Jang
-
오픈소스 LLM 직접 서빙하기(온프레미스)
오픈소스 LLM을 외부 API 없이 서버에 직접 올려 서비스하는 온프레미스 서빙의 개념을 정리합니다. GPU 메모리와 양자화,…
-
에이전트 메모리 설계 — 단기·장기 기억
AI 에이전트의 메모리를 단기 기억과 장기 기억으로 나눠 설명합니다. 문맥 창에 올리는 최근 대화와 외부 저장소에…
-
멀티모달 LLM — 이미지·문서 함께 이해시키기
멀티모달 LLM이 이미지·문서를 어떻게 이해하는지, 비전 인코더와 연결층 구조부터 OCR과 비전 방식 비교, 문서 QA 활용과…
-
하이브리드 검색 튜닝 — BM25와 벡터 결합
BM25 키워드 검색과 벡터 의미 검색을 합치는 하이브리드 검색의 원리와, 가중합·RRF 융합 방식 그리고 가중치·후보 개수…
-
RAG 평가 — 충실도·관련성 측정 지표
RAG 시스템의 품질을 충실도·답변 관련성·맥락 정밀도·재현율로 나눠 측정하는 방법을 개념 중심으로 정리했습니다.
-
임베딩 모델 고르기 — 한국어 성능 비교
한국어 임베딩 모델을 고를 때 무엇을 봐야 할까요? 다국어 모델과 한국어 특화 모델의 차이, 선택 기준,…
-
LLM 비용 최적화 — 캐싱·배치·모델 라우팅
LLM API 비용을 줄이는 세 가지 핵심 기법인 캐싱, 배치, 모델 라우팅의 원리와 적용법을 개념 중심으로…
-
프롬프트 주입(Prompt Injection) 공격과 방어
프롬프트 주입은 입력 문장으로 LLM의 원래 지시를 무력화하는 공격입니다. 직접·간접 주입의 원리와 권한 최소화·입력 격리·출력 검증을…
-
리랭커(Reranker)로 RAG 검색 정확도 끌어올리기
RAG에서 벡터 검색이 뽑은 후보 문서를 질문과의 실제 관련성 기준으로 다시 정렬하는 리랭커의 원리와 2단계 검색…
-
LangGraph로 멀티스텝 에이전트 흐름 설계하기
LangGraph는 여러 단계로 이어지는 AI 에이전트의 작업을 상태·노드·엣지로 이루어진 그래프로 설계하는 프레임워크입니다. 분기와 반복이 필요한 멀티스텝…