How are you? good!

컴퓨터는 글자 그대로의 텍스트를 ‘이해’하지 못합니다. 컴퓨터에게 사과와 바나나는 그저 서로 다른 문자열일 뿐, 둘 다 과일이라는 사실을 알 길이 없습니다. 그런데 검색이나 추천 같은 기능은 ‘뜻이 비슷한지’를 판단해야 동작합니다. 이 간극을 메우는 것이 바로 임베딩(Embedding)입니다. 이번 글에서는 임베딩이 무엇이고, 왜 뜻을 숫자로 담을 수 있는지, 그리고 어디에 쓰이는지를 차근차근 설명합니다.

🧩 왜 텍스트를 숫자로 바꿔야 할까

대부분의 머신러닝 모델과 데이터베이스는 숫자를 다룹니다. 반면 우리가 쓰는 언어는 문자입니다. 그래서 텍스트를 다루려면 먼저 숫자로 바꾸는 과정이 필요합니다.

가장 단순한 방법은 단어마다 번호를 붙이거나, 등장 여부를 0과 1로 표시하는 방식입니다. 하지만 이런 방법은 뜻을 담지 못한다는 치명적인 한계가 있습니다. 예를 들어 강아지에 3번, 고양이에 57번, 자동차에 58번을 붙이면, 숫자상으로는 고양이와 자동차가 이웃처럼 보입니다. 번호는 뜻과 아무 관련이 없기 때문입니다.

우리가 원하는 것은 단순한 번호가 아니라 ‘뜻이 비슷하면 숫자도 비슷해지는’ 표현입니다. 임베딩이 바로 그 역할을 합니다.

🔢 임베딩이란 무엇인가

임베딩은 단어·문장·문서를 수백~수천 개의 숫자로 이루어진 벡터로 바꾼 것입니다. 벡터란 그저 숫자들의 목록입니다. 예를 들어 어떤 문장이 [0.12, -0.44, 0.87, ...]처럼 표현됩니다. 이 벡터는 사람이 직접 정하는 것이 아니라, 방대한 텍스트로 학습한 임베딩 모델이 만들어 냅니다.

핵심 성질은 하나입니다. 뜻이 비슷한 텍스트는 벡터 공간에서 서로 가까운 위치에 놓인다는 것입니다. 아래처럼 정리할 수 있습니다.

즉 임베딩은 텍스트의 의미를 좌표로 옮겨 놓은 지도라고 볼 수 있습니다. 지도 위에서 가까운 지점끼리는 뜻도 비슷하다고 해석하는 것입니다.

📐 ‘가깝다’를 어떻게 재는가 — 유사도

벡터 두 개가 얼마나 가까운지를 재려면 기준이 필요합니다. 가장 널리 쓰이는 것이 코사인 유사도(Cosine Similarity)입니다. 두 벡터가 같은 방향을 향할수록 값이 커지고, 방향이 어긋날수록 작아지는 방식입니다.

코사인 유사도는 보통 -1에서 1 사이의 값을 냅니다. 1에 가까우면 뜻이 매우 비슷하고, 0에 가까우면 관련이 적다고 해석합니다. 방향만 보기 때문에 문장의 길이 차이에 덜 휘둘린다는 장점이 있어, 텍스트 비교에서 특히 자주 쓰입니다.

“두 문장을 벡터로 바꾼 뒤 코사인 유사도를 잰다” — 의미 기반 검색과 추천의 밑바탕이 되는 가장 기본적인 계산입니다.

💻 코드로 감 잡기

라이브러리마다 이름은 다르지만, 뼈대는 ‘텍스트를 벡터로 → 유사도 계산 → 가까운 것 선택’ 순서입니다.

# 1) 텍스트를 임베딩 벡터로 변환
query   = embed("환불은 어떻게 하나요?")     # 질문 벡터
docs    = [embed(d) for d in documents]      # 문서 벡터들

# 2) 질문과 각 문서의 코사인 유사도 계산
scores  = [cosine_similarity(query, d) for d in docs]

# 3) 유사도가 높은 순으로 정렬해 상위 몇 개 선택
ranked  = sort_by_score(documents, scores)
top_docs = ranked[:3]                         # 가장 가까운 3개

# 4) 뜻이 가까운 문서를 결과로 활용
print(top_docs)

핵심은 글자를 직접 비교하지 않는다는 점입니다. 텍스트를 일단 벡터로 바꿔 두면, 그다음부터는 숫자끼리의 거리 계산만으로 ‘의미가 가까운지’를 판단할 수 있습니다.

🚀 어디에 쓰이나 — 활용 사례

특히 최근 주목받는 RAG는 임베딩이 밑바탕입니다. 사용자의 질문을 벡터로 바꿔 벡터 데이터베이스에서 가까운 문서 조각을 꺼낸 뒤, 그 조각을 근거로 LLM이 답을 만들도록 하는 구조이기 때문입니다. 임베딩이 없으면 ‘의미로 검색한다’는 발상 자체가 성립하지 않습니다.

💡 직접 쓸 때 챙길 실무 팁

❓ 자주 묻는 질문 (FAQ)

Q. 임베딩과 그냥 단어에 번호 붙이는 것은 뭐가 다른가요?
A. 번호는 뜻과 무관하게 매겨지지만, 임베딩은 뜻이 비슷하면 벡터도 가까워지도록 학습된 표현입니다. 그래서 의미로 비교하고 검색할 수 있습니다.

Q. 벡터의 숫자 하나하나가 무슨 의미인가요?
A. 각 숫자를 사람이 해석 가능한 ‘단어 하나’로 딱 떨어지게 대응시키기는 어렵습니다. 개별 값보다 벡터 전체가 이루는 방향과 위치가 의미를 담는다고 이해하는 편이 정확합니다.

Q. 임베딩 벡터의 길이(차원 수)는 왜 다른가요?
A. 모델마다 설계가 달라 차원 수가 다릅니다. 차원이 많으면 더 풍부한 정보를 담을 수 있지만 저장·계산 비용이 늘어납니다. 용도에 맞게 균형을 잡는 것이 좋습니다.

마무리

임베딩은 텍스트의 뜻을 숫자 벡터로 옮겨, 컴퓨터가 ‘의미’를 다룰 수 있게 해주는 다리입니다. 핵심은 단 하나, 뜻이 가까우면 벡터도 가까워진다는 성질입니다. 이 성질 덕분에 코사인 유사도 같은 간단한 계산만으로 의미 기반 검색·추천·분류가 가능해지고, RAG처럼 최신 AI 기능의 토대가 됩니다. 텍스트를 다루는 AI를 이해하려면 임베딩이 그 출발점이라는 점을 기억해 두면 좋습니다.