1. 파인튜닝 (Fine-Tuning)
거대 언어 모델(LLM)이 이미 배운 기본 지식을 바탕으로, 특정 목적(예: 법률 상담, 의료 진단, 코딩 등)에 맞는 데이터를 추가 학습하여 전문가로 만드는 과정입니다. 대학까지 졸업한 일반인(Pre-trained)이 로스쿨에 가서 법률 지식을 쌓아 변호사(Fine-tuned)가 되는 것과 같습니다. 상대적으로 적은 데이터와 시간으로 특정 분야의 정확도를 비약적으로 높일 수 있습니다.
2. 어텐션 (Attention)
문장 내에서 단어 간의 관계를 파악할 때, 어떤 단어에 더 집중(Attention)해야 하는지 결정하는 메커니즘입니다. "그는 사과를 먹었다. 그것은 빨갛다."라는 문장에서 '그것'이 '사과'를 가리킨다는 것을 알아내는 힘입니다. 트랜스포머(Transformer) 모델의 핵심 기술로, 긴 문장에서도 맥락을 놓치지 않게 해줍니다.
3. 임베딩 (Embedding)
사람이 쓰는 단어나 문장을 컴퓨터가 이해할 수 있도록 고차원적인 숫자 배열(벡터)로 변환하는 기술입니다. '사과'와 '배'는 숫자상으로 가까운 위치에 배치하고, '사과'와 '자동차'는 멀리 배치하여 컴퓨터가 단어 사이의 의미적 유사성을 파악하게 합니다.
4. 토큰화 (Tokenization)
텍스트를 모델이 처리할 수 있는 최소 단위(토큰)로 쪼개는 과정입니다. 긴 문장을 단어, 형태소, 또는 글자 단위로 잘게 나누어 번호를 매기는 '재료 손질' 단계라고 보시면 됩니다. 언어 모델이 텍스트를 수치화하기 전에 반드시 거쳐야 하는 가장 기초적인 단계입니다.
| 용어 | 핵심 개념 | 역할 |
| 토큰화 | 자르기 | 텍스트를 데이터 최소 단위로 분리 |
| 임베딩 | 수치화 | 단어의 의미를 좌표값(숫자)으로 변환 |
| 어텐션 | 집중하기 | 문맥에서 중요한 단어들의 관계 파악 |
| 파인튜닝 | 전문화 | 사전 학습된 모델을 특정 용도에 맞게 최적화 |
최근 정보시스템 감리사나 전산직 시험에서 인공지능(AI) 비중이 높아지고 있는 만큼, LLM(거대 언어 모델)과 생성형 AI 분야에서 반드시 알아야 할 핵심 용어들을 추가로 정리해 드릴게요.
5. 학습 및 추론 관련 핵심 용어
RLHF (Reinforcement Learning from Human Feedback)
인공지능의 답변에 대해 사람이 점수를 매기거나 순위를 정해, 인간의 가치관과 선호도에 맞게 모델을 미세 조정하는 강화 학습 기법입니다. AI가 유해하거나 무례한 답변을 하지 않도록 '윤리적 가이드라인'을 학습시키는 핵심 기술입니다. (ChatGPT가 똑똑하면서도 예의 바른 이유입니다.)
RAG (Retrieval-Augmented Generation, 검색 증강 생성)
모델 내부 지식에만 의존하지 않고, 외부 데이터베이스나 문서에서 관련 정보를 검색해온 뒤 그 내용을 바탕으로 답변을 생성하는 방식입니다. 최신 정보 반영이 가능하고, 근거 문서를 제시하므로 뒤에 설명할 '환각 현상'을 줄일 수 있습니다.
할루시네이션 (Hallucination, 환각 현상)
AI가 그럴듯하게 들리지만 사실관계가 전혀 틀린 정보를 생성하는 현상입니다. 모델은 '확률적으로 가장 올법한 단어'를 선택하기 때문에, 데이터가 부족하거나 모호할 때 거짓말을 할 수 있습니다.
6. 모델 구조 및 메커니즘 관련
파라미터 (Parameter, 매개변수)
모델 내부에서 학습을 통해 결정되는 가중치 값들입니다. 보통 "파라미터 수가 많을수록 모델이 더 복잡한 정보를 기억하고 처리할 수 있다"고 평가합니다 (예: GPT-3는 1,750억 개).
제로샷 / 원샷 / 퓨샷 러닝 (Zero/One/Few-shot Learning)
모델에게 새로운 작업을 시킬 때 예시를 몇 개 주느냐의 차이입니다.
- Zero-shot: 예시 없이 바로 질문함.
- One-shot: 예시를 1개 보여주고 질문함.
- Few-shot: 예시를 서너 개 보여주고 질문함.
파인튜닝처럼 모델 자체를 수정하지 않고, 프롬프트(명령어)만으로 성능을 끌어올리는 기법입니다.
멀티모달 (Multimodal)
텍스트뿐만 아니라 이미지, 음성, 비디오 등 다양한 형태의 데이터를 동시에 이해하고 생성할 수 있는 모델입니다. (예: 사진을 보여주면 설명해 주는 기능)
7. 효율적인 학습 기술 (시험 단골 소재)
LoRA (Low-Rank Adaptation)
파인튜닝 시 모든 파라미터를 다 업데이트하는 대신, 극히 일부의 행렬(Low-Rank)만 추가하여 학습하는 고효율 기법입니다. 메모리 사용량과 계산 비용을 획기적으로 줄여서, 일반 PC 수준에서도 대형 모델을 튜닝할 수 있게 해줍니다.
양자화 (Quantization)
모델의 가중치 값을 표현하는 숫자의 정밀도(예: 32bit → 4bit)를 낮추는 기술입니다. 모델의 크기는 줄이고 속도는 높이면서도 성능 저하는 최소화하여, 스마트폰 같은 기기(On-Device AI)에서 모델을 돌릴 수 있게 합니다.
| 구분 | 용어 | 핵심 포인트 |
| 신뢰성 | RAG | 외부 검색을 통한 사실 기반 답변 |
| 정확도 | RLHF | 사람의 피드백으로 선호도 학습 |
| 오류 | 할루시네이션 | 그럴듯한 거짓말 (환각) |
| 효율성 | LoRA | 저비용 고효율 파인튜닝 |
| 경량화 | 양자화 | 데이터 크기 압축을 통한 속도 향상 |