LLM 주요 용어

1. 파인튜닝 (Fine-Tuning)거대 언어 모델(LLM)이 이미 배운 기본 지식을 바탕으로, 특정 목적(예: 법률 상담, 의료 진단, 코딩 등)에 맞는 데이터를 추가 학습하여 전문가로 만드는 과정입니다. 대학까지 졸업한 일반인(Pre-trained)이 로스쿨에 가서 법률 지식을 쌓아 변호사(Fine-tuned)가 되는 것과 같습니다. 상대적으로 적은 데이터와 시간으로 특정 분야의 정확도를 비약적으로 높일 수 있습니다.2. 어텐션 (Attention)문장 내에서 단어 간의 관계를 파악할 때, 어떤 단어에 더 집중(Attention)해야 하는지 결정하는 메커니즘입니다. "그는 사과를 먹었다. 그것은 빨갛다."라는 문장에서 '그것'이 '사과'를 가리킨다는 것을 알아내는 힘입니다. 트랜스포머(Transf..