정보 이득 (Information Gain)

정보 이득 (Information Gain)은 의사결정 트리(Decision Tree)라는 인공지능 모델을 만들 때, 데이터를 가장 잘 나누는 기준(속성)을 찾기 위해 사용하는 핵심 개념입니다. 가장 쉽게 설명하자면, 정보 이득은 "특정 질문(분할 기준)을 했을 때 데이터의 불확실성(혼잡도)이 얼마나 줄어드는가?"를 측정하는 지표입니다. 1. 기본 원리 정보 이득을 이해하려면 두 가지 핵심 개념을 먼저 알아야 합니다. A. 엔트로피 (Entropy)불확실성 또는 혼잡도엔트로피는 데이터 집합이 얼마나 '순수하지 않고' '섞여 있는지', 즉 불확실한 정도를 나타내는 값입니다.어떤 상자 안에 사과 5개와 오렌지 5개가 있다면, 이 상자의 엔트로피는 높습니다 (불확실). 무작위로 하나를 꺼낼 때 사과인지 오렌지..