system을 계획 · 추진해 갈 때 효용 및 가치 판단에 의해 결정이 이루어지는데, 그 결정을 추진하는 데 또 각종 방안이 생각되고, 그 하나의 방안을 결정함으로써 다음의 각종 문제가 생긴다. 또, 그 결정에 의한 결과의 예상도 필요하다. 이들을 마치 나무의 가지와 같이 도시한 것으로, 결정의 트리라고도 한다. 이에 의하면 논리의 진전이 명백해지고, 또 결정에 의한 방안의 비교를 할 수 있어 시스템추진에 매우 유효하다.
정보 획득 Information Gain
: 정보의 가치를 반환하는데 발생하는 사전의 확률이 작을수록 정보의 가치는 커진다.
정보 이득
: 어떤 속성을 선택함으로 인해서 데이터를 더 잘 구분하게 되는 것이다.
엔트로피 개념
: 열역학의 용어로 물질의 열적 상태를 나타내는 물리량의 단위 중 하나. 무질서의 정도를 나타낸다.
1948년 엔트로피 개념에서 힌트를 얻어 확률 분포의 무질서도나 불확실성 또는 정보 부담 정도를 나타내는 정보 엔트로피 개념을 클로드 섀넌이 고안했다.
entropy : 얼마만큼의 정보를 담고 있는가? 또한, 무질서도(disorder)를 의미, 불확실성(uncertainty)를 나타내기도 한다.
'Machine Learning' 카테고리의 다른 글
| [ML] Titanic Survivor Prediction (0) | 2023.01.03 |
|---|---|
| [ML] Data Split_ zip / unpacking (0) | 2023.01.02 |
| [ML] Data split_ tree_ iris (0) | 2023.01.02 |
| [ML] Machine Learning (0) | 2022.12.28 |
| [ML] Scikit Learn (0) | 2022.12.28 |
