Likelihood2 나이브 베이즈(Naive Bayes) - 확률적 생성 모델, Likelihood 이번 포스팅 부터 나이브 베이즈(Naive Bayes) 분류에 대해 하려고 합니다. 우선 나이브 베이즈를 들어가기 전에 확률적 생성 모형이라는 기본 지식부터 알아야 합니다. 분류(Classification) 모형의 종류 분류 모형의 종류를 이야기 하려면 우선 조건부 확률에 대한 개념을 알아야 합니다. 조건부 확률은 어떤 사건이 일어나는 경우에 다른 사건이 일어날 확률을 말합니다. 즉 어떤 조건일때 일어날 확률입니다. 이 조건부 확률을 이용하는지 아니면 경계면을 이용하는지에 따라 확률적 모형과 판별함수 모형으로 분류할 수 있습니다. 1. 확률적 모형 주어진 데이터에 대해 각 Class가 정답일 조건부 확률(Conditional Probability)을 계산하는 모형 확률적 판별 모형 : 직접 조건부 확률 .. 2023. 10. 23. [머신러닝] 로지스틱 회귀 학습 - Log Loss, 크로스 엔트로피 이번 포스팅에서는 로지스틱 회귀의 학습에 대해 설명을 드리도록 하겠습니다. 로지스틱 회귀에서 손실함수는 어떤 것을 사용할까요? 참고로 선형 회귀에 사용했던 손실함수인 최소제곱법(MSE)은 사용하지 않습니다. MSE를 사용할 경우 비선형 부분 때문에 중간에 학습을 멈추게 될 수도 있습니다. 로지스틱 회귀에서는 Log Loss(log likelihood)을 사용하여 파라미터를 최적화합니다. 보통 손실함수를 크로스엔트로피를 사용한다고 하는데, 크로스엔트로피(Cross entropy)는 negative log likelihood 입니다. Log Loss 개념 Log Loss의 개념은 모델이 예측한 확률 값을 직접적으로 반영하여 평가하는 원리 입니다. 확률 값을 음의 log 함수에 넣어 변환시킨 값으로 평가를 하.. 2023. 9. 14. 이전 1 다음
