본문 바로가기

하이퍼파라미터 튜닝2

[머신러닝] 과적합(Overfitting) / 과소적합(Underfitting) ㅇ과적합(Overfitting): 머신러닝 또는 딥러닝 모델이 학습 데이터(training data)에 지나치게 적응하여, 새로운 데이터(테스트 데이터 또는 실제 환경)에서 일반화 성능이 저하되는 현상즉, 모델이 훈련 데이터의 패턴뿐만 아니라 노이즈(noise)나 특이한 패턴까지 학습하여 새로운 데이터에 대해 잘 예측하지 못하는 문제가 발생한다  [과적합 원인]- 훈련 데이터 부족데이터 샘플 수가 적을수록 모델이 특정한 데이터 패턴만 학습하여 일반화 능력이 떨어짐- 모델 복잡도 과다모델이 너무 복잡하면(예: 뉴럴 네트워크의 계층 수가 많거나, 너무 많은 매개변수 사용) 불필요한 패턴까지 학습하게 됨- 훈련 데이터의 노이즈 학습훈련 데이터에 포함된 노이즈까지 학습하여 테스트 데이터에서는 성능이 낮아짐- 훈.. 2025. 2. 17.
[머신러닝] scikit-learn 라이브러리(머신러닝의 기초와 근간) ㅁ사이킷 런(scikit-learn): Python을 기반으로 한 머신러닝 라이브러리로 데이터 전처리, 지도 학습, 비지도 학습, 모델 평가 등 다양한 머신러닝 작업에 필요한 도구를 제공  [사이킷 런의 주요 특징들]다양한 머신러닝 알고리즘 지원지도 학습: 회귀, 분류(Linear Regression, Logistic Regression, Decision Tree, SVM 등)비지도 학습: 클러스터링, 차원 축소(KMeans, PCA, t-SNE 등)모델 선택 및 하이퍼파라미터 튜닝: GridSearchCV, RandomizedSearchCV강력한 데이터 전처리 도구결측값 처리, 데이터 표준화(StandardScaler), 데이터 정규화(MinMaxScaler)범주형 데이터 인코딩 (OneHotEncod.. 2025. 1. 2.