[딥러닝] 파라미터(parameter)란?

ㅁ파라미터(parameter):  머신러닝과 딥러닝 모델에서 학습을 통해 조정되는 값을 의미
다시 말하면, 인공지능 모델이 입력 데이터를 처리하면서 출력을 결정하는 가중치(weight)와 편향(bias) 등의 값을 의미
 
파라미터는 모델이 데이터를 학습하고 예측하는 데 중요한 역할을 하며, 모델의 성능을 결정하는 핵심 요소 중 하나이다
이 값들은 학습 과정에서 최적화되며, 새로운 입력에 대해 더 정확한 출력을 생성할 수 있도록 조정된다!

✔ 가중치(Weight)
- 입력 데이터에 대한 중요도를 결정하는 값
- 신경망의 각 연결(뉴런)에서 곱해지는 값

✔ 편향(Bias)
- 특정 노드가 더 쉽게 활성화되도록 하는 값
- 가중치와 함께 신경망의 출력을 조정하는 역할

w = 가중치, b = 편향

[GPT 버전별 특징 비교]

GPT 모델의 크기는 파라미터 개수(Parameters Count)에 의해 결정된다

파라미터가 많을수록 모델의 표현력이 향상되지만, 연산량이 증가하여 학습과 추론 속도가 느려질 수 있다
 
 

[파라미터 최적화 과정 방법]
ㅇ역전파(Backpropagation)
- 출력과 실제 값의 차이를 계산하여 오차(Error)를 구함
- 오차를 신경망의 이전 층으로 전파하여 각 가중치를 조정
 
ㅇ경사 하강법(Gradient Descent)
- 오차를 줄이기 위해 가중치와 편향을 조금씩 조정
- 학습률(Learning Rate)에 따라 업데이트 크기가 결정됨




 
 
※ 파라미터 vs 하이퍼파라미터
ㅇ파라미터(Parameter): 모델이 학습을 통해 자동으로 조정하는 값
e.g. 신경망의 가중치(Weight)와 편향(Bias)

ㅇ하이퍼파라미터(Hyperparameter): 사용자가 직접 설정하는 값
e.g. 학습률(Learning Rate), 배치 크기(Batch Size), 신경망의 층 수(Depth), 활성화 함수

💡 쉽게 이해하기
- 파라미터는 모델이 학습을 통해 찾는 값 (자동 조정)
- 하이퍼파라미터는 사람이 직접 조정해야 하는 값 (사전 설정)