신경회로망

퍼셉트론

- 1957년 미국의 Rosenblatt가 단순히 패턴을 인식하기 위해 제안한 모델.   - 입력 패턴이 두 개의 클래스 중 어느 하나에 속함을 결정할 때 주로 사용되는 모델.   - 입력값이 정확하지 않고 다른 클래스에 대한 분포가 평균값에서만 차이가 난다는 점에서 최대유사 가우시안 분류기와 개념상 유     사.   - 이동,확대,중복 및 회전된 패턴인 경우 결정 경계선이 계속적으로 진동함으로써 정확히 분류되지 못하는 단점.   - 이점을 보완하고자 최소 평균 자승 알고리즘 또는 Widrow-Hoff방법이 제시,   - 이 방법은 원하는 출력값과 실제 출력값과의 평균 자승 오류를 최소화 시킨 것.   - 3층의 퍼셉트론 모델에서는 활성화 함수로써 시그모이드 함수를 이용한 학습 방법이 오류 역전파 알고리즘.     문제점:   - XOR문제나 패리티 비트 문제 등의 학습이 불가능함.   - 즉, 두가지 패턴을 동시에 선형 분리할 수 없다는 것.

 

다층 퍼셉트론

- 입력층과 출력층 사이에 하나 이상의 계층을 갖는 신경 회로망   - 예) 3층 퍼셉트론은 입력층과 출력층 사이에 하나의 은닉층을 갖음.   - 단층 퍼셉트론의 단점을 해결하기 위해 제안된 모델.   - 적당한 학습 알고리즘이 없다는 이유로 많이 사용되지는 못하였지만 새로운 알고리즘의 개발로 많이 사용되고 있음.   - 그것이 오류 역전파 알고리즘.

 

오류 역전파 알고리즘

- 델타 규칙에 하나 이상의 은닉층이 있는 3층 이상의 신경 회로망으로 확장한 학습 방법. (일반화된 델타 규칙)   - 일반화된 LMS알고리즘.   - 원하는 출력값과 실제 출력값과의 차이의 제곱을 가장 최소화 하고자 경사 하강 방법 적용.   - 입력 노드와 관련없는 클래스의 모든 노드의 원하는 출력값은 점점 낮아지고 반대인 경우는 점점 높아짐.   - XOR문제나, 음성 인식 및 합성 문제, 시각 패턴 인식 문제 등에 많이 이용되어 좋은 결과를 보여줌.     몇가지 문제점   - 첫째, 수렴을 위해 필요한 훈련 데이터의 입력 횟수가 대개 100번 이상으로 매우 많음.(특히 음성의 경우)   - 둘째, 가중치가 수렴하지 않고 발산하는 경우 심각한 문제점을 초래할 수 있음.

 

다층 오류 역전파 알고리즘의 문제점

- 지역 최소점에 빠질 위험이 있다.   - 포화 영역에서 잘 동작하지 않는다.   - 전방향 방식으로 입출력이 진행된다. (고차원 시스템 구현시 문제가 될수 있다.)   - 기타 문제점: 학습이 완료되기까지 많은 횟수의 반복 학습이 필요.                       응용분야에 따라 학습 파라미터의 조절이 필요.                       추가 학습시 전체적인 재학습이 필요한 문제.                       학습의 완료시점을 예측할 수 없다는 문제점.

 

다층 오류 역전파 알고리즘의 문제점에 대한 개선 방법

- 일괄 수정법   - 출력값의 제한 방법   - 모멘텀 방법   - 수정 모멘텀 방법   - 학습 계수의 최적화 방법   - 복잡도 방법   - 선택적 재학습 방법   - 연결 강도 개수의 축소방법