Study/AI System2009. 3. 18. 01:07

- 정보 전달 방식에 따라 대개 두형태로 분류

- 상호 결합형: 각 노드들이 서로 결합되어 결과를 서로 전달하는 피드백 과정이 있음.

- 계층적 입출력형: 각 노드들로 구성된 계층이 2개에서 n개까지의 계층으로 나누어져 있어 한 층의 노드들은 다른 층의 노드로 출력 결

   과만을 전달하는 방식으로 입출력 관계를 갖음.

 

신경회로망의 기능

  1. 연상기능.

  2. 최근접 데이터의 인출기능.

  3. 특징 추출 기능.

  4. 조합론적 폭발 문제 해결 기능.

  5. 비상 안전 기능.

  6. 감지 정보 처리 기능.

  7. 제어기능.

  8. 지식 정보 처리 기능.

 

홉필드 모델(Hopfield Network)

 
  
- 1982년 미국의 물리학자인 Hopfield가 발표한 모델.

  - 정보의 흐름이 양방향

  - 피드백이기 때문에 자신의 노드로부터 나온 출력값을 다시 입력으로 받는 상호 겷바형 네트워크 구조.

  - 모든 입출력값이 정확한 이진 상태로 표현 가능.

  - 문자를 ASCII나 픽셀값으로 표현이 가능할 경우 가장 적당한 모델.

  - 입력값이 연속적인 형태일 경우는 아날로그 값을 디지털 값으로 바꾸어 주어야 하는 문제점 때문에 다소 좋지 않은 결과 얻을 수

    있음.

 

  두 가지 제약 조건

  - 첫째, 노드간의 결합 강도가 대칭적.

  - 둘째, 신경 회로망내의 모든 노드들이 서로 비동기적으로 동작하는 병렬 컴퓨터 모델의 특징을 갖고 있음.

 

  - 각 뉴런이 그것에 들어온 신호의합계가 어떤 임계치를 넘으면 흥분하고, 그 이하이면 흥분하지 않는 상태가 되는 신경회망을 모델

  - 연상 메모리로 구현 가능.

  - 극소점: 시간이 변함에 따라 에너지의 산을 내려가서 계곡에 떨어져서 빠져나올 수 없는 점에 이른 점.

  - 연상 메모리: '하늘'이란 입력으로 부터 '파랗다', '높다' 등의 개념을 출력하거나, 불완전한 문자열 또는 이미지를 입력하여 완전
                       한
문자열 또는 이미지를 출력하는 원리.

                       기존의 컴퓨터에는 주소에 의해 기억한 내용을 찾아오는 방식과는 다른 방식.

                       기억된 내용과 같은 수준의 정보로부터 검색하는 방식이기 때문에 내용 주소 메모리라고도 불리움.

                       기억한 내용을 완전히 병렬로 검색할 수 있어서 고속의 데이터베이스 검색 등 많은 분야에 응용이 가능.

 

  두가지 제한점

  - 첫째, 너무나 많은 패턴이 기억된다면 분류하는데 제한점이 따름.

  - 학습에 필요한 클래스 수는 입력 노드 수보다 약 15%를 초과하지 않도록 하는 것이 효율적.

  - 둘째, 입력 패턴이 너무나도 부정확하면 다른 클래스로 분류될 가능성이 높음.

 

'Study > AI System' 카테고리의 다른 글

홉필드 신경회로망을 이용한 연상 메모리  (0) 2009.03.23
신경회로망  (0) 2009.03.18
신경회로망  (0) 2009.03.18
신경회로망  (0) 2009.03.17
지식의 표현  (0) 2009.03.17
Posted by 열ㅇl
Study/AI System2009. 3. 18. 00:54

연결성 모델 또는 뉴로 모르픽 시스템이라 불리움.

신경회로망을 구성하는 기본 단위는 뉴런.

음성, 이미지 분석등 계산량이 많고 병렬성을 요구하는 문제에 적합한 모델.

 

기본구성 요소

 
  1. 처리기(Processing units)

  - 신경 회로망 모델에서 매우 중요하고도 기본적인 단위.

  - features, letters, words, concepts 또는 abstract element 등의 보통 의미를 가진 작은 엔티티를 나타내는 패턴.

  - 즉, 단일 유니트 단일 개념 관계를 만족.

  - 여러 처리기들이 동시에 그들의 계산을 수행할 수 있기 때문에 PDP라고도 불리움.

  - 신경 회로망을 모델화 하려면 보통 세개의 처리기 종류를 갖는다.

  - 입력 처리기: 외부로 부터 시스템으로 입력을 받아들이는 처리기.

  - 출력 처리기: 반대로 시스템으로부터 출력을 내보내는 처리기.

  - 중간처리기: 시스템내에 입출력값이 모두 있으며 외부에는 전혀 보여지지 않는 처리기.

 

  2. 활성화 상태(activation state)

  - 각 처리기들이 시간 t에서의 시스템에서의 상태 의미.

  - 시스템이 시간  t에서 나타내는 처리기들의 활성화 패턴을 말하는 것.

  - 시간 변화에 따라 시스템의 내부 변화 상태를 알아 볼때 유용.

  - 활성화 상태값은 여러 모델에서 다양한 값을 갖음.

  - 연속적인 경우 0,1 사이의 값

  - 비연속적인 경우 0,1 두 이진값만을 나타냄. (0: 비활성화, 1: 활성화)

 

  3. 출력 함수(output function)

  - 처리기들은 이웃 처리기들에게 신호를 전달함으로써 정보를 전달.

  - 신호의 강도는 이웃처리기에 영향을 미치는 정도.

  - 즉, 활성화 정도에 의해 결정.

 

  4. 연결패턴(connectivity pattern)

  - 시스템이 임의의 처리기에 대해 어떻게 반응하느냐를 의미

 

  5. 전파규칙(propagation rule)

  - 한 처리기의 출력 벡터 o(t)와 처리기로의 각 입력 형태에 대해 순수 입력값을 생성하기 위해 가중치와 결합화 할 규칙.

 

  6. 활성화 규칙(activation rule)

  - 특정 처리기에 들어오는 각 순수 입력값들을 조합하여 그 처리기의 현재 상태로부터 새로운 상태를 구할 수 있는 규칙.

 

  7. 학습 규칙(learning rule)

  - 연결강도의 변화

  - 대표적으로 1949년 Hebb의 학습규칙.

  - 한 처리기의 지식 변화는 인접된 다른 처리기에도 변형을 주는데, 보통 세가지 형태로 영향을 주게된다.

  - 새로운 연결생성, 기존 연결의 상실, 기존 연결의 강도 수정

 

  8. 환경(environments)

  - 신경회로망 모델에서의 환경은 입력 패턴에 대해 시간이 변화하는 확률론적 함수.

 

신경 회로망의 특징

  - VonNeumann형 컴퓨터에 비해 다음과 같은 장점을 가진다.

  - 첫째, 시스템이 매우 견고하다.

  - 둘째, 결점에 강한 성질을 갖는다.

  - 셋째, 상속 병렬성을 가진다.

  - 넷째, 구현하기가 단순하다.

  - 다섯째, 분류 기능을 갖는다.

 

일반적인 디지털 컴퓨터와 신경 회로망의 비교

 
  - 디지털 컴퓨터은 정보처리 장치와 주기억 장치가 물리적으로 분리되었지만 신경회로망은 그렇지 않다.

  - 처리방식은 디지털 컴퓨터가 순차 처리 방식인 반면 신경 회로망 컴퓨터는 병렬처리 방식.

 

  1. 정보형태

  디지털 컴퓨터: 이진수로 정확하게 표현된 디지털 형태의 정보를 처리

  신경 회로망  : 아날로그 형태의 신호 정보를 처리

 

  2. 의사결정

  디지털 컴퓨터: 논리 연산에 의해서 가부가 확실한 의사 결정.

  신경 회로망  : 애매하고 모호하며 불완전한 데이터에 근거하여 비교하여 의사 결정.

 

  3. 처리 절차

  디지털 컴퓨터: 엄격하게 정해진 순서에 의해서 데이터를 다루므로 동작을 항상 통제할 수 있어 결과의 예측이 용이.

  신경 회로망  : 데이터를 처리하는 방법에 관하여 스스로 규칙을 만들어가기 때문에 때때로 의외의 결과를 산출.

 

  4. 처리 시간

  디지털 컴퓨터: 어떤 문제이든지 충분한 시간이 주어지면 정확한 해답 찾음.

  신경 회로망  : 대단히 복잡한 문제에 대해서 짧은 시간에 근사한 해답 찾음.

 

  5. 정보의 검색

  디지털 컴퓨터: 데이터 베이스를 검색해서 정확한 데이터를 분류.

  신경 회로망  : 근접한 데이터 분류.

 

  6. 정보의 저장

  디지털 컴퓨터: 특정의 데이터를 손쉽게 검색할 수 있도록 정보를 저장.

  신경 회로망  : 정보의 일부를 검색하면 관련된 모든 정보가 자동적으로 함께 인출될 수 있도록 정보를 저장.


학습

  - 신경 회로망을 구성할 때 가장 중요한 사항은 신경 회로망의 특성을 좌우하는 두가지 요소인 시냅스의 연결 방식과 뉴런의 학습
    규
칙.

  - 신경 회로망은 한마디로 가중치를 조절하는 과정이라 할수 있는데 이러한 과정을 학습이라 함.

  - 평가 방식은 두가지다.

  - 교사 학습: 외부에서 교사 신호로써 입력 신호에 대한 정답 출력을 주는 방식.

  - 무교사 학습: 평가 기준은 있으나 일일이 교사 신호를 주지 않은 학습 방법.

 

 

'Study > AI System' 카테고리의 다른 글

신경회로망  (0) 2009.03.18
신경회로망  (0) 2009.03.18
신경회로망  (0) 2009.03.17
지식의 표현  (0) 2009.03.17
지식의 표현  (0) 2009.03.17
Posted by 열ㅇl
Study/AI System2009. 3. 17. 22:53

신경회로망

  인간의 뇌의 구조를 컴퓨터로 구현하여 보다 인간과 유사한 기능을 가진 컴퓨터를 만들어 보자는 개념에서 출발된 이론.

 

제 1기(1940년대 - 1960년대): 초기 모방기

  - 1943년 McCulloch와 Pitts는 뇌의 기본 구성단위인 뉴런을 단순 모델화하여 연산 작용과 기억 체계등에 이용하고자 함.

  - Weiner의 Cybernetics와 Rosenblatt의 Perceptron 모델은 인간의 뇌가 학습한다는 중요한 원리 제공해준 계기.

 

제 2기(1960년대 - 1980년대): 침체기

  - 1969년 신경 회로망의 한계성에 관한 Minsky와 Papert의 신경 회로망의 한계성에 관한 연구에 따라 컴퓨터와 뇌의 연구가 점차
     분

  - Minsky는 퍼셉트론이란 책에서 신경 회로망의 결함 발표

     첫째: 퍼셉트론의 신뢰성 할당 문제

     둘째: 논리 연산 기능 중 XOR 문제에 정확한 해를 제시 할 수 없음.

 

제 3기(1980년대 - 현재): 발전기

  - Hopfield교수의 연구로 인해 신경회로망이 매우 활기를 띠기 시작

  - 제 2기의 Minsky가 제시한 문제점에 대한 해 제시

    첫째: XOR문제는 오류 역전파 알고리즘을 이용하여 해결

    둘째: 60년대보다 신경회로망을 지원하는 하드웨어의 성능이 2000배 이상 증가

    셋째: 다른 인공지능이 해결하지 못했던 패턴 인식 분야에 신경회로망이 이용되면서 좋은 결과 보여줌.

 

응용분야

  공학분야: 병렬 분산형 구조에 응용하려는 연구

  인지과학 분야: 병렬 분산 정보 처리를 지향하는 연결형 모델이나 PDP모델을 이용한 연구.

 

'Study > AI System' 카테고리의 다른 글

신경회로망  (0) 2009.03.18
신경회로망  (0) 2009.03.18
지식의 표현  (0) 2009.03.17
지식의 표현  (0) 2009.03.17
인공지능시스템  (0) 2009.03.17
Posted by 열ㅇl