1. HOME
  2. 電気・情報関連(専門)
  3. 研究情報(登録番号498)

神経回路モデル「ネオコグニトロン」

  • 写真なし福島 邦彦
ネオコグニトロンの回路構造

図1 ネオコグニトロンの回路構造

ネオコグニトロンでの階層的な情報処理の原理

図2 ネオコグニトロンでの階層的な情報処理の原理

変形に強いパターン認識の原理

図3 変形に強いパターン認識の原理

回路内の細胞の反応例

図4 回路内の細胞の反応例

 「ネオコグニトロン」に関する研究論文が1979年、電子通信学会論文誌に発表された。ネオコグニトロンとは、視覚パターン認識に関する階層型神経回路モデルで、実用的なパターン認識システムとしても高い能力を持つことが種々の実験で実証されている。

 ネオコグニトロンには自己組織化機能があり、学習によってパターン認識能力を獲得していく。あらかじめ学習させておけば、文字・幾何学図形・中間調(グレーレベル)のある画像など、どのようなパターンでも認識するようになる。しかも、ある特定の刺激と結びついた反応を、類似の刺激に対しても起こすという「般化」(generalization)の能力があるので、いちいち変形パターンを教えてやる必要がない。未学習のパターンでも、それが過去に学習したパターンと似ていれば正しく認識するので、手書き文字を認識するなど広い応用範囲を持っている。

 ネオコグニトロンの回路構造は、生理学の実験に基づく古典的な階層仮説をヒントにして考案された。図1のように、細胞の層を何段も階層的につないで組み立てた多層の神経回路である。この回路の中には、図形の特徴を抽出するS細胞の層と、特徴の位置ずれを吸収する働きを持つC細胞の層とが交互に並んでいる。S細胞、C細胞という呼び名は、それぞれが大脳の第1次視覚野に見られる単純型細胞(simple cell)と複雑型細胞(complex cell)に似た性質があるところから、その頭文字をとったものである。

 多層回路の最下位層は、視細胞(受光素子)が並んだ入力層である。入力層に与えられた視覚パターンの情報は、回路の中で処理されながら上位の層に伝えられ、最上位層のC細胞が認識結果を示す。

 ネオコグニトロンでは個々の細胞は一つ前の層から信号を受け取るが、比較的狭い範囲にある細胞に限られている。しかも信号を送り出す細胞と信号を受け取る細胞とは、それぞれの層の中でほぼ同じような位置を占めている(retinotopyが保たれている)。

 各細胞層の細胞は、その受容野の性質(その細胞が抽出する特徴の種類)に応じて、細胞面と呼ばれるグループに分かれており、各細胞面の細胞すべてが同一空間分布の入力結合を持っている(shared connectionになっている)。

 回路の自己組織化は、一種の競合学習によって進行する。学習パターンが与えられるごとにS細胞間に競合が起こり、競り勝ったS細胞(最大出力細胞)だけが入力結合を変化させて、その受容野に与えられた特徴に選択的に反応するようになっていく。下位の細胞層では競合範囲はあまり大きくないので、このような競合が層内の各所で同時に起こり、学習パターンの局所的な特徴を抽出する細胞が並列的に作られていく。

 多層回路の中で、下位の層のS細胞は小さい受容野を持っていて、入力パターンの局所的な特徴を抽出する。例えば、アルファベットの「A」を学習したネオコグニトロンの下位の段には、図2に示すように、Aという文字の種々の部分パターン、すなわち局所的特徴に反応するS細胞が形成される。

 このような局所的特徴を抽出するS細胞がどんな組み合わせで反応しているかを見ているのが、その次の段のS細胞である。この細胞は、前の段の細胞に比して少しだけ大きい受容野を持っており、大局的な特徴を抽出する。

 さらに一段上には、この大局的な特徴を抽出する細胞の出力をたくさん集めて、もっと大きい特徴を見ている細胞がある。つまり、大局的な特徴を見る前段の細胞の反応を介して、間接的に入力層全体の情報を捕らえるのである。したがって、Aというパターンが与えられるとAに対応した細胞が出力を出し、Bというパターンが与えられるとまた別の細胞が出力を出す。こうして最上位段の細胞が認識細胞として働く。

 ネオコグニトロンに般化能力を持たせるうえで重要な役割を果たしているのがC細胞である。C細胞は複数個のS細胞から固定した結合を受け取っていて、そのうちのどれか一つのS細胞が出力を出せば、C細胞も出力を出すようになっている。これらのS細胞はいずれも同じ形の特徴を抽出するが、受容野の位置はS細胞ごとに少しずつ異なる。つまり1個のC細胞は、わずかに違った場所から同じ特徴を抽出してくるような一群のS細胞の出力を受け取っている。したがって、入力パターンの位置が少し変わって、ある特徴の場所が入力層(網膜)の上で少しずれると、最初とは異なる別のS細胞がその特徴を捕らえて反応するが、いずれにしてもこれらのS細胞の出力を全部まとめて受け取っているC細胞は、出力を出し続けることになる。つまりC細胞は、S細胞が抽出した特徴の位置ずれの影響を吸収する性質を持っている。

 このように多層回路内には、S細胞の層とC細胞の層とが交互に繰り返して階層的に結合されているので、入力パターンの情報は、多層回路内の各段でS細胞による特徴の抽出とC細胞による特徴の位置ずれの許容化を繰り返しながら上位段に送られていく。この過程において、下位段で抽出された局所的な特徴は,次第に大局的な特徴に組み上げられていく。このとき入力パターンの拡大や縮小をはじめ種々の変形に伴う局所的特徴の相対的な位置ずれの影響は、C細胞の働きによって少しずつ吸収されるので、最終的には入力パターンのかなりの変形に対しても影響されない出力を得ることができるのである。

 この様子をさらに詳しく見るために、図3(a)のように、三つの局所的な特徴を組み合わせた大局的特徴を抽出する中間段のS細胞に注目してみよう。このS細胞は、三つの特徴が図のような位置関係を保って並んでいることを学習段階に覚えた細胞である。初めはきれいなAというパターンだけしか見せられていないが、学習が終わったときにはC細胞の働きによって、これら三つの局所的特徴の位置が多少ずれても、図に点線の円で示した程度の位置ずれなら許容される。したがって図3(b)のように、見せられるパターンが大きくても小さくても、三つの特徴がそれぞれの点線の円内に入っているので正しく認識される。

 ネオコグニトロンのパターン認識能力は種々の実験によって確かめられている。例えば、手書き数字の大規模データベースETL-1を用いた認識実験では、3000個の手書き数字を学習したネオコグニトロンは、学習に用いなかった未知の3000個のテストパターンに対して98.6%の認識率を示した。図4に、手書き数字に対する回路内の細胞の反応例を示した。
             =電子情報通信学会ニューロコンピューティング研究専門委員会編集=

 本研究の成果に対して、電子情報通信学会は、1982年、この新しいパターン認識方式「ネオコグニトロン」 を研究して提唱した福島 邦彦 (NHK放送科学基礎研究所)に業績賞を贈った。

文献

[1] 福島邦彦、位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン ---、1979年、電子通信学会論文誌A, vol. J62-A, no. 10, pp. 658-665
[2] K. Fukushima、Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position、1980年、Biological Cybernetics}, vol. 36, no. 4, pp. 193-202
[3] K. Fukushima, S. Miyake、Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position、1982年、Pattern Recognition}, vol. 15, no. 6, pp. 455-469
[4] K. Fukushima、Neocognitron: A hierarchical neural network capable of visual pattern recognition、1988年、Neural Networks, vol. 1, no. 2, pp. 119-130
[5] K. Fukushima、Neocognitron for handwritten digit recognition、2003年、Neurocomputing, vol. 51, pp. 161-180

関連する研究を検索

分野のカテゴリ

情報処理
(情報処理理論)

関連する出来事

データなし

世の中の出来事

1982
ホテルニュージャパンで火災が起こる。
1982
東北新幹線・上越新幹線が開業する。

Webページ

博物館等収蔵品

データなし

キーワード

視覚、神経回路、パターン認識、ネオコグニトロン、自己組織化
Page Top