NEWS

LATEST NEWS

医学部一期生、久野晴貴くんが著者に入った論文が出版されました

 医学部医学科6年生の久野晴貴くんが、著者に入った論文が出版されました。

 強化学習は機械学習の一種で、環境の中でどうふるまうかを、直接教わるのではなく、正解不正解を通じて学習者自ら学習します。しかしながら、通常の強化学習では、今環境がどういう状態なのかについては、その固定されたバリエーションが学習モデルの中に事前知識として与えられているため、任意の環境への適応能力には大きな制限があります。今回、われわれは今環境がどういう状態なのかを自ら決定しながら学習するモデルを構築し、以前、サルに学習させた2ターゲット探索課題という課題でその性能を試したところ、高いパフォーマンスが得られました。2ターゲット探索課題では、これまでの成功体験を生かすべき時期(知識利用)と新しいことを探索する時期(探索)が交互に来ます。通常の強化学習では知識利用と探索は深刻なトレードオフ問題で、学習を通じ知識を蓄えるほどそれにこだわり探索しなくなります。

 久野くんは、われわれの提案モデルにおいては知識利用と探索はトレードオフではなく、探索の仕方を学習していて探索期にも非常に合理的な探索をしていることを示してくれました(論文中の図13)。今回提案した学習モデルは今後、環境への高い適応能力をもつ機械学習の開発だけでなく、高次脳機能障害の理論的解明にもつながると期待されます。

 

論文情報

論文タイトル

Reinforcement Learning Model With Dynamic State Space Tested on Target Search Tasks for Monkeys: Self-Determination of Previous States Based on Experience Saturation and Decision Uniqueness

掲載誌

Frontiers in Computational Neuroscience

著者名

Tokio Katakura, Mikihiro Yoshida, Haruki Hisano, Hajime Mushiake and Kazuhiro Sakamoto