ゼロから作るDeep Learning2（その２）

「ゼロから作るDeep Learning2」の続きメモ。

「5章　リカレントニューラルネットワーク（RNN）」

参考動画

参考情報

RNNは、時系列データを扱う。文章は、分散表現された単語が並んでいるため時系列データとなる。ネットワークとしては、ニューラルネットを次から次へつなげていくだけのもになる。単語がつならりその結果が、文章の分散表現となる。

この章で出てくる「Truncated BPTT」という学習方法を覚えておくとよい。OpenNMT-pyの学習でも使用している。

順伝播のつながりは維持し、逆伝播のみ適当な長さで切り離して学習を行う。

「6章　ゲート付きRNN」

参考動画

単純なRNNだと学習時の勾配が消失してしまったり、爆発してしまったりしてしまう。

なかなかうまくいかないものだ。そこで、適当にゲートをつけて、次のニューラルネットに送ったり遅らせなかったりするゲートを入れる。電子回路のラッチのような構成になる。このゲートの開け閉めの塩梅を学習させる。