もう我慢の限界。。HatenaBlogが使いにく過ぎる。。 以下に以降した。 list - GROWI

Transformer - Transformerの特徴のひとつは、学習を並列実行させることができることである。 RNNでは、時系列毎に結果を渡していく必要があるためシーケンシャルに処理をする必要がある。 - Transformerでは、並列学習させるため、以下の機構がある。 - Enc…

Attention Attentionは、大きく分けて２種類ある。 seq2seqで使用するSource-Target-Attentionと、自分自身に対するSelf-Attention Attentionは、Mapからキーを元に値を選択する処理である。 どこに注意すればよいかを、キーから選択させるようにする。 よい…

PyTorchでSeq2Seqを実装してみた を試してみる。 引き算する数式を文字列で認識して、結果を出力する。 データはランダムに数字を生成して、実際に引き算して作成できるから簡単に用意できる。 seq2seqは、EncoderとDecoderの２種類のネットワークを作成して…

今日は、以下を参考にLSTMを動かしてみる。 qiita.com PyTorchを使って、「livedoorニュースコーパス」のニュース記事のタイトルの分類を行う。 データの読み込みには、Pandasを使い、形態素解析には、Mecabを使う。 PyTorchのデータ読み込みは、DataLoader…

「7章 RNNによる文章生成」のメモ。 この章では、seq2seqと呼ばれる、時系列データから別の時系列データへ変換するニューラルネットワークを扱う。自然言語処理だと、翻訳や予約等に使われ、Encoder-Decoderモデルとも言う。 Encoder 単語列の分散表現から文…

「ゼロから作るDeep Learning2」の続きメモ。 「5章 リカレントニューラルネットワーク（RNN）」 参考動画 www.youtube.com 参考情報 deepage.net RNNは、時系列データを扱う。文章は、分散表現された単語が並んでいるため時系列データとなる。ネットワーク…

「ゼロから作るDeep Learning2」を読んだ時のメモ。 www.oreilly.co.jp 「1章 ニューラルネットワークの復習」 復習の章。特にコメントなし。 「2章 自然言語と単語の分散表現」と「3章 word2vec」 自然言語処理では、単語をベクトルとして表そうとしている…

「ゼロから作るDeep Learning」の続きの「6章 学習に関するテクニック」に関するメモ。 学習時の手法やハイパラメータについて書いてある。 取り敢えず、学習時のコードを読む時に覚えておいた方がよいものとして、 optimization（最適化）という単語とSGDと…