Transformer - Transformerの特徴のひとつは、学習を並列実行させることができることである。 RNNでは、時系列毎に結果を渡していく必要があるためシーケンシャルに処理をする必要がある。 - Transformerでは、並列学習させるため、以下の機構がある。 - Enc…

Attention Attentionは、大きく分けて２種類ある。 seq2seqで使用するSource-Target-Attentionと、自分自身に対するSelf-Attention Attentionは、Mapからキーを元に値を選択する処理である。 どこに注意すればよいかを、キーから選択させるようにする。 よい…