こんな夢を見た

修士学生による自然言語処理研究の記録。主にDeep LearningやEmbedding関連論文の軽い自分用まとめとして。内容に誤りが含まれている場合があります。お気軽にご指摘ください。

Compositional Distributional Semantics with Long Short Term Memory

Compositional Distributional Semantics with Long Short Term Memory
Phong Le, Willem Zuidema, 2015, *SEM

LSTMの機構をRecursive Neural Networkに組み込んで極性分類。
何か壮大にLSTM一般の話の総括でもするのかとタイトルを見て思ったが、実際には細かい話だった。このタイトルは意図的なテクニックなのだろうか。

LSTMをRecursiveに組み込むという少し不思議なモデル化。説明されれば、なるほどと理解はできる。結果的に単なるRecursiveに比べると良い性能となっていた。
モデルを見ると、メモリーセルの情報が木の下部からずっと使いまわされるという感じではない。伝搬は勿論するのだけどメモリー感(?)はない。そもそもRecursiveはRecurrentに比べて成分の大局的な伝搬が通用する方である(が、あまりそのことには触れられていない印象)し、そんなに要らない気はする。
モデル構造から個人的に推察すると、メモリーセル自体に重要な貢献があったという感じはしない。そこよりもインプットゲートによって擬似的にuntiedな重みで2単語を合成できていることがいいのでは、と思う。

良くも悪くもライトな論文で、非常に読みやすくて徹頭徹尾さくさくと話が進んだ。