こんな夢を見た

修士学生による自然言語処理研究の記録。主にDeep LearningやEmbedding関連論文の軽い自分用まとめとして。内容に誤りが含まれている場合があります。お気軽にご指摘ください。

“Not not bad” is not “bad”: A distributional account of negation

“Not not bad” is not “bad”: A distributional account of negation
Karl Moritz Hermann, Edward Grefenstette, Phil Blunsom, 2013, ACL Workshop

Word Vector Repersentationにおいて、意味の「否定」を行列演算だけで構成していくためにはどういうモデルでなければならないかという理論派論文。基本的にはSocherらのMatrix-Vector形式の再帰合成について論じている。
あんまりきっぱりとした結論を言いづらいのだけど、誤解のある形で言えば、「Socherらのモデルでは否定が扱えませんよ」「合成時にどれくらいその単語の意味を引き継ぐかというパラメータが必要ですよ」みたいなことがSocherらへの結論。しかし、これは活性化関数による非線形性を排除した議論なので、厳密に「ダメです」ということは言い切れない。しかし、非線形性の魔法でごまかしてなんとかしようとするようなモデル設計は良くない、という発言もしていて、その点には同意。 特に実験も何もない(式とかはある)、完全なる議論だけの論文なのだけど、内容としてはなかなか面白い。後半はちょっとテンポが悪いけど、前半の「Word Vectorは本当は、domain、value、functionというような3つの要素(の空間)を持つ必要がある」という話は自分で感じていたこととよくマッチしていて励みになる。もう少し細かい話があるとなお面白かったのにとも思う。