2015-07-01から1ヶ月間の記事一覧
A Neural Conversational Model Oriol Vinyals, Quoc Le, arxiv 2015 seq2seqのNNを対話に応用。 sequence to sequence の元論文では機械翻訳で「翻訳前文」→「翻訳後文」で学習して、実際にその通りに実行していた。本論文では「ある発言」→「その後に相手…
Sequence to Sequence Learning with Neural Networks Ilya Sutskever, Oriol Vinyals, Quoc Le, NIPS 2014 不定長のシーケンス（単語列）を入力に不定長のシーケンス（単語列）をLSTMで出力。 機械翻訳の翻訳元の文を（深層の）LSTMで読み取っていって、そ…
Learning Semantic Hierarchies via Word Embeddings Ruiji Fu, Jiang Guo, Bing Qin, Wanxiang Che, Haifeng Wang, Ting Liu, 2014, ACL 上位下位の意味階層をWord Embeddingから構築（判定）。 ある単語xに対してとある射影行列をかけてyとの距離があるδ以…
Learning Semantic Word Embeddings based on Ordinal Knowledge Constraints Quan Liu, Hui Jiang, Si Wei, Zhen-Hua Ling, Yu Hu., 2015, ACL project 類似度の順序関係知識を用いたWord Embeddingの学習。 word2vecと外部知識での合わせ技でEmbeddingを作…
Compositional Distributional Semantics with Long Short Term Memory Phong Le, Willem Zuidema, 2015, *SEM LSTMの機構をRecursive Neural Networkに組み込んで極性分類。 何か壮大にLSTM一般の話の総括でもするのかとタイトルを見て思ったが、実際には細…
Learning Word Representations with Hierarchical Sparse Coding Dani Yogatama, Manaal Faruqui, Chris Dyer, Noah A. Smith, 2015, ACL (NIPS WS, 2014) 階層的な次元構造を持った単語ベクトル学習。 各次元ごとに異なったL2正則化項（上手いこと設計した…
“Not not bad” is not “bad”: A distributional account of negation Karl Moritz Hermann, Edward Grefenstette, Phil Blunsom, 2013, ACL Workshop Word Vector Repersentationにおいて、意味の「否定」を行列演算だけで構成していくためにはどういうモデ…
