こんな夢を見た

修士学生による自然言語処理研究の記録。主にDeep LearningやEmbedding関連論文の軽い自分用まとめとして。内容に誤りが含まれている場合があります。お気軽にご指摘ください。

新たなRNNと自然言語処理

先月のとある勉強会で使ったスライドを今更ながら貼ります。 そこそこの「seq2seqやAttentionほどは脚光を浴びていない、RNNの基礎部分の改良や知見」を載せることを趣旨にしています。 口頭のみでの説明も多かったり、読み込みが浅かったり、量重視だったり…

Deep Learningの教材

Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。 無論ここに挙げたもの以外にも充実した教材は多数存在します。また、全てを読んだり観たりしたわけではありませんので、コメントは参考程度に考えてください。 (追記)…

2015 PFIインターン

8/3から9/30までの2ヶ月間、株式会社Preferred Infrastructureでのインターンシップに参加してきました。 今後、PFI & PFNのインターンに興味を持つ方の役に立つかもしれないので、一応記録に残すことにします。ほとんどは選考の個人的な話です。 エントリー…

A Neural Conversational Model

A Neural Conversational Model Oriol Vinyals, Quoc Le, arxiv 2015 seq2seqのNNを対話に応用。 sequence to sequence の元論文では機械翻訳で「翻訳前文」→「翻訳後文」で学習して、実際にその通りに実行していた。本論文では「ある発言」→「その後に相手…

Sequence to Sequence Learning with Neural Networks

Sequence to Sequence Learning with Neural Networks Ilya Sutskever, Oriol Vinyals, Quoc Le, NIPS 2014 不定長のシーケンス(単語列)を入力に不定長のシーケンス(単語列)をLSTMで出力。 機械翻訳の翻訳元の文を(深層の)LSTMで読み取っていって、そ…

Learning Semantic Hierarchies via Word Embeddings

Learning Semantic Hierarchies via Word Embeddings Ruiji Fu, Jiang Guo, Bing Qin, Wanxiang Che, Haifeng Wang, Ting Liu, 2014, ACL 上位下位の意味階層をWord Embeddingから構築(判定)。 ある単語xに対してとある射影行列をかけてyとの距離があるδ以…

Learning Semantic Word Embeddings based on Ordinal Knowledge Constraints

Learning Semantic Word Embeddings based on Ordinal Knowledge Constraints Quan Liu, Hui Jiang, Si Wei, Zhen-Hua Ling, Yu Hu., 2015, ACL project 類似度の順序関係知識を用いたWord Embeddingの学習。 word2vecと外部知識での合わせ技でEmbeddingを作…

Compositional Distributional Semantics with Long Short Term Memory

Compositional Distributional Semantics with Long Short Term Memory Phong Le, Willem Zuidema, 2015, *SEM LSTMの機構をRecursive Neural Networkに組み込んで極性分類。 何か壮大にLSTM一般の話の総括でもするのかとタイトルを見て思ったが、実際には細…

Learning Word Representations with Hierarchical Sparse Coding

Learning Word Representations with Hierarchical Sparse Coding Dani Yogatama, Manaal Faruqui, Chris Dyer, Noah A. Smith, 2015, ACL (NIPS WS, 2014) 階層的な次元構造を持った単語ベクトル学習。 各次元ごとに異なったL2正則化項(上手いこと設計した…

“Not not bad” is not “bad”: A distributional account of negation

“Not not bad” is not “bad”: A distributional account of negation Karl Moritz Hermann, Edward Grefenstette, Phil Blunsom, 2013, ACL Workshop Word Vector Repersentationにおいて、意味の「否定」を行列演算だけで構成していくためにはどういうモデ…

Non-distributional Word Vector Representations

Non-distributional Word Vector Representations Manaal Faruqui and Chris Dyer, 2015, ACL 分布じゃない単語ベクトル。 分布じゃない。素性は資源の丸写しで、つまりはそもそも学習もしない。 WordNet、FrameNet、Pen TreeBank (のPOSタグ)、Supersenses…

Sparse Overcomplete Word Vector Representations

Sparse Overcomplete Word Vector Representations Manaal Faruqui, Yulia Tsvetkov, Dani Yogatama, Chris Dyer, Noah Smith, 2015, ACL 単語ベクトルのovercompleteなスパース化。 スパースな単語ベクトルは各次元の成分の強さで解釈がしやすいことから好…

A Compositional and Interpretable Semantic Space

A Compositional and Interpretable Semantic Space Alona Fyshe, Leila Wehbe, Partha Talukdar, Brian Murphy, Tom Mitchell, 2015, NAACL site Non-Negative Sparse Embedding (Murphy, 2012) を改良。形容詞と名詞の重み付き和で作ったベクトルが、対応…

Logical Inference on Dependency-based Compositional Semantics

Logical Inference on Dependency-based Compositional Semantics Ran Tian, Yusuke Miyao, Takuya Matsuzaki DCSを使った論理推論。 DCSで表現された文からabstract denotationを得る方法の提案、そして、それを用いて新たな(DCS形式)文を自動作成するよう…

Two/Too Simple Adaptations of Word2Vec for Syntax Problems

Two/Too Simple Adaptations of Word2Vec for Syntax Problems Wang Ling, Chris Dyer, Alan Black, Isabel Trancoso, 2015, NAACL word2vecの統語性のための、2つの単純な改造。 謙虚と洒落を兼ね備えたタイトルかっこいい。 word2vecはskip-gramにせよCBOW…

Weakly Supervised Memory Networks

Weakly Supervised Memory Networks Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, Rob Fergus, 2015, arXiv 弱教師あり学習によるMemory Networks。 Memory Networksでは、「記憶→使う記憶を探索→取り出した記憶を活用」の3ステップで問題を解くため…

Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks

Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks Jason Weston, Antoine Bordes, Sumit Chopra, Tomas Mikolov, 2015, arXiv bAbI project AIの言語理解力を試すQAタスクについて細分類して20種のデータセットを作成/公開。そして…

Memory Networks

Memory Networks Jason Weston, Sumit Chopra, Antoine Bordes, 2015, ICLR Facebook - The bAbI project 記憶装置を持ったようなQA向けのフレームワーク。 名前から誤解しがちだが、Neural NetworkはあくまでMemory Network内の1つのモジュールであるだけで…

雑読論文まとめ

Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space A Fast and Accurate Dependency Parser using Neural Networks Learning to Distinguish Hypernyms and Co-Hyponyms Relation Classification via Convolutional Dee…

Mikolovのword2vec論文3本(2013)まとめ

Linguistic Regularities in Continuous Space Word Representations. Efficient estimation of word representations in vector space Distributed representations of words and phrases and their compositionality Tomas Mikolov, Wen-tau Yih, Geoffrey…

Inducing Neural Models of Script Knowledge

Inducing Neural Models of Script Knowledge Ashutosh Modi and Ivan Titov, 2014, CoNLL スクリプト知識を用いて学習したNeural Netoworkでのイベント順序認識。 先に結論を言えば、かなり精度が出ている。前提として、全てのイベントは一貫した順序関係(…

A Recursive Recurrent Neural Network for Statistical Machine Translation

A Recursive Recurrent Neural Network for Statistical Machine Translation Shujie Liu and Nan Yang and Mu Li and Ming Zhou, 2014, ACL Recursive Recurrent Neural Networkを用いた統計的翻訳。 RecursiveかつRecurrentのモデルを提案。それでちゃんと…

Injecting Logical Background Knowledge into Embeddings for Relation Extraction.

Injecting Logical Background Knowledge into Embeddings for Relation Extraction. Tim Rocktaschel, Sameer Singh, Sebastian Riedel, 2015, NAACL embeddingを用いた関係抽出への論理知識の導入。 まず背景となる研究について。観測済みの関係情報から「…

Unsupervised POS Induction with Word Embeddings

Unsupervised POS Induction with Word Embeddings Chu-Cheng Lin, Waleed Ammar, Chris Dyer, Lori Levin, 2015, NAACL Word Embeddingsを用いた教師なしPOS induction。 POS inductionではタグから単語を出力する際の確率分布を用いて推定を行うモデルがあ…

Global Belief Recursive Neural Networks

Global Belief Recursive Neural Networks Romain Paulus, Richard Socher, Christopher D. Manning, 2014, NIPS 大局的な伝播を行うRecursive Neural Networks。 文全体のコンテクストを各トークンやフレーズに伝播させるための枠組みとして、上向きにrecur…

Bidirectional Recursive Neural Networks for Token-Level Labeling with Structure

Bidirectional Recursive Neural Networks for Token-Level Labeling with Structure Ozan İrsoy, Claire Cardie, 2013, NIPS Deep Learning Workshop 双方向Recursive Neural Networkによるトークンレベルでの構造的なラベルの付与。 双方向Recurrent NNに…

Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank

Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Chris Manning, Andrew Ng and Chris Potts. 2013, EMNLP Socher site Recursiveモデルで感情極性。 個人的にはか…

Recursive Deep Models for Discourse Parsing

Recursive Deep Models for Discourse Parsing Jiwei Li, Rumeng Li and Eduard Hovy, 2014, EMNLP. Recursive Neural Networkによる、修辞構造理論(RST)に基づく談話構造のパージング。 Recursive NNを使って談話構造を推定する話。 Recursive関連のうちの…

Deep Recursive Neural Networks for Compositionality in Language

Deep Recursive Neural Networks for Compositionality in Language Ozan Irsoy, Claire Cardie, 2014, NIPS site 言語処理における多層Recursive Neural Networksの有効性。 今まで使われていたようなRecursiveモデルの改良として、各ノードから分類関数に…

Parsing With Compositional Vector Grammars

Parsing With Compositional Vector Grammars Richard Socher, John Bauer, Christopher D. Manning, Andrew Y. Ng, 2013, ACL site PCFGでの構文解析時にRecursive Neural Networkでリランキングするモデル。 構文木のパージングを行う際に、PCFGのビームサ…