こんな夢を見た

修士学生による自然言語処理研究の記録。主にDeep LearningやEmbedding関連論文の軽い自分用まとめとして。内容に誤りが含まれている場合があります。お気軽にご指摘ください。

Deep Learningの教材

Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。
無論ここに挙げたもの以外にも充実した教材は多数存在します。また、全てを読んだり観たりしたわけではありませんので、コメントは参考程度に考えてください。

(追記) ときどき追記/編集していきます。

(以下、一部敬称略)

Bengio オンライン本

現在Web上で閲覧可能。
いつか出版される。終盤はまだ執筆中。
これ一冊で根っこの理論はバッチリそう。天下のBengioさんなので情報の信頼性、網羅性、深みは高い。全部やると分量すごい。

Nielsen オンライン本

ニューラルネットの基礎を理解するのに良さそう。逆伝搬、なぜクロスエントロピーが良いのか、なぜ任意の関数を近似できるのかなどについて。分量は比較的少なめ。
4章だけでも見る(遊ぶ)価値あり。ブラウザ上でダイナミックにNNをいじりながら学べる。
日本語訳は有志によるもの。

Goldberg レポート

The tutorial covers input encoding for natural language tasks, feed-forward networks, convolutional networks, recurrent networks and recursive networks, as well as the computation graph abstraction for automatic gradient computation.

Embeddingの雄 Goldbergさんによる新しめのまとめ。NLPerとしてNNを抑えたい、くらいならこれで十分すぎるくらいの内容。全部で60ページ強。

Cho レポート

RNN機械翻訳などで活躍中のChoさんによるまとめ。

Udacity. Deep Learning 講義

Udacityのオンライン講義。GoogleのTensorFlowを使いながら学ぶらしい。

Deep Learning Summer School 2015 動画 & スライド

Bengio, Manning, Socher, Googfellowさんなどのそうそうたるメンバーによる講義。
90分講義が30本。他である程度基礎を理解してから観たほうがなお良さそう。

Hinton 講義 ビデオ & スライド & レポートノート

  • CSC321 Winter 2014 - Course information Introduction to Neural Networks and Machine Learning
  • Neural Networks for Machine Learning - Coursera
  • Geoffrey Hinton

Hintonさんによる大学/Coursera講義。2014年のものと2012年のもの。rmsPropについての(初出の?)情報があるのもこの講義スライド中。

Socher 講義 ビデオ & スライド & レポートノート

Stanfordの講義。Richard Socherさんと豪華なゲスト講師によってNLPでのDLの応用を広く最先端まで追う。かなり良い。
ビデオもスライドもレポートpdfもある。各回の推奨論文も。

Li & Karapathy 講義 レポートノート

Stanfordの講義。こちらも豪華にLiとKarapathyさん。画像NN専門の講義ではなく、画像の分類問題を題材にしながら、SVMSGD、逆伝搬などでNNを基礎から積み上げていく感じ。ビデオもスライドも無いけど、コードや画像付きのレポートノートがとっつきやすそう。

Nando de Freitas 講義 ビデオ & スライド

Oxfordの講義。Machine Learningと題しているが、大半はDeep Learning。

Cao 講義 スライド

  • Deep Learning for Computer Vision and Natural Language Processing
  • Liangliang Cao, James Fan

コロンビア大の講義。スライドのみ。画像寄り

Schmidhuber 講義

Schmidhuberさんの講義。NN特化ではない。内容は充実しているけどこれだけで学習するには易しくなく不向きかも。

Hugo Larochelle 講義

Sherbrooke大の講義の補助用に挙げられている動画。英語。小分けにされた各トピックが10分前後で用意されている。

岡谷さん本

この本でしか味わえない充実感。基礎からSGD、自己符号化器、CNN、RNN、ボルツマンマシンまでと、盛りだくさんの内容を体系的に解説。

日本語書籍。引用紹介文のとおり、基本的なことが一通りそろっていて読みやすい。岡谷教授の専門は画像。

人工知能学会誌本

日本語書籍。人工知能学会誌での深層学習についての連載を大幅に加筆修正して出版。RBMなどNNを基礎から踏まえ、各分野でのプラスαの使われ方について述べる感じ。幅広く分野を抑えたい人向け。

伊庭さん本

ディープラーニングの基礎となるニューラルネットワークの理論的背景から人工知能との関わり、最近の進展や成果、課題にいたるまでを詳しく説明します。「進化」と「学習」をキーワードとして、人工知能の実現へのアプローチや知能の創発についてを説明する、ニューラルネットや進化計算による学習の基礎的なところから分かりやすく説明する、「進化計算」を用いた「深層学習」への取り組みを説明する、などです。

Ke-Lin Du 本

明快な問題解説から始めて歴史的な脈絡を追って最新の研究まで紹介しているらしい。

Schmidhuber レポート

Schmidhuberさんが、1940年頃-現在までのNNについてきっちり歴史を追いながら俯瞰。
本文は35ページ。引用のみで53ページ使っているほど律儀に引用しているので、各テーマについて文献を探したいときにも有用そう。

Deep Learning Tutorials with Theano

DLフレームワークTheanoを使いつつDLの各コンテンツについて説明していくスタイル。Theano使うつもりなら、ここで合わせて馴染むと有用。

DL4J Deep Learning for Java

JavaベースのDLフレームワークのDeeplearning4j (DL4J) のサイト。DLの各コンテンツについて記事がある。DL4J使うつもりなら当然特に有用。

colah's blog

図解も含めた説明でとっつきやすい。あれこれのテーマについてそれぞれまとめている。

  • Calculus on Computational Graphs: Backpropagation - August 31, 2015
  • Understanding LSTM Networks - August 27, 2015
  • Visualizing Representations: Deep Learning and Human Beings - January 16, 2015
  • Groups & Group Convolutions - December 8, 2014
  • Visualizing MNIST: An Exploration of Dimensionality Reduction - October 9, 2014
  • Understanding Convolutions - July 13, 2014
  • Conv Nets: A Modular Perspective - July 8, 2014
  • Deep Learning, NLP, and Representations - July 7, 2014
  • Fanfiction, Graphs, and PageRank - July 6, 2014
  • Neural Networks, Manifolds, and Topology - April 6, 2014

DEEP LEARNING FOR NATURAL LANGUAGE PROCESSING - memkite

NLPの諸分野に使われているDL論文を挙げたリスト。

DeepLearning.net

更新がもうなされていないので古いけど論文リストは有用。2010年頃のDLの盛り上がりの時期の論文メイン。

Awesome-rnn

Recurrent neural networksを各分野の各テーマで用いた論文リスト。近年のランドマーク的なものに絞っていて良い。