Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。
無論ここに挙げたもの以外にも充実した教材は多数存在します。また、全てを読んだり観たりしたわけではありませんので、コメントは参考程度に考えてください。
(追記) ときどき追記/編集していきます。
(以下、一部敬称略)
Bengio オンライン本
- Yoshua Bengio, Ian Goodfellow and Aaron Courville
- http://www.iro.umontreal.ca/~bengioy/dlbook/version-07-08-2015/dlbook.html
現在Web上で閲覧可能。
いつか出版される。終盤はまだ執筆中。
これ一冊で根っこの理論はバッチリそう。天下のBengioさんなので情報の信頼性、網羅性、深みは高い。全部やると分量すごい。
Nielsen オンライン本
- Michael Nielsen
- 日本語: http://nnadl-ja.github.io/nnadl_site_ja/
- 英語: http://neuralnetworksanddeeplearning.com/
ニューラルネットの基礎を理解するのに良さそう。逆伝搬、なぜクロスエントロピーが良いのか、なぜ任意の関数を近似できるのかなどについて。分量は比較的少なめ。
4章だけでも見る(遊ぶ)価値あり。ブラウザ上でダイナミックにNNをいじりながら学べる。
日本語訳は有志によるもの。
Goldberg レポート
- A Primer on Neural Network Models for Natural Language Processing
- Yoav Goldberg
- http://u.cs.biu.ac.il/~yogo/nnlp.pdf
The tutorial covers input encoding for natural language tasks, feed-forward networks, convolutional networks, recurrent networks and recursive networks, as well as the computation graph abstraction for automatic gradient computation.
Embeddingの雄 Goldbergさんによる新しめのまとめ。NLPerとしてNNを抑えたい、くらいならこれで十分すぎるくらいの内容。全部で60ページ強。
Cho レポート
- Natural Language Understanding with Distributed Representation
- Kyunghyun Cho
- http://arxiv.org/pdf/1511.07916.pdf
RNN機械翻訳などで活躍中のChoさんによるまとめ。
Udacity. Deep Learning 講義
- https://www.udacity.com/course/deep-learning--ud730
- Vincent Vanhoucke, Arpan Chakraborty
Udacityのオンライン講義。GoogleのTensorFlowを使いながら学ぶらしい。
Deep Learning Summer School 2015 動画 & スライド
Bengio, Manning, Socher, Googfellowさんなどのそうそうたるメンバーによる講義。
90分講義が30本。他である程度基礎を理解してから観たほうがなお良さそう。
Hinton 講義 ビデオ & スライド & レポートノート
- CSC321 Winter 2014 - Course information Introduction to Neural Networks and Machine Learning
- Neural Networks for Machine Learning - Coursera
- Geoffrey Hinton
Hintonさんによる大学/Coursera講義。2014年のものと2012年のもの。rmsPropについての(初出の?)情報があるのもこの講義スライド中。
Socher 講義 ビデオ & スライド & レポートノート
- CS224d: Deep Learning for Natural Language Processing
- Richard Socher
- http://cs224d.stanford.edu/syllabus.html
Stanfordの講義。Richard Socherさんと豪華なゲスト講師によってNLPでのDLの応用を広く最先端まで追う。かなり良い。
ビデオもスライドもレポートpdfもある。各回の推奨論文も。
Li & Karapathy 講義 レポートノート
- CS231n: Convolutional Neural Networks for Visual Recognition
- Fei-Fei Li, Andrej Karpathy
- http://cs231n.github.io/
Stanfordの講義。こちらも豪華にLiとKarapathyさん。画像NN専門の講義ではなく、画像の分類問題を題材にしながら、SVM、SGD、逆伝搬などでNNを基礎から積み上げていく感じ。ビデオもスライドも無いけど、コードや画像付きのレポートノートがとっつきやすそう。
Nando de Freitas 講義 ビデオ & スライド
- Machine Learning
- Nando de Freitas
- https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/
Oxfordの講義。Machine Learningと題しているが、大半はDeep Learning。
Cao 講義 スライド
- Deep Learning for Computer Vision and Natural Language Processing
- Liangliang Cao, James Fan
コロンビア大の講義。スライドのみ。画像寄り
Schmidhuber 講義
- MACHINE LEARNING & OPTIMIZATION I, II
- Jürgen Schmidhuber
- http://people.idsia.ch/~juergen/mlbio1.html
- http://people.idsia.ch/~juergen/mlbio2.html
Schmidhuberさんの講義。NN特化ではない。内容は充実しているけどこれだけで学習するには易しくなく不向きかも。
Hugo Larochelle 講義
- Neural networks class - Université de Sherbrooke
- Hugo Larochelle
- https://www.youtube.com/playlist?list=PL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH
Sherbrooke大の講義の補助用に挙げられている動画。英語。小分けにされた各トピックが10分前後で用意されている。
岡谷さん本
- 深層学習 (機械学習プロフェッショナルシリーズ), 講談社
- 岡谷 貴之
- amazon: http://www.amazon.co.jp/dp/4061529021
この本でしか味わえない充実感。基礎からSGD、自己符号化器、CNN、RNN、ボルツマンマシンまでと、盛りだくさんの内容を体系的に解説。
日本語書籍。引用紹介文のとおり、基本的なことが一通りそろっていて読みやすい。岡谷教授の専門は画像。
人工知能学会誌本
- 深層学習: Deep Learning, 近代科学社
- 神嶌 敏弘, 麻生 英樹, 安田 宗樹, 前田 新一, 岡野原 大輔, 岡谷 貴之, 久保 陽太郎, ボレガラ ダヌシカ
- amazon: http://www.amazon.co.jp/dp/476490487X
- サポートページ: http://jsai-deeplearning.github.io/support/
日本語書籍。人工知能学会誌での深層学習についての連載を大幅に加筆修正して出版。RBMなどNNを基礎から踏まえ、各分野でのプラスαの使われ方について述べる感じ。幅広く分野を抑えたい人向け。
伊庭さん本
- 進化計算と深層学習 -創発する知能-, オーム社
- 伊庭 斉志
- amazon: http://www.amazon.co.jp/dp/4274218023
ディープラーニングの基礎となるニューラルネットワークの理論的背景から人工知能との関わり、最近の進展や成果、課題にいたるまでを詳しく説明します。「進化」と「学習」をキーワードとして、人工知能の実現へのアプローチや知能の創発についてを説明する、ニューラルネットや進化計算による学習の基礎的なところから分かりやすく説明する、「進化計算」を用いた「深層学習」への取り組みを説明する、などです。
Ke-Lin Du 本
- Neural Networks and Statistical Learning, Splinger
- Ke-Lin Du, M. N. S. Swamy
- Springer: http://www.springer.com/us/book/9781447155706
明快な問題解説から始めて歴史的な脈絡を追って最新の研究まで紹介しているらしい。
Schmidhuber レポート
- Deep Learning in Neural Networks: An Overview
- Jurgen Schmidhuber
- arXiv: http://arxiv.org/pdf/1404.7828v4.pdf
Schmidhuberさんが、1940年頃-現在までのNNについてきっちり歴史を追いながら俯瞰。
本文は35ページ。引用のみで53ページ使っているほど律儀に引用しているので、各テーマについて文献を探したいときにも有用そう。
Deep Learning Tutorials with Theano
DLフレームワークTheanoを使いつつDLの各コンテンツについて説明していくスタイル。Theano使うつもりなら、ここで合わせて馴染むと有用。
DL4J Deep Learning for Java
JavaベースのDLフレームワークのDeeplearning4j (DL4J) のサイト。DLの各コンテンツについて記事がある。DL4J使うつもりなら当然特に有用。
colah's blog
図解も含めた説明でとっつきやすい。あれこれのテーマについてそれぞれまとめている。
- Calculus on Computational Graphs: Backpropagation - August 31, 2015
- Understanding LSTM Networks - August 27, 2015
- Visualizing Representations: Deep Learning and Human Beings - January 16, 2015
- Groups & Group Convolutions - December 8, 2014
- Visualizing MNIST: An Exploration of Dimensionality Reduction - October 9, 2014
- Understanding Convolutions - July 13, 2014
- Conv Nets: A Modular Perspective - July 8, 2014
- Deep Learning, NLP, and Representations - July 7, 2014
- Fanfiction, Graphs, and PageRank - July 6, 2014
- Neural Networks, Manifolds, and Topology - April 6, 2014
DEEP LEARNING FOR NATURAL LANGUAGE PROCESSING - memkite
NLPの諸分野に使われているDL論文を挙げたリスト。
DeepLearning.net
更新がもうなされていないので古いけど論文リストは有用。2010年頃のDLの盛り上がりの時期の論文メイン。
Awesome-rnn
- Jiwon Kim, Myungsub Choi
- http://jiwonkim.org/awesome-rnn/
Recurrent neural networksを各分野の各テーマで用いた論文リスト。近年のランドマーク的なものに絞っていて良い。