A Course on Deep Learning

From: http://www.iro.umontreal.ca/~pift6266/H10/notes/contents.html

Contents

• IFT6266: Plan de chaque cours
  • 31 Mars
  • 29 Mars
  • 24 Mars
  • 22 Mars
  • 17 Mars
  • 15 Mars
  • 10 Mars
  • 8 Mars
  • 24 Février
  • 22 Février
  • 17 Février
  • 15 Février
  • 12 Février
  • 10 Février
  • 8 Février
  • 3 Février
  • 1er Février
  • 27 Janvier
  • 25 Janvier
  • 20 Janvier
  • 18 Janvier
  • 13 Janvier
  • 11 Janvier
  • 6 Janvier
• Very Brief Introduction to Machine Learning for AI
  • Intelligence
  • Artificial Intelligence
  • Machine Learning
  • Formalization of Learning
  • Supervised Learning
  • Unsupervised Learning
  • Local Generalization
  • Distributed versus Local Representation and Non-Local Generalization
• Introduction to Deep Learning Algorithms
  • Depth
  • Motivations for Deep Architectures
  • Insufficient depth can hurt
  • The brain has a deep architecture
  • Cognitive processes seem deep
  • Breakthrough in Learning Deep Architectures
• Introduction to Gradient-Based Learning
  • The Gradient
  • Gradient Descent
  • Stochastic Gradient Descent
  • Minibatch Stochastic Gradient Descent
  • Momentum
  • Choosing the Learning Rate Schedule
  • Flow Graphs, Chain Rule and Backpropagation: Efficient Computation of the Gradient
• Introduction to Multi-Layer Perceptrons (Feedforward Neural Networks)
  • Multi-Layer Neural Networks
  • Most Common Training Criteria and Output Non-Linearities
  • The Back-Propagation Algorithm
  • Logistic Regression
• Training Multi-Layer Neural Networks
  • Problème fondamentalement difficile d’optimisation
  • Choix de l’architecture
  • Normalisation des entrées
  • Traitement des sorties désirées
  • Codage des sorties désirées et des entrées discrètes
  • Algorithme d’optimisation
  • Initialisation des paramètres
  • Contrôle de la saturation
  • Contrôle de la capacité effective
• Le défi d’entraîner des réseaux de neurones profonds
• Auto-encodeurs débruitants vs auto-encodeurs ordinaires
• Modèles probabilistes pour les architectures profondes
  • Rappels sur les modèles graphiques probabilistes
  • Inférence
  • Inférence approximative
  • Inférence par MCMC
  • Échantillonage de Gibbs
  • Le Gradient dans un Champs de Markov Log-Linéaire
  • Marginalisation sur les variables cachées
• La Machine de Boltzmann
  • La Machine de Boltzmann Restreinte
  • Gibbs dans les RBMs
• Entraînement des RBMs
  • Divergence Contrastive
  • Divergence Contrastive Persistente
• RBMs empilés et DBNs
  • Deep Belief Networks
  • Dépliement d’une RBM et équivalence RBM - DBN
  • Inférence approximative dans les DBNs
  • Deep Boltzmann Machine

Posted via email from Troy's posterous