Aux premières loges des conférences de Yann LeCun |
Yann LeCun enseigne l'IAJ'ai suivi les conférences de Yann LeCun au Collège de France en 2016.Il était titulaire de la chaire annuelle Informatique et sciences numériques, en partenariat avec l'Inria. Elles sont toujours disponibles en ligne en podcast . Podcast : Collège de France - Sciences et technologies - Informatique et sciences numériques - Yann LECUN et en video sur le site du Collège de France - liens disponibles plus bas dans cet article. Je vous donne ci-dessous quelques mots clés sur les techniques d'intelligence artificielle que j'ai noté lors des conférences. Puis je partage avec vous les débuts de la vie professionnelle de Yann LeCun. Les conférences de Yann LeCun en 2016Conférence Apprentissage Profond - n°3 : Dans celle-ci, il est question notamment de : - Concours Imagenet de 2013 et des méthodes utilisées pour la reconnaissance d'objets dans des images - Convolutional Neural Network (CNN) - Entrée de 220 x 220 pour CNN, avec fenêtre glissante. L'enjeu est de réaliser de bonnes prédictions sur la taille et la position de la fenêtre. - Algorithme Région CNN (RCNN) - Microsoft Research, Facebook Research - Vecteur de caractéristiques issu de CNN - Méthode utilisée par Facebook pour reconnaitre les visages : 1. Détection d'un visage 2. Détection des points clés du visage 3. plaquage sur un modèle 3D 4. Réalignement pour une vue frontale 5. Alimentation du CNN, sans besoin de détecter les éléments de haut niveau - Algo : Classifieur - SVM linéaire - Algo : Plus proches voisins - Apprentissage métrique est utilisé en reconnaissance d'image et de langage naturel - Distance quadratique minimale - Distance euclidienne - Fonction de coût -DrLIM : Dimensionality Reduction by Learning an invariant Mapping Conférence Apprentissage Profond - n°4 : Dans celle-ci, il est question notamment de : - Modèles d'energie pour reconnaisance vocale - Variables latentes - Reconnaissance de la parole : Alignement temporel Appariement Mots ressorts, pour ajuster temporellement le résultat écouté aux modèles connus et reconnaitre un mot. Algo du plus proche chemin sur un graphe - Techniques utilisées en 1991 - 10 min fin (à 47:40) = Bell Labs dans les années 1990. AT&T et NCR pour Crédit Mutuel de Bretagne. A2IA. - Segmenteur heuristique - Champ markov - Poolien - Opérateur : pas Laplacien, l'autre - Coco : concours Microsoft pour identifier un objet et position dans image - Image.net : juste objet - Perceptron. Réseau de neurones en trois lignes de code. - Réseau convolutif (Convnet) : imagenet université de Toronto. 2012 : toute la communauté a basculé. - Torch.ch : utilisé pour faire archi de la reconnaissance de caractères de années 1990 en 2 pages de code. Développé par Deepmind (Google), Facebook, Twitter. - IBM construit puce neuronale en 2011. - Penn Rose (L'ordinateur, la physique, l'intelligence artificielle) VS Stephen Hawking - Le rasoir d'hokam - Fei-Fei - image learning. 2007. image-net.org. Video du cours #1 - 2016-02-04-18h00 Video du cours #2 - 2016-02-19-14h30 Video du cours #3 - 2016-02-26-11h00 Video du cours #4 - 2016-03-04-11h00 Trés bonne video concise (3 minutes) sur : l'écriture d'un réseau de neurones simple en python avec rétropropagation du gradient par Siraj Raval. Les débuts de Yann LeCunEn 2018, Yann LeCun est interviewé par Andrew Ng dans le cadre de sa série Heroes of Deep Learning, et il nous en dit plus sur ses débuts. Yann LeCun a oeuvré à la fin des années 1980 en recherche et développement sur la rétropropagation dans les réseaux de neurones, avec une application directe pour la reconnaissance de caractères manuscrits : notamment la reconnaissance automatique des caractères numériques des codes postaux sur les enveloppes et des montants manuscrits sur les chèques bancaires. Yann a commencé à Bell Labs en octobre 1988 (9ème minute de la video pour ses débuts dans ce Lab). Puis son travail au sein de AT&T - NCR (National Cash Register) trouve une application sur les machines de lecture de chèques sur automates bancaires (14ème minute de la video). Lors du split de la société AT&T - NCR - Lucent Technology en 1995, le brevet sur les réseaux de neurones convolutifs rentre dans les actifs de NCR, puis tombe au final dans le domaine public en 2007 (15ème minute de la video). On retrouve ici les brevets issus de ses recherches pour les labos de Bell et AT&T : - Brevet : Hierarchical constrained automatic learning neural network for character recognition Yann LeCun 1989 Inventor : John S. Denker, Richard E. Howard, Lawrence D. Jackel, Yann LeCun Original Assignee : AT&T CORP. (puis NCR CORP, OHIO en 1996) - Brevet : Method and apparatus for standardization of inputs to word recognition systems Yann LeCun 1994 Original Assignee : AT&T CORP. (puis NCR CORP., OHIO en 1996, puis JPMORGAN CHASE BANK en 2014) Leur lecture est passionnante. Le Blog |