Découvrez les fondamentaux et les applications avancées du traitement automatique du langage naturel grâce à l'apprentissage profond. Le cours « Traitement automatique du langage naturel grâce à l'apprentissage profond » vous présente des techniques modernes telles que l'intégration de mots, les réseaux de neurones récurrents et les modèles génératifs, vous permettant ainsi d'acquérir des compétences pratiques en classification et analyse de texte.
Ce cours s'adresse aux ingénieurs en apprentissage automatique.
Dans ce cours, les étudiants découvriront les architectures les plus populaires, notamment les réseaux naturels récurrents et les modèles de Markov cachés.
Afin de participer à ce cours, les étudiants doivent avoir terminé le module Basic Machine Learning dans Tensorflow/Keras.
Il est utile que les participants possèdent les connaissances suivantes :
Apprentissage profond de base
● Neurones
● Types de calques
● réseaux
● Fonctions de perte
● Optimiseurs
● Surapprentissage
● Tensorflow
Traitement du langage neuronal de base
● Tokenisation
● Sac de mots
● tf-idf
● Origine
● Lemmatisation
● Modèles de langage
● Analyse des sentiments
Module 1 : Applications PNL
Module 2 : Vecteurs de mots
- Que sont les vecteurs ?
- Analogies de mots
- TF-IDF et t-SNE
- NLTK
- Gant
- mot2vec
- Classification de texte à l'aide de vecteurs de mots
Laboratoire pratique: Effectuer une classification de texte de base à l'aide de plusieurs modèles de vecteurs de mots. Améliorez-le en utilisant des modèles de traitement de texte et de langage de base pour préparer les données à l'apprentissage automatique.
Module 3 : Modélisation du langage
- Bigrammes
- Modèles linguistiques
- Modèle bigramme de réseau neuronal
Laboratoire pratique: Effectuer une classification de texte à l'aide de réseaux de neurones basés sur des modèles de langage. Comprendre la modélisation probabiliste du modèle de langage, comment améliorer le contexte d'un mot et comment des synonymes peuvent être générés et comment les réseaux neuronaux de base génèrent des modèles de langage puissants.
Module 4 : Intégration de mots
- CBOW
- Sauter le gramme
- Échantillonnage négatif
Laboratoire pratique: Comprenez les techniques avancées de modélisation du langage telles que Skip-Gram et Negative Sampling en les mettant en œuvre et apprenez à prédire le prochain mot le plus probable dans une conversation.
Module 5 : Techniques de PNL
- Qu’est-ce que le marquage POS ?
- Réseau neuronal récurrent de marquage POS
- Modèle de Markov caché de marquage POS (HMM)
- Reconnaissance des entités nommées (NER)
- PDV vs. NON
Laboratoire pratique: Utilisez NLTK et SCIPY pour améliorer votre classification à l'aide de règles de grammaire et de POS, puis utilisez NER pour mettre en évidence le contenu le plus précieux d'une phrase, puis implémentez le résumé.
Module 6 : Réseaux de neurones récurrents
- LSTM
- GRU
- Génération de texte
Laboratoire pratique: Implémenter dans Keras une architecture RNN de base pour la prédiction de mots, en utilisant les intégrations de mots déjà étudiées. Comparez les performances de LSTM par rapport à GRU et BiLSTM.
Module 7 : Réseaux de neurones génératifs
Laboratoire pratique: Implémentez dans Keras votre propre modèle génératif qui génère des paroles similaires à celles de Shakespeare. Apprenez à faire du Transfer Learning sur du texte.
Traitement du langage naturel utilisant le Deep Learning
