Scopri i fondamenti e le applicazioni avanzate dell'elaborazione del linguaggio naturale tramite deep learning. Il corso "Elaborazione del linguaggio naturale tramite deep learning" ti introduce a tecniche moderne come word embedding, reti neurali ricorrenti e modelli generativi, fornendoti competenze pratiche per la classificazione e l'analisi del testo.
Il corso è rivolto agli ingegneri del machine learning.
In questo corso gli studenti apprenderanno le architetture più popolari, tra cui le reti naturali ricorrenti e i modelli di Markov nascosti.
Per partecipare a questo corso, gli studenti devono aver completato il modulo Basic Machine Learning in Tensorflow/Keras.
È utile che i partecipanti abbiano le seguenti conoscenze:
Apprendimento profondo di base
● Neuroni
● Tipi di livelli
● Reti
● Funzioni di perdita
● Ottimizzatori
● Adattamento eccessivo
● Tensorflusso
Elaborazione di base del linguaggio neurale
● Tokenizzazione
● Borsa di parole
● tf-idf
● Derivazione
● Lemmatizzazione
● Modelli linguistici
● Analisi del sentiment
Modulo 1: Applicazioni della PNL
Modulo 2: Vettori di parole
- Cosa sono i vettori?
- Analogie di parole
- TF-IDF e t-SNE
- NLTK
- Guanto
- parola2vec
- Classificazione del testo mediante vettori di parole
Laboratorio pratico: esecuzione di una classificazione di testo di base utilizzando modelli di vettori di parole multiple. Miglioralo utilizzando l'elaborazione del testo di base e modelli linguistici per preparare i dati per l'apprendimento automatico.
Modulo 3: Modellazione del linguaggio
- Bigrammi
- Modelli linguistici
- Modello Bigram della rete neurale
Laboratorio pratico: Esecuzione della classificazione del testo utilizzando reti neurali basate su modelli linguistici. Comprendere la modellazione probabilistica del modello linguistico, come migliorare il contesto di una parola e come possono essere generati sinonimi e come le reti neurali di base generano potenti modelli linguistici.
Modulo 4: Incorporamenti di parole
- CBOW
- Salta Gram
- Campionamento negativo
Laboratorio pratico: Comprendere tecniche avanzate per la modellazione del linguaggio come Skip-Gram e Negative Sampling implementandole e imparare a prevedere la parola successiva più probabile in una conversazione.
Modulo 5: Tecniche di PNL
- Che cos'è l'etichettatura POS?
- Rete neurale ricorrente di tagging POS
- Modello Markov nascosto di tagging POS (HMM)
- Riconoscimento entità designata (NER)
- POS vs. NO
Laboratorio pratico: usa NLTK e SCIPY per migliorare la tua classificazione utilizzando regole grammaticali e POS, quindi usa NER per evidenziare il contenuto più prezioso di una frase, quindi implementa il riepilogo.
Modulo 6: Reti neurali ricorrenti
- LSTM
- G
- Generazione di testo
Laboratorio pratico: Implementare in Keras un'architettura RNN di base per la predizione delle parole, utilizzando i word embedding già studiati. Confronta le prestazioni di LSTM rispetto a GRU e BiLSTM.
Modulo 7: Reti Neurali Generative
Laboratorio pratico: Implementa in Keras il tuo modello generativo che genera testi simili a quelli di Shakespeare. Impara a trasferire l'apprendimento sul testo.
Elaborazione del linguaggio naturale utilizzando il Deep Learning
