Deep Learning und Text Mining - Automatisierte Textanalyse und Textgenerierung im Unternehmen

Seminarziel

In diesem Seminar werden wir Schritt für Schritt Lösungen für eine Vielzahl von NLP-Problemen liefern, die von der automatischen Text-Zusammenfassung, der semantischen Dokumentensuche, der Erstellung eines Sprachenübersetzers, Informationsextraktion, semantisches Parsing und Dialogsysteme bis zur Beantwortung von Fragen (Q&A) reichen. Wir werden sehen, dass wir mit Hilfe von Transformern erstklassige Ergebnisse erzielen können.
 
Das Ziel dieses Kurses ist es, die Teilnehmenden in die Lage zu versetzen ihre eigenen Sprachanwendungen zu erstellen. Zu diesem Zweck konzentriert sich das Seminar auf praktische Anwendungsfälle und geht nur dort auf die Theorie ein, wo es notwendig ist. 
 
Da sich seit ihrer Einführung im Jahr 2017 die Transformer sowohl in der Wissenschaft als auch in der Industrie zum De-facto-Standard für die Bewältigung eines breiten Spektrums von Aufgaben der natürlichen Sprachverarbeitung (NLP) entwickelt haben, liegt der Schwerpunkt des Kurses auf den vortrainierten Modellen ELMO und BERT (nebst den zahlreichen anwendungsspezifischen Varianten) sowie auf OpenAI's GPT und demzufolge auf den Softwarebibliotheken Huggingface und Haystack.

Inhalt

Das Spektrum der Themen deckt nahezu alle Anwendungen der natürlichen Sprachverarbeitung (NLP) ab, kombiniert mit realistischen Anwendungsfällen und Datensätzen. U. a. werden folgende Konzepte behandelt:

• Textaufbereitung
• Worteinbettungen (Word2vec, BERT, GP2, GPTJ, ELMO)
• Neuronale Netze: MLP, CNN, RNN, LSTM, GRU, Transformer 
• Modellierung von Sprachen
• Modellierung von Sequenz zu Sequenz (seq2seq)
• Aufmerksamkeits-Mechanismus (Attention mechanism)
• Transformer-Architektur
• Fine Tuning
• Transfer Learning 
• Sprachübergreifende und mehrsprachige Sprachmodellierung

 
Der Schwerpunkt des Seminars liegt auf der Umsetzung von Projekten. In den folgenden Modulen werden alle Programme (Python) auf Basis Tensorflow bzw. Pytorch entwickelt:
 

• Named Entity Recognition : Erkennung von Eigennamen von Personen, Institutionen, medizinischen Fachausdrücken (BiLSTM, ELMO)
• Entwicklung eines Fragebeantwortungssystems mit Haystack und Elasticsearch
• Textklassifizierung mit BERT z. B. Auswertung von Stimmungsanalysen von Produkten oder Marken in sozialen Netzwerken; Auswertung von Kundenbewertungen
• Sentiment Analyse: Identifizierung von Beurteilungen und Bewertungen in einem Text z.B. Bewertungen von Produkten und Services mit BERT und Huggingface
• Sentence Categorization : Maschinelle Einteilung von Texten in vordefinierte Gruppen z.B. Spam-Filter, Sentiment Analysis, Dringlichkeit, Stil, Sprache, Komplexität
• Relation Extraction: Extraktion von semantischen Beziehungen aus einem Text
• Automatische Textzusammenfassung (extraktive und generative ) mit BERT, T5 und Pegasus
• Informationsextraktion ermöglicht einen direkten Zugriff auf wesentliche Details von Verträgen, Bestellungen, Rechnungen und Spezifikationen
• Maschinelle Übersetzung z.B. von Deutsch in Englisch oder Spanisch
• Multimodale Netzwerke und Erstellung von Bilduntertiteln mit ResNets und Transformer-Netzwerke
• KI-Chatbots mit vortrainierten Transformern