Transformer Modelle und Deep Learning
Learn to build powerful Natural Language Understanding (NLU) models! This course integrates Encoder-Decoder architectures using Hugging Face & Fastai. Practical skills for text analysis.
Course Content
Transformer Modelle und Deep Learning is an intermediate-level Udemy course taught by Bernhard Mayr. It runs 1h 57m, is taught in German, and includes a certificate of completion. Learners rate it 4.0 out of 5 from 6 reviews, with 48 students enrolled. It is a paid course, first published September 2021.
Encoder-Decoder Modelle und Deep Learning für Natural Language Understanding (NLU): Dieser Kurs taucht tief in die Welt der Encoder-Decoder Modellarchitekturen im Deep Learning ein, mit besonderem Fokus auf deren Anwendung in der Natural Language Understanding. Wir untersuchen, wie diese Modelle, insbesondere Transformer Modelle wie GPT2 und BERT Architekturen, aufgebaut sind und welche Schritte während des Trainings ablaufen.
Transfer Learning mit vortrainierten Modellen: Der große Vorteil dieser Architekturen liegt im Transfer Learning. Wir nutzen riesige, bereits trainierte Modelle und passen sie mit relativ geringem Aufwand an spezifische Anwendungsfälle an. Lernen Sie, wie Sie vortrainierte Modelle effektiv einsetzen!
Praktische Anwendungen:
- One-Shot-Classification: Erfahren Sie, wie Sie Texte einer bestimmten Kategorie mit one-shot classification zuordnen.
- Integration von Hugging Face Modellen: Wir zeigen Ihnen, wie Sie Modelle aus dem Hugging Face Projekt in Ihre eigenen Deep Learning Projekte integrieren, unter Verwendung der fastai Bibliothek.
Theoretische Grundlagen und praktische Umsetzung: Neben dem theoretischen Input entwickeln wir anhand von Jupyter Notebooks konkrete Anwendungsbeispiele. Wir gehen den implementierten Code unserer KI-Anwendungen Schritt für Schritt gemeinsam durch.
Lernziele:
- Transformer Modelle (Encoder/Decoder Architekturen):
- Verständnis der theoretischen Grundlagen von Transformer Modellarchitekturen im Deep Learning.
- Funktionsprinzip von Transformer Modellen wie BERT oder GPT2.
- Integration von Transformer Modellen in fastai Projekte.
- Kenntnis verschiedener Bibliotheken wie
BlurrundFastHugs. - Einsatz vortrainierter Transformermodelle mittels Hugging Face und fastai Framework.
Hugging Face und Fastai: Transformers (früher bekannt als pytorch-transformers und pytorch-pretrained-bert) bietet Allzweckarchitekturen (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet...) für Natural Language Understanding (NLU) und Natural Language Generation (NLG). Mit über 32+ vortrainierten Modellen in über 100 Sprachen und umfassender Interoperabilität zwischen Jax, PyTorch und TensorFlow (Quelle: huggingface).
Dieser Kurs zeigt Ihnen, wie Sie Transformer (Encoder / Decoder) Modelle aus dem Hugging Face Model Zoo mithilfe verschiedener Bibliotheken in das fastai Framework integrieren. Die Fortschritte in künstlicher Intelligenz und Deep Learning in den Bereichen Textanalyse und Textgenerierung sind maßgeblich auf Transformer Modellarchitekturen zurückzuführen. Modelle wie BERT oder GPT2 sind bereits weit verbreitet.
Wir präsentieren verschiedene Bibliotheken und Projekte, die den Einsatz vortrainierter Modelle über den Hugging Face Model Hub gemeinsam mit der fastai Bibliothek ermöglichen.
Funktionsweise von Transformer Modellen:
Das Transformer Modell besteht im Wesentlichen aus einer Reihe von hintereinander geschalteten Encodern. Ein Embedding Layer transformiert die Eingabedaten in eine Vektorrepräsentation, wobei die Gewichte dieser Schicht während des Trainings angepasst werden. Nach der Transformation erzeugt das Modell eine interne Repräsentation. Der Decoding Layer wandelt diese interne Repräsentation in die Ergebnisschicht um. Um unterschiedliche Eingabesequenzen zu verarbeiten, werden Padding-Mechanismen eingesetzt. Zusätzlich wurden in den Encoder / Decoder Modellen Attention Layer integriert.
Want AI in your product? Hire the team behind TutorialSearch.io
LLM features, RAG, agents and automation wired into a real product — built by the devs who shipped this site.