Transfer Learning: Grundlagen und Einsatzgebiete

Transfer Learning

Transfer Learning ist eine Methode aus dem Deep Learning, mit der ein vortrainiertes künstliches neuronales Netz für die Lösung neuer Problemstellungen genutzt wird. Dazu wird der Lernfortschritt des bestehenden Modells transferiert. Dadurch ergeben sich Vorteile, wie: schnellere Erstellung, bessere Modellqualität und weniger Ressourceneinsatz.

Transfer Learning wird insbesondere im Bereich der Bild- und Textverarbeitung eingesetzt, da dies bei sehr komplexen Deep Learning Modellen ein extrem hilfreiches Vorgehen ist. Vor allem ermöglicht es auch kleineren Unternehmen den Einstieg in das Thema.

Lassen Sie uns direkt einsteigen:

  1. Was ist Transfer Learning?
  2. Anwendungsgebiete von Transfer Learning
  3. Wann wird Transfer Learning eingesetzt?

Was ist Transfer Learning?

Transfer Learning ist eine Machine Learning Technik, die ein bereits auf eine Aufgabenstellung trainiertes Modell nimmt und es auf eine andere Aufgabenstellung anwendet. Insbesondere unstrukturierte Daten, wie z.B. Bild-, Video- und Audiodaten, machen einen solchen Deep Learning Ansatz interessant.  

Der Vorteil von Transfer Learning ist, dass man Teile des sehr aufwendigen Trainings überspringen kann und dadurch Zeit und Ressourcen spart, denn komplexe Deep Learning Modelle brauchen oft Wochen, bis diese trainiert sind.

Das einfachste Beispiel von transferiertem Lernen ist die Verarbeitung von Bilddaten zur Objekterkennung. Folgende Grafik soll dies anhand einer Bildklassifikation zur Objekterkennung untermalen.

Transfer Learning nutzt man um bestehende Modelle auf neue Probleme anzuwenden
Transfer Learning am Beispiel Objektklassifikation. Quelle: databricks

Hier wird ein vortrainiertes Modell (bspw. ResNet) für Transfer Learning genutzt, was bereits rund 1000 unterschiedliche Objekte erkennen kann. Allerdings ist das vortrainierte Modell nicht auf unseren speziellen Anwendungsfall (hier am Beispiel Hunderassen) trainiert und kennt Hunderassen, wie z.B. den Chihuahua, noch nicht. Da wir die unterschiedlichen Hunderassen mit unserm Deep Learning Modell erkennen wollen, müssen wir den Algorithmus erneut trainieren.

Transfer Learning
Transfer Learning wird dazu genutzt, um Wissen aus einem bestehenden künstlichen Neuronalen Netz zu transferieren und auf einen anderen Anwendungsfall anzuwenden.

Durch Transfer Learning ist der Großteil der Arbeit bereits erledigt. Jetzt müssen wir dem Deep Learning Algorithmus nur noch einen letzten Layer (Klasssifikations-Layer) hinzufügen und schon können wir Hunderassen richtig vorhersagen. Eine relativ leichte Aufgabe, die ohne das vortrainierte Modell wahrscheinlich Wochen gedauert hätte.

Anwendungsgebiete von Transfer Learning

Transfer Learning wird besonders im Bereich der Bild-, Video- und Text-Daten angewandt. Lasst uns das Thema etwas genauer betrachten:

Transfer Learning mit Bilddaten

Transfer Learning für Bilddaten sind das bekannteste Beispiel, was auch in der Praxis auch sehr häufig angewandt wird. Ein Beispiel ist die Erkennung von Objekten auf Bildern oder Videos (die auch nichts anderes sind als viele Bilder).

Diese Art von Problemstellung ist üblich im Bereich von Deep Learning und ein sehr aktives Forschungsfeld. Aber nicht nur in der Forschung, auch die Industrie ist sehr aktiv in diesem Bereich von Deep Learning. Bekannte (vortrainierte) Modelle sind:

Die Erstellung dieser Modelle können selbst auf spezielle Hardware mehrere Tage oder Wochen dauern.

Die genannten Modelle stehen kostenlos im Netz zum Download bereit und du kannst diese direkt in dein Modell integrieren, um beispielsweise eine Objekt-Klassifikation zu erstellen.

Transfer Learning mit Textdaten

Ein weiteres Beispiel für den Einsatz von Transfer Learning ist die Verarbeitung von Textdaten mit Natural Language Processing (NLP). Dazu wird das Deep Learning Modell auf sehr großen Textdokumenten trainiert.

Ähnlich wie bei der Verarbeitung von Bilddaten mit Deep Learning gibt es bereits vortrainierte Modelle, die bspw. Zusammenhänge in Sprache und Text gelernt haben. So können Wörter und Zusammenhänge genutzt werden, um wichtige Informationen aus einem Text zu extrahieren.

Dazu werden sogenannte “Word Embeddings” verwendet, die dann die Zusammenhänge und Bedeutungen einzelner Wörter in einem hochdimensionalen Raum (in einem Vektor) abbilden. So haben dann bspw. verschiedene Wörter, die aber eine ähnliche Bedeutung haben, einen ähnlichen Vektor.

Word Embedding eine zentrale Aufgabe im Transfer Learning um den Zusammenhang in Texten und Wörtern abzubilden.
Word Embeddings stellen den Zusammenhang in Wörtern und Sätzen her.

Auch hier gibt es große Unternehmen und Forschungseinrichtungen, die viel Geld in die Entwicklung dieser Deep Learning Modelle für die Interpretation von Textdaten investieren. Zwei bekannte Deep Learning Modelle, die für Transfer Learning von Textdaten nutzbar sind:

Diese Modelle stehen zum Download bereit und man kann diese sofort in Machine Learning Modellen nutzen.

Wann wird Transfer Learning eingesetzt?

Transfer Learning ist eine Abkürzung beim Training von Machine Learning Modellen und spart so Zeit, sowie Ressourcen und kann für bessere Ergebnisse sorgen. Transfer Learning kann in drei Fällen bei der Erstellung von einem Machine Learning Modell hilfreich sein:

  1. Besserer Start (Higher Start)
  2. Schnellere Verbesserung des Modells (Higher Slope)
  3. Besseres Modellqualität (Higher Asymptote)
Vorteile von Transfer Learning: schnelleres Lernen, weniger Ressourcen, höhere Modellqualität
Vorteile: schnelleres Lernen, weniger Ressourcen, höhere Modellqualität.

Im besten Fall kann man von allen 3 Vorteilen profitieren. Eine genaue Analyse, ob es schon ein vorhandenes Modell gibt und ob es anwendbar für die jeweilige Problemstellung ist, kann einem Tage an Arbeit sparen.

Besonders wenn nicht viele Daten zur Verfügung stehen, kann Transfer Learning dabei helfen, wirklich gute Modelle zu erzeugen, die schlichtweg in der Praxis nur schwer möglich wären (oder nur mit einer enormen Menge an Daten).

Profilbild von Vinzent Wuttke Geschäftsführer Datasolut GmbH
Vinzent Wuttke
Geschäftsführer

Ihr Ansprechpartner

Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.

In diesem Gespräch erfahren Sie:

  • Wie Ihr Use-Case technisch am besten umgesetzt werden kann
  • Wie wir maximal sicher mit Ihren Kundendaten umgehen
  • Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte
Jetzt Erstgespräch vereinbaren

Weiterlesen

Machine Learning Vor 6 Monaten

Data Mining: Algorithmen, Definition, Methoden und Anwendungsbeispiele

Data Mining ist ein analytischer Prozess, bei dem computergestützte Methoden eingesetzt werden, um möglichst selbstständig und effizient interessante Datenmuster in großen Datensätzen zu identifizieren. Die verwendeten Algorithmen stammen aus der […]
Wie funktioniert Machine Learning? Eingabedaten, Algorithmen und Ausgabe.
Machine Learning Vor 6 Monaten

Machine Learning: Definition, Algorithmen, Methoden und Beispiele

Machine Learning (deutsch: maschinelles Lernen) ist eine Anwendung der Künstlichen Intelligenz (KI). Computersysteme lernen automatisch Muster und Zusammenhänge aus Daten und verbessern sich selbst, ohne explizit programmiert zu werden. Machine […]
Machine Learning Vor 6 Monaten

MLflow: Eine Plattform für den Machine Learning Lifecycle

MLflow ist eine Machine Learning Plattform Komponente und begleitet den kompletten Machine Learning Prozess eines Data Science Projektes. Ziel ist die Dokumentation, Reproduzierbarkeit und das Deployment zu vereinfachen. Das Silicon […]
Deep Learning Objekterkennung auf einer Straße
Machine Learning Vor 8 Monaten

Machine Learning vs. Deep Learning: Wo ist der Unterschied?

Machine Learning und Deep Learning sind 2 Teilbereiche der Künstlichen Intelligenz, doch was unterscheidet sie und wann nutzen wir Machine Learning vs. Deep Learning? Das klären wir in diesem Artikel! […]
Machine Learning Vor 1 Jahr

Aufbau eines Data Science Teams

Sich mit Themen wie der Künstlichen Intelligenz, Big Data oder Machine Learning zu befassen, wird von Jahr zu Jahr für viele Unternehmen immer wichtiger. Anhand der Börse ist zu erkennen, wie erfolgreich Tech-Unternehmen mittlerweile sind […]
Beitragsbild: Machine Learning im E-Commerce
Customer AnalyticsMachine Learning Vor 1 Jahr

Machine Learning im E-Commerce – Anwendungsfälle und Nutzen

Wie lässt sich Machine Learning im E-Commerce sinnvoll einsetzen? Wir zeigen Ihnen interessante Anwendungsfälle von Machine Learning im E-Commerce, die Ihren Umsatz steigern und Ihre Marketingkosten senken.   Wie lässt sich Machine Learning im E-Commerce einsetzen?  Mittlerweile ist […]
Beitragsbild: Textklassifikation
Machine Learning Vor 2 Jahren

Textklassifikation

Die Identifizierung und Analyse großer Textmengen stellt einen wichtigen Antreiber für eine Vielzahl unternehmensrelevanter Entscheidungen dar. Grund ist der hohe Erkenntnisgewinn, der durch Analyse dieser Textmengen entsteht. Da die Extraktion […]
Beitragsbild: AutoML
Machine Learning Vor 2 Jahren

Ist Auto ML die Zukunft von Data Science?

AutoML ist ein heiß diskutiertes Thema, welches eine enorme Effizienzsteigerung für den Machine Learning Prozess verspricht. Doch wie viel Potential steckt in dem automatisierten Machine Learning Ansatz? Wir zeigen Ihnen, […]
Prognosemodell Beispielbild
Machine Learning Vor 2 Jahren

Was ist eine Absatzprognose? Faktoren, Verfahren und Methoden

Absatzprognosen helfen dem Unternehmen dabei, zukünftige Entwicklungen der Absatzzahlen voraussagen zu können. Dies ist besonders hilfreich, um frühzeitige Entscheidungen in Bezug auf Planungen zu treffen und so Kosten einzusparen. In diesem […]
Newsletter und Updates

Sie sehen gerade einen Platzhalterinhalt von HubSpot. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen
Erstgespräch vereinbaren