Transfer Learning ist eine Methode aus dem Deep Learning, mit der ein vortrainiertes künstliches neuronales Netz für die Lösung neuer Problemstellungen genutzt wird. Dazu wird der Lernfortschritt des bestehenden Modells transferiert. Dadurch ergeben sich Vorteile, wie: schnellere Erstellung, bessere Modellqualität und weniger Ressourceneinsatz.
Transfer Learning wird insbesondere im Bereich der Bild- und Textverarbeitung eingesetzt, da dies bei sehr komplexen Deep Learning Modellen ein extrem hilfreiches Vorgehen ist. Vor allem ermöglicht es auch kleineren Unternehmen den Einstieg in das Thema.
Lassen Sie uns direkt einsteigen:
- Was ist Transfer Learning?
- Anwendungsgebiete von Transfer Learning
- Wann wird Transfer Learning eingesetzt?
Was ist Transfer Learning?
Transfer Learning ist eine Machine Learning Technik, die ein bereits auf eine Aufgabenstellung trainiertes Modell nimmt und es auf eine andere Aufgabenstellung anwendet. Insbesondere unstrukturierte Daten, wie z.B. Bild-, Video- und Audiodaten, machen einen solchen Deep Learning Ansatz interessant.
Der Vorteil von Transfer Learning ist, dass man Teile des sehr aufwendigen Trainings überspringen kann und dadurch Zeit und Ressourcen spart, denn komplexe Deep Learning Modelle brauchen oft Wochen, bis diese trainiert sind.
Das einfachste Beispiel von transferiertem Lernen ist die Verarbeitung von Bilddaten zur Objekterkennung. Folgende Grafik soll dies anhand einer Bildklassifikation zur Objekterkennung untermalen.
Hier wird ein vortrainiertes Modell (bspw. ResNet) für Transfer Learning genutzt, was bereits rund 1000 unterschiedliche Objekte erkennen kann. Allerdings ist das vortrainierte Modell nicht auf unseren speziellen Anwendungsfall (hier am Beispiel Hunderassen) trainiert und kennt Hunderassen, wie z.B. den Chihuahua, noch nicht. Da wir die unterschiedlichen Hunderassen mit unserm Deep Learning Modell erkennen wollen, müssen wir den Algorithmus erneut trainieren.
Durch Transfer Learning ist der Großteil der Arbeit bereits erledigt. Jetzt müssen wir dem Deep Learning Algorithmus nur noch einen letzten Layer (Klasssifikations-Layer) hinzufügen und schon können wir Hunderassen richtig vorhersagen. Eine relativ leichte Aufgabe, die ohne das vortrainierte Modell wahrscheinlich Wochen gedauert hätte.
Anwendungsgebiete von Transfer Learning
Transfer Learning wird besonders im Bereich der Bild-, Video- und Text-Daten angewandt. Lasst uns das Thema etwas genauer betrachten:
Transfer Learning mit Bilddaten
Transfer Learning für Bilddaten sind das bekannteste Beispiel, was auch in der Praxis auch sehr häufig angewandt wird. Ein Beispiel ist die Erkennung von Objekten auf Bildern oder Videos (die auch nichts anderes sind als viele Bilder).
Diese Art von Problemstellung ist üblich im Bereich von Deep Learning und ein sehr aktives Forschungsfeld. Aber nicht nur in der Forschung, auch die Industrie ist sehr aktiv in diesem Bereich von Deep Learning. Bekannte (vortrainierte) Modelle sind:
Die Erstellung dieser Modelle können selbst auf spezielle Hardware mehrere Tage oder Wochen dauern.
Die genannten Modelle stehen kostenlos im Netz zum Download bereit und du kannst diese direkt in dein Modell integrieren, um beispielsweise eine Objekt-Klassifikation zu erstellen.
Transfer Learning mit Textdaten
Ein weiteres Beispiel für den Einsatz von Transfer Learning ist die Verarbeitung von Textdaten mit Natural Language Processing (NLP). Dazu wird das Deep Learning Modell auf sehr großen Textdokumenten trainiert.
Ähnlich wie bei der Verarbeitung von Bilddaten mit Deep Learning gibt es bereits vortrainierte Modelle, die bspw. Zusammenhänge in Sprache und Text gelernt haben. So können Wörter und Zusammenhänge genutzt werden, um wichtige Informationen aus einem Text zu extrahieren.
Dazu werden sogenannte “Word Embeddings” verwendet, die dann die Zusammenhänge und Bedeutungen einzelner Wörter in einem hochdimensionalen Raum (in einem Vektor) abbilden. So haben dann bspw. verschiedene Wörter, die aber eine ähnliche Bedeutung haben, einen ähnlichen Vektor.
Auch hier gibt es große Unternehmen und Forschungseinrichtungen, die viel Geld in die Entwicklung dieser Deep Learning Modelle für die Interpretation von Textdaten investieren. Zwei bekannte Deep Learning Modelle, die für Transfer Learning von Textdaten nutzbar sind:
Diese Modelle stehen zum Download bereit und man kann diese sofort in Machine Learning Modellen nutzen.
Wann wird Transfer Learning eingesetzt?
Transfer Learning ist eine Abkürzung beim Training von Machine Learning Modellen und spart so Zeit, sowie Ressourcen und kann für bessere Ergebnisse sorgen. Transfer Learning kann in drei Fällen bei der Erstellung von einem Machine Learning Modell hilfreich sein:
- Besserer Start (Higher Start)
- Schnellere Verbesserung des Modells (Higher Slope)
- Besseres Modellqualität (Higher Asymptote)
Im besten Fall kann man von allen 3 Vorteilen profitieren. Eine genaue Analyse, ob es schon ein vorhandenes Modell gibt und ob es anwendbar für die jeweilige Problemstellung ist, kann einem Tage an Arbeit sparen.
Besonders wenn nicht viele Daten zur Verfügung stehen, kann Transfer Learning dabei helfen, wirklich gute Modelle zu erzeugen, die schlichtweg in der Praxis nur schwer möglich wären (oder nur mit einer enormen Menge an Daten).
