Agent Bricks Databricks: KI-Agenten bauen und optimieren

Vielleicht kennen Sie das Problem: Sie haben viele Daten mit wertvollen Informationen, haben aber keine Zeit diese manuell auszuwerten? Mit Agent Bricks hat Databricks ein neues Feature veröffentlicht, das genau dieses Problem adressiert.

Unternehmen können damit KI-Agenten direkt auf ihrer bestehenden Datenbasis im Unity Catalog aufsetzen und das ohne komplizierte Infrastruktur oder wochenlange Entwicklungszyklen.

Als zertifizierter Databricks Partner sehen wir bei Datasolut hier einen klaren Mehrwert: Databricks Agent Bricks bringt Daten, Governance und KI so nah zusammen wie kaum ein anderes Tool im Markt. Für unsere Kunden bedeutet das schnellere Ergebnisse, geringere Kosten und eine robuste technische Grundlage für skalierbare KI-Use Cases.

In diesem Beitrag zeigen wir deshalb nicht nur, was Agent Bricks ist, sondern vor allem wie es in der Praxis funktioniert – anhand einer realen Demo direkt in Databricks.

Was ist Agent Bricks von Databricks?

Agent Bricks ist das neue UI-basierte Framework von Databricks, mit dem Unternehmen KI-Agenten deutlich einfacher entwickeln, testen und produktiv betreiben können.

Die Besonderheit: Agenten arbeiten direkt auf den Daten im Unity Catalog, inklusive aller Berechtigungen, Qualitäts- und Sicherheitsmechanismen. Damit entfällt einer der größten Stolpersteine vieler KI-Projekte: die saubere und kontrollierte Anbindung an Unternehmensdaten.

Gleichzeitig löst Agent Bricks Herausforderungen, die wir aus vielen Kundenprojekten kennen:

• Wie greift ein KI-Agent zuverlässig auf Daten zu?
  → über den Unity Catalog, ohne zusätzliche Schnittstellen oder Shadow-IT.
• Wie überwachen wir die Qualität seiner Antworten?
  → über automatische Evaluationen mit LLM-Judges und MLflow-Tracking.
• Wie optimieren wir Kosten und Performance?
  → durch Modellvergleiche, Human Feedback und automatische Optimierungsroutinen.

Für uns als Databricks-Implementierungspartner ist genau diese Kombination spannend: Ein KI-Agent lässt sich nicht nur bauen, sondern auch managen, prüfen und kontinuierlich verbessern. Und das alles innerhalb derselben Plattform.

Damit wird Databricks Agent Bricks zu einem Baustein für produktionsreife KI-Workflows mit

• Information Extraction,
• Klassifizierung,
• RAG-Assistenten,
• Natural Language BI
• oder komplexe Multi-Agent-Prozesse.

Im nächsten Kapitel steigen wir direkt in die Demo ein und zeigen Schritt für Schritt, wie wir mit Agent Bricks unstrukturierte ETF-PDFs automatisch strukturieren. Dieses Beispiel lässt sich 1:1 auf Rechnungen, Verträge oder interne Dokumente übertragen.

Agent Bricks Databricks Demo am Beispiel unstrukturierter ETF-Fact Sheets

Für die Demo nutzen wir ein Szenario, das in vielen Unternehmen ähnlich vorkommt: Es gibt eine Vielzahl von Dokumenten, die wichtige Geschäftsinformationen enthalten, aber sie sind unstrukturiert und liegen in völlig unterschiedlichen Formaten vor.

In unserem Beispiel nehmen wir rund 100 ETF-Fact Sheets verschiedener Anbieter. Manche sind klar aufgebaut, andere verwenden unterschiedliche Begriffe, Tabellenstrukturen oder sogar völlig verschiedene Layouts. Viele Informationen sind auf Deutsch, andere auf Englisch.

Typische Inhalte sind:

• ISIN
• Fondvolumen
• Kostenquote (TER)
• Replikationsmethode
• Top Holdings
• Ausschüttungsart („thesaurierend“ vs. „ausschüttend“)

Für einen Menschen ist das kein Problem, für ein System schon. Und wenn man sich vorstellt, dass solche Daten häufig manuell erfasst oder nur teilweise ausgewertet werden, wird das Potenzial schnell klar:

Diese Dokumente automatisiert zu analysieren und strukturiert abzulegen, kann enorme Zeit- und Kostenvorteile bringen.

Genau an diesem Punkt setzen wir in vielen Kundenprojekten an, vor allem im Rechnungswesen, Immobilienbereich oder Kundenservice. Dort liegen oft tausende PDFs, Gesprächsnotizen oder Formulare vor, die bisher niemand sinnvoll automatisieren konnte.

Mit Agent Bricks von Databricks können wir jetzt genau das tun – und zwar direkt in Databricks, ohne zusätzliche Tools oder eigene Pipelines bauen zu müssen. Wie das geht zeigen wir jetzt.

Schritt 1: Datengrundlage in Databricks vorbereiten

Bevor wir den Agenten konfigurieren, laden wir alle PDF-Dokumente in ein Databricks-Volume und wandeln sie in Markdown um. Dieser Schritt ist schnell erledigt und bildet die Grundlage für die KI-Analyse.

Sobald die Markdown-Daten vorliegen, kann Agent Bricks seine Arbeit aufnehmen.

Im Workspace sieht das dann so aus:

• Die Original-PDFs liegen im Volume
• Die erzeugten Markdown-Dateien liegen als Tabelle im Unity Catalog
• Eine zusätzliche String-Spalte enthält den reinen Text aus dem PDF

Für Leser ohne Databricks-Erfahrung:
Diese Vorbereitung ist bewusst einfach gehalten, damit Fachbereiche oder Data Teams später ohne Hindernisse arbeiten können. Genau darin liegt ein großer Vorteil des Databricks Lakehouse:

• Dateien werden zentral verwaltet
• Qualität und Governance liegen im Unity Catalog
• Alles ist versionssicher und nachvollziehbar

Wir nutzen dieses Setup regelmäßig für Kunden, insbesondere dann, wenn Dokumente aus SAP, CRM-Systemen, E-Mail-Postfächern oder File-Servern zusammengeführt werden sollen.

In unserem Beispiel sehen wir im Preview schon deutlich, wie unstrukturiert der Inhalt einer Markdown-Datei aussieht. Für Menschen schwer lesbar – für ein Language Model ideal.

Damit sind die Daten bereit für den eigentlichen Agenten.

Warum Lakehouses die Daten-Architektur der Zukunft sind

In unserem Whitepaper erfahren Sie:

• Wie sich ein Data Lakehouse von anderen Architekturen unterscheidet.
• Wie Sie durch ein Lakehouse KI-Anwendungen schneller umsetzen.
• Wie Sie ihr internes Team befähigen selbstständig KI Projekte zu implementieren.

Jetzt herunterladen

Im nächsten Schritt wechseln wir in Agent Bricks und erstellen den Information Extraction Agent, der die Inhalte analysiert und strukturiert.

Schritt 2: Information-Extraction-Agent in Agent Bricks erstellen

Nun geht es in den zentralen Teil der Demo. Wir wechseln in den Bereich Agent Bricks im Databricks-Workspace und starten die Erstellung eines neuen KI-Agenten.

Der Ablauf ist bewusst leicht gehalten, sodass auch Fachbereiche damit arbeiten können. Gleichzeitig steckt im Hintergrund viel Technologie, die für echte Produktionsszenarien relevant ist. Genau hier zeigt sich der Vorteil, wenn man Agent Bricks mit einer sauberen Databricks-Architektur kombiniert: Die Daten liegen im Unity Catalog, die Governance ist geklärt, die Workflows sind nachvollziehbar.

Nun folgen 2 Unterschritte:

Erstens: Dataset auswählen

Wir wählen ein „Unlabeled Dataset“, also unsere zuvor konvertierten Markdown-Dateien. Das Dataset liegt bereits im Unity Catalog, so wie wir es bei Kundensystemen in der Regel als Best Practice einführen.

Dann geben wir an, welche Spalte den unstrukturierten Text enthält.
Agent Bricks liest daraus ein erstes Grundverständnis und generiert automatisch einen Vorschlag für eine JSON-Struktur.

Dieser erste Vorschlag ist oft noch rudimentär aber das ist völlig normal. Wichtig ist, dass der Agent verstanden hat, was extrahiert werden soll und wie die Struktur ungefähr aussehen könnte.

Schon jetzt zeigt sich der Vorteil gegenüber klassischen Pipelines oder eigenen LLM-Skripten:

• kein Code
• keine eigene Parsing-Logik
• keine fehlenden Metainformationen
• alles läuft im Databricks-Framework, vollständig kontrollierbar

Gerade für Unternehmen, die schnell starten wollen, ist dieser Einstieg ein enormer Effizienzgewinn.

Zweitens: Erste Ergebnisse prüfen

Agent Bricks zeigt Beispielantworten an:

• Was ging rein?
• Was wurde erkannt?
• Wie sieht das JSON aus?

Im ersten Durchlauf extrahiert der Agent z. B. bereits:

• Fondwährung
• TER
• Basisdaten des ETFs

Das ist noch nicht vollständig aber genau dafür gibt es den nächsten Schritt: das Customizing.

Schritt 3: Agent anpassen und verfeinern

Damit der Agent wirklich produktionsreif wird, verfeinern wir seine Struktur. Dieser Schritt ist ein Kernbestandteil vieler Datasolut-Projekte: Aus einem brauchbaren Grundmodell wird ein Agent, der zuverlässig funktioniert und auf reale Geschäftsdaten abgestimmt ist.

Es folgen 4 Unterschritte:

Erstens: JSON Struktur erweitern

In unserem Beispiel ergänzen wir weitere Felder, etwa:

• Distribution Policy (ausschüttend vs. thesaurierend)
• weitere Fondinformationen
• Felder, die für Endnutzer oder Dashboards wichtig sind

Jedes Feld bekommt:

• Typ (z. B. String)
• Pflichtangabe (required oder optional)
• klare Beschreibung

Dadurch erhält das Modell Orientierung – und wir stellen sicher, dass die Ausgaben später sauber und konsistent sind.

Zweitens: Instructions optimieren

Im nächsten Schritt definieren wir Regeln für den Agenten:

• Inhalte sollen einheitlich auf Englisch ausgegeben werden
• Struktur soll konsistent bleiben
• der Agent soll den gesamten Text des PDFs berücksichtigen

Mit klaren Instructions steuern wir das Verhalten des Modells zuverlässig. Das ist in der Praxis oft der Unterschied zwischen „funktioniert manchmal“ und „funktioniert produktiv“.

Drittens: Beispielergebnisse überprüfen

Agent Bricks zeigt uns nun fünf Beispielausgaben. Diese prüfen wir manuell:

• Sind die Begriffe korrekt übersetzt?
• Wurden die Felder richtig erkannt?
• Fehlen Informationen?

In unserem Fall erkennt der Agent die Distribution Policy – aber teilweise in deutscher Sprache („thesaurierend“). Das ist für unsere Zielstruktur nicht ideal.

Viertens: Human Feedback geben

Wir geben gezielt Feedback, damit der Agent lernt:

• „Diese Antwort ist richtig.“
• „Diese Antwort ist falsch, bitte so korrigieren…“

Dieser iterative Prozess ist im Unternehmenskontext entscheidend, weil Modelle selten beim ersten Versuch perfekt sind

Nach dem Update sehen wir sofort: Die Antworten werden deutlich genauer und einheitlich auf Englisch ausgegeben.

Für Kunden ist das ein großer Vorteil: KI-Agenten werden nicht nur erstellt, sondern schrittweise verbessert, ohne dass man Code anfassen muss.

Schritt 4: Review und Feedback

Nachdem der Agent erste Ergebnisse liefert, geht es darum, die Qualität Schritt für Schritt zu erhöhen. Genau hier zeigt Agent Bricks seine Stärke: Der Review-Prozess ist intuitiv, aber technisch sehr tief integriert.

Wir sehen in der Oberfläche:

• den kompletten Input (Markdown-Inhalt des PDFs)
• den vom Agenten erzeugten JSON-Output
• farblich hervorgehobene Extraktionen

An diesem Punkt machen wir das Gleiche, was wir auch in Kundenprojekten tun: wir prüfen systematisch Beispielantworten.

In unserem Demo-Beispiel fällt schnell auf:

• Die neue Distribution Policy wird extrahiert.
• Einige Werte sind jedoch noch auf Deutsch.
• Teilweise interpretiert das Modell Felder anders als erwartet.

Mit einem Klick markieren wir jede Antwort als korrekt oder falsch und geben – wenn nötig – eine klar formulierte Korrektur ein.

Nach wenigen Anpassungen sehen wir bereits:

• sauberere JSON-Ausgaben
• konsistente Übersetzungen
• präzisere Extraktionen

Damit ist der Agent bereit für den nächsten Schritt: die automatisierte Qualitätsbewertung.

Schritt 5: Qualitätskontrolle mit LLM Judges

In vielen Unternehmen scheitern KI-Agenten nicht am Bauen – sondern am Messen.

• Wie gut ist das Ergebnis wirklich?
• Wie zuverlässig arbeitet der Agent bei Hunderten PDFs?

Databricks löst diese Herausforderung elegant mit LLM Judges.

Wie funktionieren LLM Judges?

• Ein zweites Sprachmodell fungiert als „Richter“.
• Es vergleicht:
  (a) das Originaldokument
  (b) den Output des Agenten
  (c) die erwartete Struktur (Ground Truth)
• Es bewertet anschließend, ob die extrahierten Werte korrekt sind.

In der Demo sehen wir das sehr anschaulich:

• Einige Fundnamen wurden falsch klassifiziert.
• Ein Judge erklärt, warum etwas falsch ist.
• Wir können die Fälle mit einem Klick korrigieren oder labeln.

Das ist extrem wertvoll für produktive Szenarien.
Gerade in regulierten Branchen (Finance, Insurance, Utilities) müssen Unternehmen nachvollziehen können, warum ein System etwas extrahiert oder klassifiziert hat.

Als Databricks-Partner sehen wir hier einen deutlichen Reifegrad im Vergleich zu vielen anderen KI-Plattformen: Agent Bricks macht Qualität transparent, messbar und auditierbar.

Schritt 6: Automatische Kostenoptimierung

Einer der spannendsten Teile der Demo ist die Modelloptimierung.
Denn Information Extraction erzeugt oft hohe Kosten – je länger das Dokument, desto mehr Token.

Agent Bricks bietet dafür ein Feature, das wir bei Datasolut inzwischen häufig empfehlen: automatische Modelloptimierung.

Was passiert im Hintergrund?

• Der Agent testet unterschiedliche Modelle gegeneinander.
• Er vergleicht Qualität, Geschwindigkeit und Kosten.
• Am Ende schlägt er das Modell vor, das das beste Preis-Leistungs-Verhältnis liefert.

In unserem Beispiel war das Ergebnis beeindruckend:

• +10 % Qualitätssteigerung
• –75 % Kostenreduktion
• 27-facher Durchsatz

Und das ohne manuelles Tuning oder Experimentieren.
Gerade im produktiven Betrieb – wo täglich viele Dokumente analysiert werden – kann das schnell fünf- oder sechsstellige jährliche Einsparpotenziale erzeugen.

Für Unternehmen, die bereits Databricks nutzen, ist das ein enormer Vorteil: Sie können KI-Workloads sauber steuern und gleichzeitig Kosten aktiv optimieren.

Schritt 7: Governance und Tracking in MLflow

Damit Agenten nicht zur „Black Box“ werden, dokumentiert Agent Bricks jeden einzelnen Request automatisch in MLflow:

• Eingabedaten
• JSON-Output
• Qualitätsbewertungen
• Fehlererklärungen der Judges
• eingesetztes Modell
• Versionierungsinformationen
• Prompt-Historie

Das ist für moderne KI-Prozesse essenziell. In vielen Unternehmen sind genau diese Punkte später entscheidend, wenn:

• ein Audit ansteht,
• Modelle aktualisiert werden,
• Datenquellen erweitert werden,
• oder Agenten in kritische Prozesse integriert sind.

Mit Agent Bricks lässt sich all das vollständig abbilden – ohne eigene Logging-Frameworks zu entwickeln.

In unseren Databricks-Projekten legen wir großen Wert darauf, dass genau diese Transparenz von Anfang an berücksichtigt wird. Denn sie entscheidet letztlich darüber, ob ein KI-Agent experimentell bleibt oder zuverlässig in den Betrieb übergeht.

Fazit: Warum Agent Bricks Databricks für Unternehmen relevant ist

Unsere Demo zeigt, wie schnell Sie heute produktionsreife KI-Agenten in Databricks aufbauen können, selbst für komplexe Dokumente und heterogene Datenquellen.

Was Agent Bricks besonders stark macht:

• Einfache UI, aber vollständige Governance
• Direkte Integration in den Unity Catalog
• Automatische Qualitätskontrolle
• Human Feedback für kontinuierliche Verbesserung
• Signifikante Kostenoptimierung
• Lückenlose Nachvollziehbarkeit über MLflow

Für Unternehmen bedeutet das:
Endlich lassen sich KI-Agenten nicht nur „bauen“, sondern auch skalieren, überwachen und professionell betreiben.

Als zertifizierter Databricks Partner unterstützen wir Unternehmen genau in diesem Übergang – von ersten Proof-of-Concepts hin zu belastbaren, produktiven KI-Workflows. Kontaktieren Sie uns jetzt für ein unverbindliches Erstgespräch.

Vinzent Wuttke

Geschäftsführer

Lassen Sie uns sprechen und Ihr Potenzial entdecken.

Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.

In diesem Gespräch erfahren Sie:

• Wie Ihr Use-Case technisch am besten umgesetzt werden kann
• Wie wir maximal sicher mit Ihren Kundendaten umgehen
• Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte

Jetzt Erstgespräch vereinbaren

FAQ – Die wichtigsten Fragen zum Thema Agent Bricks schnell beantwortet