Acht LLMs, ein Ziel: BPMN — ich habe den KI-Hype vermessen

„Kann KI das nicht einfach machen?" — dieser Satz fällt inzwischen in fast jedem Projektgespräch. Meistens wird er mit Meinung beantwortet. Für meine Bachelorarbeit an der Universität des Saarlandes (IWi im DFKI) habe ich ihn stattdessen gemessen — an einer Aufgabe, die dafür wie gemacht ist: der automatischen Generierung von Geschäftsprozessmodellen.

Warum ausgerechnet BPMN?

Prozessmodellierung ist teuer. Wer einen Geschäftsprozess sauber in BPMN 2.0 abbilden will, braucht zwei seltene Dinge gleichzeitig: tiefes Wissen über die Abläufe im Unternehmen und sicheren Umgang mit der Notation. Schon kleine Unternehmen haben deshalb oft lückenhafte oder veraltete Prozessdokumentation.

Large Language Models versprechen, genau diese Lücke zu schließen: Prozessbeschreibung in natürlicher Sprache rein, fertiges Modell raus. Die Literatur hatte dazu bis dahin meist einzelne Modelle betrachtet — ein systematischer Vergleich fehlte. Also habe ich einen gebaut.

Der Versuchsaufbau

Acht Modelle, öffentlich verfügbar, vom Frontier-Modell bis Open Source: o1, GPT-4o, GPT-4o-mini und GPT-4 (OpenAI), Claude (Anthropic), Gemini und Gemini 2.0 (Google) sowie Mistral 7B.

Zwei Aufgabenklassen, weil sie zwei verschiedene Fähigkeiten prüfen:

1. Sieben selbst entworfene „Pseudo-BPMN"-Aufgaben, die gezielt einzelne Elemente der Spezifikation abklopfen — lineare Prozesse, Gateways, Ereignisse, Schleifen, Subprozesse, Lanes, Datenobjekte.
2. Reale Prozessbeschreibungen aus zwei Forschungs-Datensätzen (Camunda und hdBPMN) — vom Versandhandel über Kreditvergabe bis zum Krankenhaus.

Ein eigenes Bewertungsframework, damit nicht das Bauchgefühl entscheidet: Ist das erzeugte BPMN-2.0-XML valide? Wurden alle Elemente und Beziehungen extrahiert (Vollständigkeit, Präzision, F1-Score)? Und ist das Modell logisch korrekt — also tatsächlich nutzbar?

Eine einheitliche Prompting-Strategie für alle Modelle: Role-Prompting als BPMN-Modellierer, strikte Bindung an die XML-Referenz, eine Text-Repräsentation als Fallback. Nur so sind die Ergebnisse wirklich vergleichbar.

Was dabei herauskam

1. Mit präzisen Instruktionen sind LLMs beeindruckend gut. Bei den strukturierten Aufgaben erzeugten die stärksten Modelle nahezu fehlerfreie BPMN-Modelle — valide, vollständig, direkt in Standard-Tools importierbar. Die Spitzengruppe: Mistral 7B, Gemini 2.0, Claude und GPT-4o.

2. Bei echten Prozesstexten brechen alle ein — ausnahmslos. Reale Beschreibungen verlangen zwei Schritte auf einmal: erst den Prozess aus unstrukturiertem Text extrahieren, dann modellieren. An dieser Doppellast verschlechterte sich jedes einzelne der acht Modelle deutlich. Das ist der wichtigste Befund der Arbeit — und er deckt sich mit allem, was ich seither in der Praxis sehe.

3. Das Format ist schwerer als das Verstehen. Mehrere Modelle extrahierten Prozesse inhaltlich korrekt, scheiterten aber daran, valides BPMN-2.0-XML zu erzeugen. Das ältere Gemini schaffte über alle Aufgaben hinweg kein einziges gültiges Dokument. Formattreue ist ein eigenständiges Problem, kein Nebeneffekt von „Intelligenz".

4. Der Fortschritt zwischen den Modellgenerationen ist real. o1 und Gemini 2.0 schlugen ihre direkten Vorgänger deutlich. Was heute nicht funktioniert, kann in einem Jahr Standard sein — Evaluierung ist deshalb kein einmaliges Projekt, sondern ein Prozess.

Was das für die Praxis bedeutet

Aus den Messungen lassen sich drei Regeln ableiten, nach denen ich seither jeden KI-Einsatz plane:

• Aufgaben klar umreißen schlägt Modell-Upgrade. Der Unterschied zwischen „präzise Instruktion" und „unstrukturierter Text" war größer als der Unterschied zwischen den meisten Modellen. Wer KI produktiv nutzen will, investiert zuerst in die Aufgabenstellung.
• Validierung gehört in die Pipeline, nicht ins Vertrauen. Ob generiertes XML, generierter Code oder generierter Text: Ohne automatische Prüfung und menschliches Review entsteht nichts, was man produktiv nutzen kann. Bei komplexen Prozessen kam ohne menschliche Korrektur kein korrektes Modell zustande.
• Das richtige Modell für den richtigen Job. Die Rangfolgen unterschieden sich je nach Aufgabentyp. Ein pauschales „nimm einfach das größte Modell" hält der Messung nicht stand.

Wer genau hinsieht, erkennt darin die Arbeitsweise wieder, die auch diese Website prägt: KI mit Code-Review statt Blindflug. Das ist keine Marketing-Zeile — es ist das Ergebnis von zwanzig Aufgaben, acht Modellen und einem Semester Messarbeit.

---

Die kompakte Übersicht zur Arbeit gibt es auf der Forschungs-Seite. Und wenn du gerade selbst vor der Frage stehst, wo KI in deinen Prozessen wirklich trägt: Schreib mir — ich antworte mit Messung, nicht mit Meinung.