Forschung
Ich habe den KI-Hype vermessen.
„Künstliche Intelligenz als Innovator zur Automatisierung der Prozessmodellierung" — acht Large Language Models systematisch zur BPMN-Generierung evaluiert.
- Typ
- Bachelorarbeit — B.Sc. Wirtschaftsinformatik
- Institut
- IWi im DFKI, Universität des Saarlandes
- Umfang
- 8 LLMs · 20+ Aufgaben · 2 reale Datensätze
- Abgabe
- 01/2025
Die Frage
Prozessmodellierung ist teuer: Sie braucht Expertenwissen über das Unternehmen und über Notationen wie BPMN. Large Language Models versprechen, beides zu automatisieren — aber können frei verfügbare Modelle wirklich aus natürlicher Sprache valide, nutzbare BPMN-2.0-Modelle erzeugen? Die Literatur hatte bis dahin meist einzelne Modelle betrachtet. Diese Arbeit vergleicht acht — systematisch und messbar.
Der Aufbau
Acht Modelle im Ring
o1, GPT-4o, GPT-4o-mini, GPT-4 (OpenAI), Claude (Anthropic), Gemini und Gemini 2.0 (Google), Mistral 7B — von Frontier-Modell bis Open Source.
Zwei Aufgabenklassen
Sieben „Pseudo-BPMN"-Aufgaben prüfen gezielt die Spezifikation (Gateways, Ereignisse, Schleifen, Subprozesse, Lanes, Datenobjekte) — dazu reale Prozessbeschreibungen aus den Datensätzen von Camunda und hdBPMN.
Eigenes Bewertungsframework
Valides BPMN-2.0-XML, Vollständigkeit, Präzision, F1-Score und logische Korrektheit („Soundness") — quantitativ statt Bauchgefühl.
Eigene Prompting-Strategie
Role-Prompting als BPMN-Modellierer, strikte Bindung an die XML-Referenz, Text-Repräsentation als Fallback — identisch für alle Modelle, für echte Vergleichbarkeit.
Die Ergebnisse
$ ./evaluate --models 8 --tasks 20+ --datasets camunda,hdbpmn [ok] präzise instruktionen → moderne llms liefern sehr gute bpmn-modelle [warn] echte prozesstexte → ALLE modelle brechen deutlich ein [warn] valides bpmn-2.0-xml → achillesferse älterer/kleinerer modelle [ok] neue generation → deutlich stärker als die vorgänger fazit: ohne menschliches review kein produktiv nutzbares modell.
Instruktion schlägt Intuition
Mit klaren, präzisen Beschreibungen erzeugten die stärksten Modelle nahezu fehlerfreie BPMN-Modelle. Die Spitzengruppe: Mistral 7B, Gemini 2.0, Claude und GPT-4o.
Die Doppellast bricht allen das Genick
Bei echten, unstrukturierten Prozessbeschreibungen müssen Modelle erst den Prozess extrahieren und dann modellieren — an dieser Doppellast verschlechterten sich ausnahmslos alle acht Modelle deutlich.
XML ist schwerer als Verstehen
Mehrere Modelle extrahierten Prozesse korrekt, scheiterten aber an validem BPMN-2.0-XML — das ältere Gemini schaffte kein einziges gültiges Dokument. Format-Treue ist ein eigenes Problem, nicht ein Nebeneffekt.
Der Mensch bleibt im Loop
Ohne menschliche Korrektur entstand bei komplexen Prozessen kein korrektes Modell. Genau daraus folgt mein Arbeitsprinzip: KI mit Code-Review statt Blindflug.
Drumherum entstanden
Projektarbeit: Webprototyp
Interaktive Prozessmodellierung mit LLMs als Web-Anwendung — die praktische Fortsetzung der Forschungsfrage.
Seminar: LLMs im Finanzbereich
Einsatzszenarien und Grenzen von Large Language Models in einem regulierten Umfeld.
Mehr davon?
Der ausführliche Deep-Dive mit Methodik und Details erscheint im Logbuch. Bis dahin: Wenn du wissen willst, was das für dein KI-Projekt bedeutet — frag mich direkt.