Badania
Praca licencjacka: LLM-y × BPMN.
„Sztuczna inteligencja jako innowator w automatyzacji modelowania procesów" — osiem dużych modeli językowych systematycznie ocenionych pod kątem generowania BPMN.
- Rola
- Autor — B.Sc. informatyki ekonomicznej, Uniwersytet Kraju Saary
- Okres
- sem. zimowy 24/25
- Stack
-
- LLM-Evaluation
- BPMN 2.0
- Prompt Engineering
- F1-Score-Framework
- Camunda / hdBPMN
Kontekst
Modelowanie procesów jest drogie: wymaga wiedzy eksperckiej o firmie i o notacjach takich jak BPMN. Duże modele językowe obiecują zautomatyzować jedno i drugie — ale czy ogólnodostępna AI naprawdę potrafi z języka naturalnego wygenerować walidne, użyteczne modele BPMN 2.0? Literatura patrzyła dotąd zwykle na pojedyncze modele. Ta praca porównuje osiem — systematycznie i mierzalnie: nie opinią, tylko pomiarem.
Rozwiązanie i najważniejsze punkty
-
Osiem modeli na ringu
o1, GPT-4o, GPT-4o-mini, GPT-4 (OpenAI), Claude (Anthropic), Gemini i Gemini 2.0 (Google), Mistral 7B — od modeli frontier po open source. Do tego dwie klasy zadań: siedem zadań „pseudo-BPMN" celujących w specyfikację (gatewaye, zdarzenia, pętle, podprocesy, lane-y, obiekty danych) plus prawdziwe opisy procesów z datasetów Camunda i hdBPMN.
-
Własny framework oceny
Walidny XML BPMN 2.0, kompletność, precyzja, F1-score i poprawność logiczna („soundness") — ilościowo zamiast na wyczucie. Identyczna strategia promptowania dla wszystkich modeli, dla prawdziwej porównywalności.
-
Instrukcja bije intuicję
Przy jasnych, precyzyjnych opisach najsilniejsze modele generowały niemal bezbłędne modele BPMN. Czołówka: Mistral 7B, Gemini 2.0, Claude i GPT-4o.
-
Podwójne obciążenie łamie wszystkich
Przy prawdziwych, nieustrukturyzowanych opisach modele muszą najpierw wyekstrahować proces, a potem go zamodelować — na tym podwójnym obciążeniu wyraźnie traciło bez wyjątku wszystkie osiem modeli.
-
XML jest trudniejszy niż rozumienie
Kilka modeli poprawnie ekstrahowało procesy, ale wykładało się na walidnym XML-u BPMN 2.0 — starsze Gemini nie wyprodukowało ani jednego poprawnego dokumentu. Wierność formatowi to osobny problem, nie efekt uboczny.
-
Człowiek zostaje w pętli
Bez ludzkiej korekty przy złożonych procesach nie powstał żaden poprawny model. Dokładnie stąd bierze się moja zasada pracy: AI z code review zamiast lotu na ślepo.