Bachelorscriptie: LLMs × BPMN.

Context

Procesmodellering is duur: het vraagt expertkennis over het bedrijf én over notaties zoals BPMN. Kan vrij beschikbare AI uit natuurlijke taal valide, bruikbare BPMN-2.0-modellen genereren? De literatuur bekeek tot dan toe meestal losse modellen — deze scriptie vergelijkt er acht, systematisch en meetbaar: geen mening, maar meting.

Oplossing & highlights

• Acht modellen in de ring

  o1, GPT-4o, GPT-4o-mini, GPT-4 (OpenAI), Claude (Anthropic), Gemini en Gemini 2.0 (Google), Mistral 7B — van frontier-model tot open source, over 20+ taken en twee echte datasets (Camunda, hdBPMN).

• Eigen evaluatieframework

  Valide BPMN-2.0-XML, volledigheid, precisie, F1-score en logische correctheid („soundness") — kwantitatief in plaats van onderbuikgevoel. Eén prompting-strategie, identiek voor alle modellen, voor echte vergelijkbaarheid.

• Instructie verslaat intuïtie

  Met duidelijke, precieze beschrijvingen leverden de sterkste modellen vrijwel foutloze BPMN-modellen. De kopgroep: Mistral 7B, Gemini 2.0, Claude en GPT-4o.

• De dubbele last breekt iedereen op

  Bij echte, ongestructureerde procesbeschrijvingen moeten modellen eerst het proces extraheren en het daarna modelleren — op die dubbele last leverden alle acht modellen zonder uitzondering fors in.

• XML is moeilijker dan begrijpen

  Meerdere modellen extraheerden processen correct maar strandden op valide BPMN-2.0-XML — het oudere Gemini produceerde geen enkel geldig document. Formaat-trouw is een eigen probleem, geen bijeffect.

• De mens blijft in de loop

  Zonder menselijke correctie ontstond bij complexe processen geen correct model. Precies daaruit volgt mijn werkprincipe: AI met code-review in plaats van blind vertrouwen.