Recherche
Mémoire de bachelor : LLMs × BPMN.
« L'intelligence artificielle comme innovateur pour l'automatisation de la modélisation des processus » — huit large language models évalués systématiquement sur la génération de BPMN.
- Rôle
- Auteur — B.Sc. en informatique de gestion, Université de la Sarre
- Période
- WS 24/25
- Stack
-
- LLM-Evaluation
- BPMN 2.0
- Prompt Engineering
- F1-Score-Framework
- Camunda / hdBPMN
Contexte
Une IA librement accessible peut-elle produire des modèles de processus métier valides à partir de langage naturel ? La modélisation de processus coûte cher : il faut connaître l'entreprise et maîtriser des notations comme BPMN. La littérature s'était surtout penchée sur des modèles isolés — ce travail en compare huit, de façon systématique et mesurable. Pas avec des opinions : avec des mesures.
Solution & points forts
-
Huit modèles sur le ring
o1, GPT-4o, GPT-4o-mini, GPT-4 (OpenAI), Claude (Anthropic), Gemini et Gemini 2.0 (Google), Mistral 7B — du modèle frontier à l'open source. Testés sur sept tâches « pseudo-BPMN » ciblant la spécification et sur des descriptions de processus réelles issues des jeux de données Camunda et hdBPMN.
-
Framework d'évaluation maison
XML BPMN 2.0 valide, complétude, précision, F1-score et correction logique (« soundness ») — du quantitatif plutôt que du ressenti.
-
Stratégie de prompting maison
Role prompting en modélisateur BPMN, ancrage strict à la référence XML, représentation texte en fallback — identique pour tous les modèles, pour une vraie comparabilité.
-
L'instruction bat l'intuition
Avec des descriptions claires et précises, les meilleurs modèles ont produit des modèles BPMN quasi sans faute. Le groupe de tête : Mistral 7B, Gemini 2.0, Claude et GPT-4o.
-
La double charge fait plier tout le monde
Sur des descriptions de processus réelles et non structurées, les modèles doivent d'abord extraire le processus, puis le modéliser — sous cette double charge, les huit modèles, sans exception, ont nettement décroché. Et le XML BPMN 2.0 valide reste le talon d'Achille des modèles plus anciens ou plus petits.
-
L'humain reste dans la boucle
Sans correction humaine, aucun modèle correct n'est sorti pour les processus complexes. C'est exactement de là que vient mon principe de travail : l'IA avec code review, jamais en aveugle.