# Mémoire de bachelor : LLM × BPMN

*Recherche · Auteur, B.Sc. informatique de gestion (IWi au DFKI, Université de la Sarre) · 01/2025*

Comparaison systématique de huit LLM pour générer des modèles BPMN 2.0 à partir du langage naturel – avec un cadre d'évaluation maison et des jeux de données réels.

## Recherche

- Question de recherche: Des modèles de langage librement accessibles peuvent-ils produire des modèles BPMN 2.0 valides et exploitables à partir de descriptions en langage naturel ?
- Modèles évalués: o1, GPT-4o, GPT-4o-mini, GPT-4, Claude, Gemini, Gemini 2.0, Mistral 7B
- Jeux de données: Camunda, hdBPMN
- Méthode: Plus de 20 tâches réparties en deux classes, dont sept tâches pseudo-BPMN ciblant des spécifications précises ; même stratégie de prompting pour tous les modèles.
- Indicateurs: XML BPMN 2.0 valide, Complétude, Précision, Score F1, Correction logique (soundness)

Résultats:

- Des instructions claires ont donné des modèles presque sans erreur.
- Les descriptions de processus non structurées ont nettement dégradé les résultats de tous les modèles.
- Produire un XML valide s'est révélé plus difficile que de comprendre le processus.
- Une relecture humaine reste nécessaire pour un usage en production.

Technologies: LLM evaluation, BPMN 2.0, Prompt engineering, F1 score, Camunda, hdBPMN


---

Moritz Schacke – https://moritzschacke.de/fr