Mémoire de bachelor : LLM × BPMN
Comparaison systématique de huit LLM pour générer des modèles BPMN 2.0 à partir du langage naturel – avec un cadre d'évaluation maison et des jeux de données réels.
Détails
- Rôle
- Auteur, B.Sc. informatique de gestion (IWi au DFKI, Université de la Sarre)
- Période
- 01/2025
- Technologies
- LLM evaluation, BPMN 2.0, Prompt engineering, F1 score, Camunda, hdBPMN
Recherche
Des modèles de langage librement accessibles peuvent-ils produire des modèles BPMN 2.0 valides et exploitables à partir de descriptions en langage naturel ?
Plus de 20 tâches réparties en deux classes, dont sept tâches pseudo-BPMN ciblant des spécifications précises ; même stratégie de prompting pour tous les modèles.
- Modèles évalués
- o1, GPT-4o, GPT-4o-mini, GPT-4, Claude, Gemini, Gemini 2.0, Mistral 7B
- Jeux de données
- Camunda, hdBPMN
- Indicateurs
- XML BPMN 2.0 valide, Complétude, Précision, Score F1, Correction logique (soundness)
Résultats
- Des instructions claires ont donné des modèles presque sans erreur.
- Les descriptions de processus non structurées ont nettement dégradé les résultats de tous les modèles.
- Produire un XML valide s'est révélé plus difficile que de comprendre le processus.
- Une relecture humaine reste nécessaire pour un usage en production.