Бакалаврская: LLM × BPMN.

Контекст

Процессное моделирование стоит дорого: нужны и знание предприятия, и владение нотациями вроде BPMN. Большие языковые модели обещают автоматизировать и то и другое — но могут ли свободно доступные модели действительно превращать естественный язык в валидные, пригодные к использованию модели BPMN 2.0? Литература до этого рассматривала в основном отдельные модели; эта работа сравнивает восемь — и отвечает не мнением, а измерением.

Решение и главное

• Восемь моделей на ринге

  o1, GPT-4o, GPT-4o-mini, GPT-4 (OpenAI), Claude (Anthropic), Gemini и Gemini 2.0 (Google), Mistral 7B — от frontier-моделей до open source. Идентичная стратегия промптинга для всех: role-prompting как BPMN-моделировщик, строгая привязка к XML-референсу — ради честной сравнимости.

• Два класса задач

  Семь «псевдо-BPMN»-задач прицельно проверяют спецификацию (шлюзы, события, циклы, подпроцессы, дорожки, объекты данных) — плюс реальные описания процессов из датасетов Camunda и hdBPMN.

• Собственный фреймворк оценки

  Валидный BPMN-2.0-XML, полнота, точность, F1-score и логическая корректность (soundness) — количественно, а не на глазок.

• Инструкция бьёт интуицию

  На чётких, точных описаниях сильнейшие модели выдавали почти безошибочные BPMN-модели. Лидирующая группа: Mistral 7B, Gemini 2.0, Claude и GPT-4o.

• Двойная нагрузка ломает всех

  На реальных, неструктурированных текстах модель должна сначала извлечь процесс и только потом смоделировать его — на этой двойной нагрузке заметно просели все восемь моделей без исключения. А валидный BPMN-2.0-XML оказался ахиллесовой пятой старых и маленьких моделей: формат — отдельная проблема, а не побочный эффект.

• Человек остаётся в контуре

  Без человеческой корректуры ни одна модель не выдала корректный результат на сложных процессах. Именно отсюда мой рабочий принцип: ИИ с код-ревью вместо слепого полёта.