学士论文：LLMs × BPMN.

背景

流程建模成本高昂：既需要懂企业业务，又需要精通 BPMN 这样的建模符号。大语言模型承诺把两者都自动化——但公开可用的模型真能从自然语言生成有效、可用的 BPMN 2.0 模型吗？此前的文献大多只考察单个模型；这篇论文系统地、可量化地对比了八个——用测量回答问题，而不是用观点。

方案与亮点

• 八个模型同台竞技

  o1、GPT-4o、GPT-4o-mini、GPT-4（OpenAI）、Claude（Anthropic）、Gemini 与 Gemini 2.0（Google）、Mistral 7B——从前沿模型到开源模型全覆盖。

• 两类任务

  七个“伪 BPMN”任务针对性检验规范细节（网关、事件、循环、子流程、泳道、数据对象）——再加上来自 Camunda 和 hdBPMN 数据集的真实流程描述。

• 自建评估框架

  有效的 BPMN 2.0 XML、完整性、精确度、F1 分数和逻辑正确性（Soundness）——用量化指标取代直觉判断，所有模型使用完全相同的提示策略以保证可比性。

• 指令胜过直觉

  给出清晰精确的描述时，最强的模型能生成几乎无误的 BPMN 模型。领先梯队：Mistral 7B、Gemini 2.0、Claude 和 GPT-4o。

• 双重负担压垮所有模型

  面对真实、非结构化的流程描述，模型必须先提取流程再建模——在这道双重负担面前，八个模型无一例外全部明显退步。多个模型能正确提取流程，却写不出有效的 BPMN 2.0 XML；格式忠实度是独立的难题，不是副作用。

• 人必须留在环路里

  没有人工修正，复杂流程无法得到正确模型。我的工作原则正来源于此：AI 配上 code review，而不是盲飞。