MoGraphGPT：零代码构建复杂交互场景，自然语言+涂鸦让创意可视化

想要快速制作网页小游戏、交互式动画或教学演示，却受限于复杂的代码逻辑与多元素交互调试？尽管当前的大语言模型或AI Agent能够辅助生成代码和搭建交互场景，但在处理多元素交互时仍易出错，且纯文本的交互方式难以支持直观的视觉调整。

近日，来自香港浸会大学、香港科技大学、香港城市大学及深圳大学的研究团队提出了一种名为MoGraphGPT的创新系统。该系统结合了上下文感知的模块化大语言模型与直观的图形化控制，允许用户通过自然语言描述和简单的画布涂鸦，无需编写代码即可快速构建逻辑复杂的2D交互场景。该研究成果已被计算机图形学与可视化领域顶级期刊IEEE Transactions on Visualization and Computer Graphics录用。

论文作者包括：香港浸会大学传理学院互动媒体系助理教授叶卉，香港科技大学肖楚烽，香港城市大学创意媒体学院博士生冷佳业，以及深圳大学计算机与软件学院副教授徐鹏飞，通讯作者为香港科技大学艺术与机器创造力学部教授、代理系主任傅红波。该团队长期致力于计算机图形学、人机交互与计算机视觉的交叉研究。

• 论文标题：MoGraphGPT: Creating Interactive Scenes Using Modular LLM and Graphical Control
• 作者：Hui Ye (HKBU/HKUST), Chufeng Xiao (HKUST), Jiaye Leng (CityU), Pengfei Xu (SZU), Hongbo Fu (HKUST)
• 录用期刊：IEEE Transactions on Visualization and Computer Graphics (TVCG) 2026
• 论文链接：https://ieeexplore.ieee.org/abstract/document/11410096

一、 研究背景：LLM生成交互场景的四大痛点

使用LLM或Agent直接生成2D交互场景（如游戏、动画）或代码时，创作者通常面临以下挑战：

1. 代码质量堪忧：在涉及多元素（如主角、怪物、障碍物）的复杂交互逻辑时，LLM容易生成不完整或存在错误的代码。
2. 缺乏独立编辑性：LLM的线性对话结构使得修改变得困难。例如，调整一个平台的行为可能意外影响其他无关元素。
3. 图形控制缺失：仅凭文本难以精确描述空间信息。例如，让物体沿特定S型曲线运动的文字描述既繁琐又不准确。
4. 精确控制极其繁琐：生成效果后，若需微调速度、弹跳高度等参数，用户必须反复修改提示词，过程如同“开盲盒”，效率低下。

二、 核心技术：MoGraphGPT如何破局？

为解决上述痛点，研究团队提出了MoGraphGPT架构，其核心包含两项突破性机制：

1. 上下文感知的LLM模块化

MoGraphGPT摒弃了将全部需求交由单一LLM处理的做法，采用了自顶向下的分层管理结构：
* 专属独立模块：场景中的每个元素（如“猴子”、“香蕉”）都拥有独立的LLM会话。用户可以单独调整某一元素的行为，而无需担心破坏其他元素的代码。
* 中心统筹模块：作为协调者，专门处理元素之间的交互逻辑（如“猴子吃到香蕉加一分”）。各独立模块将其变量和函数抽象为上下文供中心模块调用，实现了独立性与协同性的统一。

2. 无缝融合的图形控制与UI精准微调

MoGraphGPT将代码生成过程可视化，赋予用户强大的精准控制能力：
* 指哪打哪的图形代理：用户可在系统画布上直接标点、画线、画曲线或圈出区域（标记为P1, L1, C1, R1等），并在输入提示词时直接引用（例如：“让平台沿着C1曲线来回移动”）。系统会自动将这些手绘图形转化为精确的坐标参数。
* 自动生成的控制滑块：生成交互逻辑后，系统会利用专用LLM自动解析代码中的关键参数，并在界面右侧动态生成对应的控制滑块。用户可通过拖动滑块实时调整移动速度、重力大小等参数，实现所见即所得的编辑体验。

三、 效果与对比

研究团队将MoGraphGPT与当前业界先进的AI编程助手Cursor Composer进行了对比实验：
* 效率显著提升：在完成相同的交互场景还原任务时，MoGraphGPT的平均耗时比Cursor缩短了约73.8%。
* 极大降低试错成本：用户所需输入的提示词数量和文本长度分别减少了68.4%和88.9%。在易用性、可控性与总体表现等主观评分上也显著优于基线。
* 告别致命Bug：基于LLM-as-a-Judge及真实编译环境的测试显示，MoGraphGPT生成的代码在致命错误和严重错误数量上均远低于对比工具。

开放式创作：释放无界创意

在自由创作测试中，无论是无编程基础的新手还是经验丰富的开发者，均能在10到30分钟内使用MoGraphGPT构建出完整作品，涵盖双人游戏、射击游戏、教学演示动画、学术论文动态插图及网页交互Demo等多种应用类型。

四、 总结与展望

MoGraphGPT在大语言模型代码生成与可视化无代码编辑之间架起了一座桥梁。其核心的模块化LLM调度策略和图形化操控，不仅解决了复杂场景下的代码耦合问题，也为未来多智能体协同生成复杂应用程序提供了新的交互范式。

未来，团队计划进一步探索对更庞大场景的交互式创作支持、代码可见性分级机制，并验证其在更多专业级引擎中的管线对接潜力。

关注“鲸栖”小程序，掌握最新AI资讯