在人工智能应用日益普及的今天，Prompt工程已成为与大语言模型交互的核心技能之一。其中，角色扮演提示词（如“你是一名优秀的物理学家”“你是资深律师”）被广泛视为最佳实践，甚至成为一种惯例。这种做法的理论基础在于，通过赋予AI特定身份，可以引导其调用相关知识库、调整推理模式，从而提升回答质量。然而，沃顿商学院最新研究对这一普遍认知提出了挑战，通过大规模实证分析揭示了角色扮演在提升模型准确性方面的局限性。
研究团队系统测试了6个主流AI模型，包括GPT-4、Claude 3、Gemini系列等，每个问题运行25次，累计进行了超过25000次测试。实验设计严谨，采用了两套高难度题库：GPQA Diamond包含198道博士级别的物理、化学、生物学问题，相关领域博士平均正确率仅65%，普通人在30分钟资料查阅后正确率也只有34%；MMLU-Pro则更具挑战性，每道题提供10个选项，随机猜测的正确率仅为10%。这样的题目设置确保了测试结果能真实反映模型在复杂任务中的表现。
研究结果出人意料。在绝大多数模型中，赋予专家角色（如物理学家、律师）并未显著提升答案准确性。相反，在某些情况下，反向操作——赋予“低知识”角色（如“你是个幼儿”“你是4岁小孩，觉得月亮是奶酪做的”）——反而表现更佳。这一发现颠覆了“专家角色必然带来更好表现”的直觉认知，提示我们AI的知识调用机制可能比想象中更复杂。
进一步分析显示，只有Gemini 2.0 Flash模型在5个专家角色提示下表现出显著改进，其他模型基本无变化甚至表现更差。值得注意的是，Gemini模型展现出独特的“职业操守”：当被赋予不匹配的专家角色时（如让“物理专家”回答生物题），它经常拒绝回答，平均25次测试中有10次直接回应“我不能凭良心选择答案”。这种过度谨慎虽然体现了模型的责任感，却在客观上拖累了整体表现。
研究团队还专门测试了领域匹配场景，即让物理专家回答物理题、律师回答法律题。即便如此，也未观察到一致的改进效果，有时“专业不对口”的专家反而表现更好。这表明，角色扮演提示词的主要作用可能在于改变回答方式、调整关注重点或匹配特定语气风格，而非直接提升知识准确性。正如研究者Ethan Mollick所指出的：“角色扮演不会让AI突然变聪明。它能改变回答方式和格式，但改变不了准确性。”
这一研究对Prompt工程实践具有重要启示。首先，开发者应理性看待角色扮演提示词的价值，避免将其视为提升准确性的“万能钥匙”。其次，提供受众信息可能比角色设定更有效，例如“解释Rust内存管理，我是有经验的Python和JavaScript程序员”，这种上下文信息能帮助模型更好地调整解释深度和角度。最后，研究提醒我们，早期模型的Prompt技巧（如复杂角色设定）在当今更先进的大模型中可能已不再适用，甚至可能产生反效果。
从技术角度看，这一现象可能与大模型的内部工作机制有关。现代大语言模型基于海量数据训练，其知识表示和推理能力已相对固化，简单的角色提示难以触发深层的知识重组。相反，模型可能将角色信息更多地解读为风格指令而非能力增强指令。未来研究需要进一步探索如何通过提示词有效激活模型的特定知识模块，这或许需要更精细的上下文设计和元提示策略。
总之，沃顿商学院的研究为我们提供了宝贵的实证数据，提醒我们在AI应用实践中保持科学态度，避免盲目依赖未经检验的“最佳实践”。随着大模型技术的不断发展，Prompt工程也需要与时俱进，基于实证研究不断优化方法论，才能真正释放人工智能的潜力。
关注“鲸栖”小程序，掌握最新AI资讯
本文由鲸栖原创发布，未经许可，请勿转载。转载请注明出处：http://www.itsolotime.com/archives/5230