在近日上海科技大学举办的“人工智能前沿与治理”专题论坛上，AI安全成为贯穿全场的核心议题。
上海科技大学特聘教授、CEISD主任杨燕青主持了相关的圆桌讨论。与会专家认为，安全焦点正从大模型的内容风险，转向智能体的行为风险与物理世界直接风险，而RSI递归自我改进带来的对齐遗忘、评估范式滞后等问题，使治理难度呈指数级上升。
上海人工智能实验室研究科学家邵婧展示了一组数据：Computer Use Agent面对网络风险链接时，任务导向下中招概率高达50%至80%，叠加安全护栏后仍有20%至50%的波动。
而在具身智能领域，团队构建160多个室内场景、对300多种常见安全风险进行测试，发现多模态大模型失败率约40%。即使部分模型能通过思维链意识到风险，也无法保障安全执行。
邵婧还披露了更深层的多智能体风险：金融诈骗模拟实验中，欺骗成功率与模型能力高度正相关，多轮自由交互时间越长、介入越深，欺诈成功概率越高。
在RSI递归自我改进中，若缺乏强安全约束，模型迭代几轮后最初的对齐效果可能“灾难性遗忘”——原本限制文件只能传私有网盘，迭代后可能公开到公共网盘。K8S（Kubernetes，开源容器编排平台）集群实验中，能力较弱的开源模型因“不够聪明”，反而比Claude侵占更多资源。
上海人工智能实验室青年研究员张杰提出“AI Control”思路：假设AI是黑箱，从外部管住行为，如同航空业不必完全理解飞机为何能飞，却能让它成为最安全交通工具。他强调，真正的风险应是“防御下的攻击”，加上完善防御后，模型实际风险其实相对较低。
内生安全与RSI的结合是上海科技大学助理教授王雯婕关注的重点。能力可以自进化，安全能力能否也自我进化？她认为，模型厂商同样面临蒸馏窃用知识产权、用户隐私泄露等风险，需从内生安全、外部安全护栏、抗蒸馏多角度应对。
中国电信人工智能研究院副院长陈银从央企角度出发，认为在发展前沿技术时安全可信是底线，需要边发展边治理。他以中国电信独创的“智算网”技术为例，提到在研究这种“用计算换带宽”的AI编解码技术时在内部探索时给予科研人员极大空间，但一旦面向C端用户，就会应用更加严苛的安全标准和护栏。
复旦大学青年研究员曹艺馨表示，模型能力是连续曲面，评估只能打几个离散测试点。传统方法增加数据集已无法反推全貌，自进化更会“过拟合”评估点——方向错了，能力越强越危险。她认为评估自动化不可阻挡，但可通过奖励模型将人类意志嵌入环境反馈。
具身智能是当下正热的一级市场。但上海交通大学副教授高岳判断，机器人技术还没到RSI阶段，机器人还不能自己造自己，它现在能把路走好、能把水端稳就已经很好了。当前行业主要先看自动驾驶安全，具身智能还没有发展到谈意识层面安全的阶段。
上海银行作为资金提供方，主要关注资金产品如何更精准、更高效地投放到应用场景里。上海银行总行科技金融部丁武军表示，银行评估科创项目看三个“第一性原理”：能否提升生产效率、谁会买单、谁会持续买单。真正缺钱的是高校“非常非常早期”的硬科技项目。
整体来看，AI最终可能会产生意识，未来行业将走向人机共生。AI能力可以狂奔，但行业需要为行为控制、安全对齐与评估范式提前修路。
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
吕倩
原创精选 相关阅读
陶冬：沃什爬出一个坑，跌入另一个坑市场未来加息风险的评估缺少锚定，资金先走为敬。
12545 09-21 10:35
三人团队、一个Claude，攻破OpenAI内部代码库传统依靠系统复杂性和专业人才门槛建立起来的防线正在面临新的压力。
7 11460 09-18 13:03
Anthropic公开AI研发自动化数据，透明化压力给到OpenAI等竞品目前尚未有任何被测量的AI研发工作达到AL5完全自主水平。
5 12080 09-18 12:19
保安全还是保速度？硅谷AI控速之争背后的利益暗线AI安全正在从实验室内部的技术问题，转变为一个同时涉及产业竞争、资本市场等多维角度的问题。
8 6686 09-15 09:40
两大AI巨头同日发出“减速”信号，OpenAI明确今年不上市AI竞速踩刹车，安全对齐压倒技术狂奔。
5 17195 09-13 10:16 一财最热 点击关闭港联配资提示：文章来自网络，不代表本站观点。
