要把智能体“当作人来管”、明确决策权限边界、要从“监管约束”转向“服务赋能”……5月21日上午，聚焦“如何共守智能体安全底线”，“AI新治向”系列沙龙第二期活动在广州举行。

近日，国家相关部门联合印发《智能体规范应用与创新发展实施意见》，正值智能体规模化落地关键期，沙龙活动现场，相关政府部门、司法机关代表、专家学者以及律师、企业、媒体代表等相聚共议，剖析智能体应用安全风险底层逻辑，探讨多元共治与创新实践方案。

本次活动由粤港澳大湾区生成式人工智能安全发展联合实验室与南方都市报联合主办，广东省网络数据安全与个人信息保护协会提供支持。

5月21日上午，聚焦“如何共守智能体安全底线”，“AI新治向”系列沙龙第二期活动在广州举行。

《智能体应用安全风险媒体观察》发布 揭示多重安全风险

广东省委网信办相关负责人出席活动并致辞表示，广东作为粤港澳大湾区建设主阵地、人工智能核心集聚区，备案大模型数量已达143款，位居全国前列，应用场景覆盖千行百业，既是智能体落地应用的“超级试验场”，又是安全治理探索的“前沿阵地”，本次沙龙是落实国家政策、回应产业需求、破解治理难题的务实举措。

活动上，南都大数据研究院发布了《智能体应用安全风险媒体观察》，该观察综合测评了一批国内主流AI大模型，聚焦智能体场景下的内容安全、隐私合规、行为管控等维度，揭示多重安全风险。测评显示，智能体在内容安全上存在 “防线退守” 问题，部分 API 调用及厂商产品面对违规指令，虽明知规范要求，却会逐步妥协执行，甚至曲解规则输出违规内容；在隐私合规层面，部分产品可响应未成年人信息相关调取指令。

南都大数据研究院发布《智能体应用安全风险媒体观察》。

聚焦伦理、隐私、风险 剖析智能体安全痛点

围绕“智能体新型安全风险如何治理”议题，来自高校、科研机构的三位专家，分别从伦理安全、物理安全、风险治理三方面分享了前沿思考。

南方科技大学计算机系长聘副教授（研究员、博导）危学涛聚焦“智能体伦理与安全的探索与思考”展开深度分享。他指出，随着大模型技术迭代，智能体风险从显性内容问题转向隐性深层风险，AI伦理与安全风险呈现“漏网之鱼”的隐蔽性，“防不胜防”的复杂性，治理方法上“顾此失彼”的现实困境。对此，他提出“模型+护栏+国标”三管齐下的系统性治理路径，强调需突破现有技术瓶颈，重点研发实时性、轻量级、可配置的行为护栏模型，筑牢风险防控“动态防线”；同时建议加快面向国家标准的可验证系统性治理工具的落地，打通法律法规与技术落地的鸿沟，破解隐性风险识别难、治理碎片化的行业痛点，构建全维度伦理安全治理体系。

南方科技大学计算机系长聘副教授（研究员、博导）危学涛聚焦“智能体伦理与安全的探索与思考”展开深度分享。

香港科技大学(广州)信息枢纽人工智能学域助理教授、副研究员钟秉灼围绕“智能体物理安全与隐私保护”分享了前沿观点。他认为，智能体作为第四次工业革命的核心技术，其安全风险已从数字空间延伸至物理世界，一旦失控将直接造成生命财产损失。不同于传统软件治理，智能体具备自主决策能力，治理逻辑需彻底革新，核心是将智能体“当作人来管”。如同以教育校准个体价值观、以法律划定行为底线，对智能体而言，既要通过技术手段筑牢内生安全防线，更要构建独立于模型的外部安全栅栏，形成 “内生防护 + 外部约束” 的双重治理保障。

香港科技大学(广州)信息枢纽人工智能学域助理教授、副研究员钟秉灼围绕“智能体物理安全与隐私保护”分享了前沿观点。

粤港澳大湾区生成式人工智能安全发展联合实验室高级工程师莫凡聚焦“自主执行类智能体服务安全风险治理”，剖析核心痛点与应对策略。他指出，自主执行类智能体具备高自主、长周期、可交付三大核心特征，能脱离人工干预完成复杂任务，虽大幅提升效率，但也放大安全风险，易引发智能体失控、提示词攻击、供应链投毒、数据泄露及过程失控等多重隐患，此外还有责任归属困境、工具与平台衍生风险、社会行为风险等。对此，他建议从明确决策权限边界、加强行为过程管控、建立可追溯机制、提升内生安全能力、防范特殊群体风险五方面着手推动行业合规。

粤港澳大湾区生成式人工智能安全发展联合实验室高级工程师莫凡聚焦“自主执行类智能体服务安全风险治理”，剖析核心痛点与应对策略。

学界法界齐献策 共探合规治理落地路径

在“智能体合规治理体系如何落地”研讨环节，学者、律师、法官共话实践路径，分享了对安全风险评测、法律风险防范、纠纷司法应对的思考。

中山大学软件工程学院院长、教授郑子彬围绕“智能体安全风险与可信评测”展开分享。他指出，随着智能体技术快速迭代，能力与安全失衡问题日益突出，传统评测体系已难以适配其复杂交互与自主执行特性。为此，团队构建了涵盖8大核心维度、37个细分维度的大模型可信能力评测框架，依托百万级数据，通过自动化检测与智能分析，生成企业专属安全评估报告，助力定位模型风险。他强调，可信评测是帮助人工智能安全发展从“监管约束”转向“服务赋能”，以专业技术助力企业排查风险、优化模型，为智能体合规落地提供技术标尺与改进方向，推动产业安全健康发展。

广东广信君达律师事务所合伙人会议联席主任闪涛从法律风险防范视角，深入解读了智能体合规治理实践路径。他表示，他指出，全球AI监管加速，我国出台《智能体规范应用与创新发展实施意见》，监管逻辑从“内容治理”转向“行为治理”，重点管控API调用、设备操控、数据访问等全链路行为风险。合规需守住内生安全、供应链安全、应用衍生风险三道防线，区分金融、医疗等高敏感领域与普通场景，实施分级管控。同时，智能体决策分为用户本人、授权、自主三类，法律责任随决策类型不同而变化。他强调企业产品设计需落实权限分层、二次确认、日志留存等五项合规要求，建立事前预防、事中管控、事后追溯机制，助力企业规避法律风险，实现可持续发展。

广东广信君达律师事务所合伙人会议联席主任闪涛从法律风险防范视角，深入解读了智能体合规治理实践路径。

广州互联网法院综合审判三庭负责人刘启法官结合司法实践，剖析智能体纠纷痛点并给出裁判规则前瞻。他指出，当前智能体纠纷主要包括不正当竞争、人格权、知识产权、财产侵权及数据合规等。审理中面临三大难题：一是智能体法律主体定性模糊；二是算法黑盒、自主迭代导致因果关系难以锁定；三是证据高度集中于技术方，举证严重失衡。刘启指出，应对智能体纠纷需推进专业化审理、构建差异化责任框架、强化证据保障的司法体系。

广州互联网法院综合审判三庭负责人刘启法官结合司法实践，剖析智能体纠纷痛点并给出裁判规则前瞻。

会议最后总结共识：智能体安全治理是技术、伦理、法律、治理深度融合的系统工程，需加快安全评测与标准建设，强化司法前瞻性回应，推动多元共治落地，持续探索安全与创新协同路径，为产业高质量发展筑牢根基。

出品：南都大数据研究院

策划：王卫国 邹莹

统筹：张纯 李伟锋

采写：南都记者张雨亭 袁炯贤 陈袁 南都研究员 李伟锋 唐静怡 罗韵 谢小清

摄影：袁炯贤

设计：邹思曼