开放与安全应取最大公约数。AI制作

2016年5月17日，习近平总书记召开了哲学社会科学工作座谈会并发表重要讲话。他明确提出“两个不可替代”重要论断，即哲学社会科学具有不可替代的重要地位，哲学社会科学工作者具有不可替代的重要作用。同时系统阐释了四个问题，为新时代哲学社会科学发展定向领航，其中提到“提高改革决策水平，推进国家治理体系和治理能力现代化，迫切需要哲学社会科学更好发挥作用”。为更好纪念“5·17”讲话发表十周年，讲堂刊发于智慧副教授理论稿件，聚焦“十五五”期间，上海如何应对AI 数字安全，以顶层设计的责任，以“安全即服务”的落地实践，为上海作为全国人工智能创新策源地做好理论和建言支持。

2026年，是“十五五”规划的肇始之年，也是数字时代具有分水岭意义的一年。党的二十届四中全会审议通过的“十五五”规划建议中，首次将“加强网络、数据、人工智能等新兴领域国家安全能力建设”置于前所未有的战略高度，并同步部署“全面实施‘人工智能+’行动”。这一顶层设计释放出一个强烈信号：人工智能不再仅仅是科技巨头财报中的营收增长点，也不再仅仅是赋能千行百业的工具，它已成为继陆海空天之后的“第五疆域”——数字边疆的核心守卫者。

然而，技术的狂飙突进往往伴随着风险的指数级累积。在大模型参数规模突破万亿、生成式AI渗透率屡创新高之际，我们发现AI开始学会了一种令人不安的能力——“说谎”。这里的“说谎”并非科幻电影中的机器觉醒，而是指AI因数据污染产生的“幻觉”，以及被恶意诱导生成的深度伪造内容。这种“数字谎言”正以前所未有的逼真度侵蚀社会信任的基石。作为拥有2500万人口的超大城市，同时也是全国人工智能创新策源地和国际数据港的核心承载区，上海正站在这场变革的风暴眼。如何在“开放”与“安全”之间寻找最大公约数？如何在享受“人工智能+”红利的同时，构筑一道坚不可摧的数字免疫防线？这是时代赋予这座城市的必答题。

高对齐数据集：人工智能新时代的文明守护 来自界面新闻

正视风险：“以技治技”，进入攻防竞速周期

数字疆土的拓展从来不是风平浪静。“十五五”规划把统筹发展和安全、补强新兴领域安全短板摆在突出位置，正是对当前非传统安全风险持续攀升的战略回应。今天的AI安全，早已告别单点漏洞修补的初级阶段，演变为覆盖数据、模型、内容、应用全链条的系统性风险。这种风险不再只是技术漏洞，其触角已悄然延伸向社会信任的根基。

风险的源头，往往藏在底层数据的无声扭曲中。2026年央视3·15晚会曝光了“GEO（生成式引擎优化）”灰产链对AI大模型的“投毒”乱象——不法分子借助技术批量炮制虚假软文，短时间内便可大规模污染主流大模型训练语料。这种针对AI认知根基的饱和式投毒，叠加大模型天然存在的“AI幻觉”，极易在公共服务、信息传播中扭曲事实逻辑，无声侵蚀社会公共信任底座。与此同时，深度伪造音视频仿真度持续走高，算法黑箱自带的偏见性与不可解释性，更易造成跨领域、跨层级风险传导，一旦失控便极易触发连锁舆情震荡。

央视3·15晚会曝光：灰产链对AI大模型的“投毒”乱象，借助科技批量炮制虚假短文来 自澎湃新闻

风险倒逼防护体系加速迭代，国内大模型行业已进入“以技制技、以智治智”的攻防竞速周期。月之暗面旗下的Kimi已深度接入《人民日报》、央视、财新等权威信源，为媒体机构提供“蓝V”溯源标识；博查等AI搜索平台也对短时间内涌现的相似内容进行快速排查与权重调整。安全厂商则把AI安全产品直接落到实战：360安全大模型3.0通过中国软件评测中心A级安全性检测，覆盖指令安全、内容安全、模型安全、网络安全和数据安全五项要求；奇安信“大模型卫士”（GPT-Guard）已通过公安部第三研究所“大模型安全防护围栏（增强级）”认证，并在20余个行业、60余家客户中完成试点验证。

垂直领域成效更为直观。百川智能于2026年1月22日发布的Baichuan-M3 Plus循证增强医疗大模型，借助M2 Plus同款“六源循证”方法与首创的“证据锚定（Evidence Anchoring）”技术，将事实性幻觉率压至2.6%，刷新业界纪录，已具备进入临床辅助场景的基础。在深度伪造检测领域，浙江大学区块链与数据安全全国重点实验室推出的DFscan视觉伪造检测平台，面向AI电诈视频甄别、人脸识别系统防护、重点人物伪造视频监管等场景，并支持伪造区域定位、特征可视化与方法溯源等细粒度功能。通用底座加垂直场景的“双线推进”，正在为智能时代的治理积累技术家底。

进入“以技制技、以智治智”攻防竞速周期：奇安信“大模型”卫士发力 来自奇安信集团微信

上海探索：从被动应急到主动塑造

产业进入深水区，治理就不能再守在岸边。近两年，上海在制度、监管、部门协同三方面都在做一件事——把治理的触发点尽量前移，从事后被动处置转向事前有效介入。

第一条线：让监管常态化、可见化。

从2024年首创“清朗浦江”网络生态治理旬行动起，上海每年滚动开展系列专项整治。2025年聚焦五大重点领域，全年累计清理违法和不良信息818.04万余条，处置违规账号27.5万余个。2025年，长宁警方破获一起为提高账号流量获取广告收益而炮制茶饮企业谣言的案件，姚某、陈某等8名嫌疑人被抓获归案——犯罪嫌疑人花费800元找人代笔，利用AI生成不实文章，其杀伤力却覆盖整个网络。

3月，上海嘉定公安破获造谣多家车企的网络水军案 来自“新民·上观App

进入2026年，案件性质更具典型性。3月，上海嘉定公安破获一起利用AI造谣多家车企的网络水军案：嫌疑人梁某、郭某借助AI工具批量“洗稿”，通过非法渠道掌控约4000个自媒体账号，专门在凌晨1点至6点平台监管薄弱时段批量发文，针对小米、蔚来、沃尔沃、理想等多家车企捏造销量下滑、亏损扩大、产品质量事故等不实内容，相关稿件全网阅读量高达8000万次，累计推送不实文章70余万篇次，非法获利8万余元。同月，黄浦公安分局又破获一起利用AI生成虚假医疗科普文章、为医疗机构非法引流的案件。截至3月25日通报时，上海警方已侦办涉企网络谣言案件50起，依法查处69人，270余个违规账号被采取禁言、封停措施。一桩桩案件，折射出AI滥用的低成本、高扩散特点，也表明仅靠企业辟谣已远远不够。

第二条线：把分散的部门力量拧成合力。

上海正在构建一套多部门会商和分级响应机制。网信、公安、数据、市场监管等部门联动，从线索移交到溯源侦办形成闭环——网信部门的“涉企侵权信息受理服务站”、公安部门的“守沪e站”、检察部门的“网络检察空间站”，在联合研判、全链条治理、普法宣传上协同发力。技术端，上海人工智能实验室持续输出大模型安全评估、AIGC溯源等能力，其牵头建设的司南（OpenCompass）评测体系下的MedBench医疗大模型评测平台，已成为行业重要参照；实验室同时还在筹建人工智能安全标准工作组，探索“安全即服务”模式。属地平台层面，小红书、哔哩哔哩等已上线“争议标记”“限时限流”等机制，引导自媒体承担一定举证责任。同向发力之下，一套既守底线、又留出创新空间的治理路径开始成形。

上海AI实验室以全栈自主技术体系赋能国家人工智能应用中试基地（医疗领域）建设 来自上海人工智能实验室网站

面向未来：覆盖“数据—模型—内容—传播”全链条

从“十五五”全局看，超大型城市需要的不只是某一环节的修补，而是一张覆盖“数据—模型—内容—传播”各环节的体系化防护网。可以从以下几个方向入手。

*把风控关口前移到数据源头

依托上海数据交易所、临港新片区国际数据港等平台，针对高风险AI应用的训练数据建立合规评估机制。上海数交所已发布《上海数据交易所数据交易安全合规指引》和配套清单，对数据交易全流程进行安全把关；上海数据发展科技有限公司研发的自动化合规评估工具，可完成智能核查、材料存证、自动生成评估意见等环节。下一步可重点攻坚数据血缘追踪和实时审计技术，由网信部门牵头建设面向AI洗稿、批量投毒的行业风险特征库和标准化预警接口，从源头截住污染链条。

*补齐鉴伪和模型治理短板

AI鉴伪、幻觉抑制和算法解析能力，是“十五五”期间安全攻防的核心变量。上海可以以市区两级资源为基础，支持高校院所与百川智能、商汤科技、阶跃星辰、MiniMax等本地企业联合攻关，依托上海人工智能实验室承建国家级大模型评测体系，重点突破数据去毒、幻觉抑制等瓶颈。2025年9月1日起施行的《人工智能生成合成内容标识办法》及配套强制性国家标准GB 45438-2025，已提供了显式与隐式标识的统一技术规范，建议上海在“上海发布”“随申办”等政务新媒体阵地率先落地，借助不可篡改的元数据实现全链路可追溯，让市民对AI生成内容能辨真伪、能查源头。

2025年9月1日起施行的《人工智能生成合成内容标识办法》，已提供了显式与隐式标识的统一技术规范 来自搜狐视频

*把治理嵌入城市运行体系

压实平台主体责任，覆盖数据采集、模型训练、内容分发各环节；将AI异常内容传播、模型行为偏离等指标纳入“一网统管”感知体系，借助大数据比对实现风险的早发现、早预警、快处置；与上海公安“专业+机制+大数据”新型警务运行模式协同，让城市治理的“智慧大脑”能够感知到安全的末梢。

*提升全民数字素养

技术能筑墙，但最可靠的“防火墙”始终是清醒的人。面向社区、校园、企业分层次普及AI换脸识别、大模型幻觉辨别等基础知识，让中老年人不被AI换脸轻易蒙骗，让青少年不被信息茧房裹挟。让真相跑得比谣言快一些，让清朗的网络生态成为市民可感、可及的日常福祉。

总之，在信息奔涌的巨变时代，营造一张坚不可摧又富有弹性的网络生态免疫网，归根到底是让人民群众在数字空间中不因信息迷雾而迷失，不为技术黑箱而彷徨，让每一个网络空间的参与者都能成为安全的受益者与守护者。

上海各区举办帮助老年人识别AI换脸等培训班 上海市民政局网站

放在“十五五”全局审视，上海的先行探索彰显了排头兵、先行者的治理自觉：在认知上跳出“为安全放慢发展”的二元对立，把纯净可信的数字生态，化作最优营商环境的核心底色；在方法上立足AI产业集聚、要素高度联通的超大城市特征，提炼可复制、可推广的系统治理经验；在路径上摒弃“放任自流与过度管制”的两端摇摆，走出一条“开放中筑牢免疫、发展中守住安全”的治理新路。这既是上海为自身超大城市治理现代化蹚出的新路子，也是为网络空间命运共同体贡献的一抹“上海亮色”。

（作者：于智慧 上海政法学院马克思主义学院副教授，网络舆论与意识形态安全研究中心副主任，上海市哲社专项课题“十五五”时期上海网络意识形态风险研判与舆情治理效能提升研究（2026VQH041）负责人）