近日，复旦大学经济学院举行“南土国际金融政策圆桌会第12期”暨“迎接AI时代系列”第1期。本次会议以“AI时代的金融人才核心竞争力：基于金融实务工作的思考”为主题，邀请业界专家和学界教师共同讨论人工智能对金融行业和人才培养的影响。复旦大学计算与智能创新学院副教授曾剑平从人工智能安全角度指出，AI进入金融场景后，不只是效率工具，也会带来新的风险结构。未来金融人才不仅要理解传统金融风险，也要具备基本的AI安全素养。

曾剑平表示，自己长期关注人工智能安全问题。随着AI越来越多地进入金融行业，AI系统自身的数据、算法、模型和应用风险，正在与传统金融风险发生叠加。过去金融行业主要讨论信用风险、市场风险、操作风险等问题；而在AI深度嵌入金融业务之后，风险来源进一步扩展到数据层、算法层、模型层和应用层。金融行业高度依赖数据、模型和自动化流程，一旦AI系统被攻击、误导或错误调用，其影响可能通过金融业务链条传导，形成更隐蔽、更复杂的风险。

在数据层面，曾剑平指出，AI模型训练依赖大量数据，其中相当一部分来自互联网和公开信息。数据一旦被采集、清洗、整合并进入模型训练过程，后续删除和追溯并不容易。这意味着数据投毒、隐私泄露和数据关联风险都可能被放大。在金融场景中，信用评估、欺诈检测、客户画像和风险识别等任务都高度依赖数据，如果训练数据被污染或包含偏见，模型输出就可能带来错误判断，甚至对不同客户和企业形成不公平结果。

在模型层面，曾剑平强调，模型幻觉在短期内难以被彻底消除。从技术原理看，大语言模型本质上是一种概率模型，它根据既有数据和上下文生成高概率答案，但高概率并不等于事实正确。输入数据如果存在偏斜、缺失或被操纵，输出结果就可能出现偏差。对金融行业而言，这种偏差并非一般性的文本错误，而可能影响投研判断、风险评估、交易执行和客户服务。因此，金融从业者不能因为AI能够给出答案，就削弱基础知识训练和独立判断能力。

曾剑平特别提醒，当前社会上存在一种误解，即认为大模型出现后，传统知识学习变得不再重要。他认为，这种看法并不成立。没有知识基础，就难以形成真正的判断力；没有判断力，就无法识别AI回答的大方向是否正确。对学生而言，AI不应成为逃避基础训练的理由。相反，越是在AI广泛应用的环境中，越需要通过金融学、统计学、计算机和数据安全等基础知识，建立判断AI结果是否可信的能力。

谈及AI安全风险与金融风险的关系，曾剑平指出，AI带来的偏见、隐私、责任归属和系统依赖等问题，可能与传统金融风险相互叠加。例如，AI模型在贷款、投资、风险预警等场景中的偏见，可能通过信息不对称影响信用风险传导；同一模型或同一接口被广泛使用，也可能带来集中暴露和连锁反应。随着AI模型在更多业务环节铺开，每一个模型、接口和应用节点都可能成为潜在风险入口。因此，对AI风险的管控不应等到问题大规模暴露后才开始，而应在应用扩张早期就纳入治理框架。

在应用层面，曾剑平还以智能体调用网页数据的实验为例说明，当前AI Agent并非在所有场景中都可靠。对于一些看似简单的任务，如从特定网站抓取实时行情信息，智能体可能因为网页结构、接口标准和调用路径不统一而失败，甚至消耗大量Token却无法得到有效结果。这说明，AI智能体的能力受制于数据接口、标准化程度、预算条件和容错空间。可重复、标准化、预算充足的任务，可以逐步交给智能体；但对预算敏感、容错率低、需要精确执行的任务，仍然需要人进行结构化设计、过程监督和最终把关。

以下为曾剑平发言全文（已经本人审定）：

我主要从AI安全的角度谈一点看法。因为我是做人工智能安全相关研究的，所以看这个问题时，会更多关注AI进入金融场景以后带来的风险结构变化。AI不是简单的效率工具，它进入金融以后，会和传统金融风险发生叠加。

金融行业原来讨论比较多的是信用风险、市场风险、操作风险等传统风险。但如果从技术角度看，AI系统本身也有一整套风险，包括物理层、数据层、模型层、算法层、应用层等不同层面的风险。AI进入金融业务后，相当于给风险打开了新的路径，也为攻击者提供了新的入口。

首先是数据层面的风险。AI模型训练依赖大量数据，金融场景中很多任务也依赖数据，比如信用评估、金融欺诈检测、客户画像、交易监控等。如果训练数据被污染，或者输入数据被攻击者有意操纵，模型输出就可能出现偏差。所谓数据投毒，就是在数据源头上影响模型，使它在特定场景下给出错误判断。

数据隐私也是很重要的问题。现在国家非常重视数据安全和个人信息保护。AI模型训练和调用过程中，可能会涉及大量个人信息、交易信息和机构数据。数据一旦进入训练或推理流程，后续如何追溯、如何删除、如何保护，都不是简单问题。金融行业本身对数据敏感度很高，所以AI应用必须特别重视数据合规和隐私保护。

其次是模型层面的风险。大语言模型本质上是概率模型，它根据上下文生成概率上更可能出现的答案。概率高不等于事实正确。如果输入数据有偏斜，或者问题设计本身存在诱导，模型就可能给出看起来合理但实际错误的结果。这也是为什么大模型会出现幻觉。

现在有一种倾向，认为有了大模型以后，传统知识学习就不重要了。我认为这是错误的。一个人如果没有知识，就很难拥有真正的判断力。没有判断力，就无法判断AI给出的答案大方向是否正确，也无法识别它在哪些细节上可能出错。对于学生来说，基础知识不是可以被AI替代的东西，而是你使用AI、判断AI和纠正AI的前提。

模型偏见也是需要注意的问题。如果训练数据本身包含偏见，或者数据样本不均衡，模型输出就可能产生不公平结果。在金融场景中，这可能影响信用评估、客户分类、风险定价等环节。如果这类偏见不能被发现和校正，就可能进一步影响金融公平和风险管理。

此外，还有责任归属和系统依赖问题。AI模型输出错误以后，责任由谁承担？是模型提供方、系统开发方、金融机构，还是具体使用人员？在金融业务中，责任链条必须清楚。否则，一旦AI参与投研、交易、风控或客户服务，出问题以后很难界定责任。

这些AI风险会和传统金融风险叠加。比如数据偏差可能带来信息不对称，模型误判可能影响信用风险，系统集中使用同一模型或同一接口，可能形成新的集中性风险。随着AI在金融中的应用越来越广，每个模型、接口和智能体都可能成为风险入口。对这些新型风险的管控，不能等到大规模问题出现以后才开始，而要在应用初期就纳入治理框架。

因此，我认为金融学生和金融从业者需要具备基本的AI素养。你使用AI，如果对它的原理、假设和边界完全不了解，心里其实是没有底的。很多AI系统背后都有模型假设，但这些假设未必会明确告诉使用者。使用者如果不知道模型基于什么数据、适用于什么场景、可能有什么偏差，就很容易过度相信AI结果。

比如我们用AI处理数据时，模型可能会在两个变量之间发现某种关系。但这两个变量本来可能并没有真实关系，只是在样本里出现了偶然相关。AI如果把这种关系当成规律，输出结果就会误导使用者。金融场景中这种误判可能非常危险，因为它可能进入投资、授信、风控或交易决策。

我还想通过一个智能体的例子说明AI能力边界。我们曾经尝试让浏览器插件或AI智能体去调用网页信息，完成一些看似并不复杂的数据获取任务。比如让它去某个网站获取实时行情，理论上它可以通过浏览器、网页和一些程序接口来完成。但实际操作中，它并不总能像人一样先分析网页结构，再找到对应字段，把数据抓取出来。它尝试了很多网址和方式，消耗了不少Token，最后效果并不理想。

这说明，AI Agent并不是无所不能的。它的能力取决于底层模型、工具接口、网页结构、数据标准化程度和任务设计方式。如果有稳定API接口，任务又是重复性的，它可能做得比较好；但如果需要临时理解网页结构、跨多个系统调用数据，或者容错率很低，它短期内未必可靠。

所以，我的一个基本判断是：在预算充分、任务重复、流程相对标准化的情况下，可以逐步把部分工作交给智能体；如果预算不足、容错率低，或者任务需要嵌入具体项目和复杂业务判断，就不能简单交给AI，而要由人进行结构化设计、过程监督和最终把关。

总的来说，AI时代的金融人才培养，不能只强调会不会用某个工具，更要理解AI系统的数据、模型、接口和应用边界。金融学生既要掌握金融专业知识，也要理解AI基本原理和安全风险。只有这样，才能真正知道哪些事情可以交给AI，哪些事情必须由人判断，哪些风险需要提前防范。