北京商报讯(记者 胡永新)7月31日,由北京商报社、深蓝媒体智库主办的“AI金融双刃剑:从安全底线寻找转型机遇沙龙”在上海成功举办。
“传统机器人智能化程度不高,已不能满足业务与客户诉求。自去年起,公司持续关注DeepSeek、文心一言等大模型技术发展,今年决定着手自主搭建基于大模型的客服系统。”晓花(上海)互联网科技有限公司CTO吴淏在沙龙上表示,为解决“幻觉”问题,公司采用“大模型+小模型”混合架构:通过小模型快速处理常规问题,大模型则专注于复杂场景。从具体流程来看,用户提问后,系统进行智能决策,对可处理问题,进行问题改写与混合检索,通过重排序算法生成候选答案,最终推送知识库标准答案。系统上线一个半月以来,日均排队量减少2000—3000次,首轮问题识别率从50%提升至70%—80%,有效降低用户因等待产生的负面情绪,同步减少后续客诉。
在吴淏看来,大模型存在自身稳定性风险、“幻觉”风险和新模型上线时的稳定性风险等。其中,为应对大模型的“幻觉”风险,不应让大模型自由发挥,而是将其强大的语言能力限制在可控、可信的知识范围内。核心策略为,使用RAG(检索增强生成),限定在业务知识库中寻找答复。通过精细化Prompt(提示),明确角色和指令,提供反例。并使用经验话术精调模型,让模型适应业务场景的风格和行为模式。最后,对输出结果进行质检,避免输出不合规或错误的信息。