研究指出，当前模型训练过程中，评估标准更倾向于奖励“自信回答”，即使答案错误也能获得较高分数。这种机制导致模型被优化为“考试型选手”，在面对不确定问题时倾向于猜测而非承认“不知道”。研究团队呼吁行业建立更符…
OpenAI已将AI的“性格”视为技术演进的核心要素。
研究团队在最新论文中指出，现有训练机制导致模型倾向于"假装知情"。这种设计源于评估体系对"完整回答"的过度奖励，使得模型在信息不足时仍会强行输出内容。这种机制迫使系统将复杂现实简化为非此即彼的判断，而忽略了…...
近日，据海外科技媒体《商业内幕》报道，OpenAI研究团队在解决大语言模型核心缺陷方面取得突破性进展——通过重构评估体系，成功缓解了困扰行业的“幻觉”问题。这种倾向源于评估体系对猜测行为的过度奖励——模型若拒…
研究人员指出：“人类会在现实生活的挫折中学会表达不确定性的价值，而大语言模型的评估主要依赖考试，这些考试却惩罚了不确定的回答。”“问题的根源是评估指标没有对齐，必须调整主要的评分方式，避免在模型不确定时因拒…
AI一本正经地胡说八道，原来是我们教的。
模型被训练成“装作知道”，而不是坦率地说“我不确定”。
10/31 16:58
10/31 16:56
10/31 16:55
京公网安备 11011402013531号