
文/六神磊磊
01
张一鸣肯定是看过《天龙八部》的。
以前的报道里,好像只说他看《神雕侠侣》。但从最近的发声看,应该是金庸小说都看了,包括《天龙八部》。
前不久他少见地发声,说拒绝“蒸馏”,字节的大模型seed不能以蒸馏的方式追赶大语言模型,而且还要对蒸馏搞自查。
这非常像金庸小说里的,不想练吸星大法,要憋北冥神功。
暴露了,原来是逍遥派。
有一说一,所谓“蒸馏”,是一种已比较通用的AI发育手段,连心照不宣都谈不上了,并不是什么万恶的魔功。
它就是相对高级、复杂的抄作业,或者说“吸星大法”,先和别家的大模型老师去交互,让对方对大量数据进行推理,再记录下对方“运功”的逻辑、概率等,然后自家的模型去针对性地学习、训练,把对方的门道“吸”过来。
这样就能够以小搏大,极大提升发育速度。
张一鸣的表态是不留余地的,说闭源的不能蒸馏,开放权重的也不能蒸馏。换句话说,能吸的不吸,不让吸的我们更不吸。
02
吸星大法,其实见效是很快的,令狐冲就练过,一跃拥有了顶级内力。
但是金庸写得清楚,这门武功有隐患,吸过来的内力要反噬。
典型的就是任我行,作为蒸馏大师,他被反噬也最厉害,吸来的一肚子异种真气无法消化,每天头昏脑胀,被东方不败给伺机推翻。
比喻到现实里,就是蒸馏可能导致的种种问题。
一个是张一鸣没说、但可能存在的风险,就是合规风险,可能被人揪辫子。
前不久,美帝的AI公司Anthropic在官博贴了个“江湖告示”,指控几家AI公司对其Claude模型实施了吸星大法,原话是“工业规模的蒸馏攻击”。被吸的Claude,就是著名的“龙虾”的后台。
被专门点到的AI公司里,中方的MiniMax被指交互规模最大,超过1300万次。
这是字节要规避的。它要顾及TikTok,等于小师妹还在人家手上,不愿授人以柄。
另一个则是张一鸣可能最不想看到的,依赖“蒸馏”,速度追上去了,但可能失去试错、探索、深度训练的机会,只能追赶已知目标。那不符合他的野心。
03
重申一下,是否“蒸馏”,我觉得至少目前还不是什么商业道德问题。
吸星大法和北冥神功,当前也没有纯粹意义上的哪个绝对好、哪个绝对不好。令狐冲练过吸星大法,但令狐冲是好人;逍遥派里很多老鬼练过北冥神功,却不见得都是好人。
这只是一种路径的选择,别家希望先迎头赶上、抢占先机,而张一鸣想要一个更远的远方。好比修士破境,有的选择服药辅助,有的选择自己硬憋,还有的选择双修。
都是路径选择。能双修,那也是本事。
可以落后,但绝对不蒸馏,这话因为是张一鸣说的,本身也很有气魄,也符合当前我们非常渴望原创的心态,所以招致一片叫好。
但事实上,对他和字节来说,乃至别家的ai来说,没有意义的恰恰就是我们这些外行人的叫好。因为那是他们自己作出决定,也自己承担代价。
决策成功了,我们就能找到例子说他如何明智,“长期主义的胜利”;决策不成功,也能找到例子说如何贻误战机——敌人都打来了,你放着吸星大法不用,非要去闭关?
你看,两头堵。反正金庸小说例子多,正面反面都有。倘若人家原创不成功,我们风凉话说完了,事后诸葛当完了,然后就拍拍屁股去用千问或kimi。
04
听说字节内部,呼吁“蒸馏”的声音一度也是很大的。
按我个人的理解,为什么在绩效压力下,还要憋北冥神功,自己从头来?我只能从文科生的经验里去设想。
比如写一本书,我就不能找现成的提纲、思路,自己只填充资料。
一次次失败、钻死胡同的过程,推倒、自我否定的过程,都是很宝贵的财富,它会给你对这个领域的更深的理解。
每一次总结,一次随笔的记录,一次灵感小火花的迸发,都是有意义的。
听出来没,我在巧妙解释为什么《唐诗笑忘书》难产。
还有就是,你自己摸索过,无意踩过的一片区域,也许就会导向更大的远方。而假如全部坐缆车上去,确实快很多,但你的未来永远是别人登顶过的未来。
我不是教AI公司们做事,只是试图理解。
反正不管北冥神功,还是吸星大法,不是化功大法就好了。把人化了,自己啥也没有。
但转念一想,好像那也挺爽?





京公网安备 11011402013531号