他14岁就站上了中国开源年会的舞台,做过5分钟“闪电演讲”;他和伙伴陈广宇等人共同创办了中国首个青少年开源社区“OPEN TEENS”;他还完成了微软ATP大学生级AI项目,入选腾讯犀牛鸟,参加过麻省理工学…
全国首个AI高中诞生:校园每个角落都能一键导航
这项成果受到关注,不仅因为作者名单中出现了一名高中生,且位列共同一作,也因为它触及了大模型一块长期沿用、却较少进入公众视野的底层结构。对这名来自深圳的17岁少年而言,比起被写成“天才”,他更希望外界看到的,…
问题来了,在大模型PreNorm主流范式下,残差连接中所有层的贡献都是等权累加。 诚然Attention Residuals是团队协作取得的成果,但一名高中生出现在这样的团队之中,还与两位大神共列一作,已经…
用了这套新方法后,模型在计算当前层时可以聪明地“回头看”,根据需要自由决定去提取前面哪一层的信息。问题来了,在大模型PreNorm主流范式下, 残差连接中所有层的贡献都是等权累加。 有一次他在推特上分…
创始人0代码基础
04/01 16:41
10/31 16:58
10/31 16:56