11月2日,据百灵大模型消息,蚂蚁集团宣布开源万亿参数高性能强化学习权重交换框架Awex。
据介绍,今年10月,蚂蚁百灵正式开源了两款万亿参数旗舰模型,包括非思考的Ling-1T和思考模型Ring-1T。
其中Ring-1T基于其自研的高性能权重交换框架Awex(Asystem Weight Exchange Framework),实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。
11月2日,据百灵大模型消息,蚂蚁集团宣布开源万亿参数高性能强化学习权重交换框架Awex。
据介绍,今年10月,蚂蚁百灵正式开源了两款万亿参数旗舰模型,包括非思考的Ling-1T和思考模型Ring-1T。
其中Ring-1T基于其自研的高性能权重交换框架Awex(Asystem Weight Exchange Framework),实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。
免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
热门推荐