“过去,美国和中国的大模型遥遥领先于其他所有对手,但如今情况已不复存在。”说这句话的是韩国 AI 初创公司 Upstage 的创始人兼 CEO 金成勋(Sung Hun KIM)。
图 | 金成勋(https://www.upstage.ai/blog)
近日,该公司获得了 4500 万美元的投资(约合人民币 3 亿元),投资者包含亚马逊和 AMD 等,这使得该公司的总融资额达到了 1.57 亿美元。金成勋表示:“我们仅使用其他公司 10% 数量的 AI 芯片,就打造出了一款顶尖前沿大模型,成本效率远超同行。”该公司所研发的名为 Solar 的系列大模型,也被《金融时报》认为性能能够媲美中美两国的先进大模型,并被认为有希望代表韩国进军全球 AI 竞赛。与此同时,该公司也致力于帮助韩国实现“在全球 AI 竞赛中弥补差距”的目标。
据了解,金成勋出生于韩国,博士毕业于美国加利福尼亚大学圣克鲁斯分校。博士毕业之后,他曾在韩国互联网软件公司奈良视觉有限公司(Nara Vision Co. Ltd)担任 CTO 6 年左右。后在香港科技大学担任副教授一职将近 14 年。2020 年,他在韩国创办 Upstage 公司并担任 CEO。目前,其谷歌学术的 H 指数达到 58。
(https://scholar.google.com/citations?hl=zh-CN&user=)
有意思的是,金成勋此前的工作经历主要在中国香港完成,在中国的工作经历想必也为他的创业带来了一定助力。
(https://seng.hkust.edu.hk/about/people/faculty/sung)
露西·帕克(Lucy Park)是该公司的另一位联合创始人,其博士毕业于韩国首尔科技大学,目前是该公司的首席产品官。
图 | 露西·帕克(Lucy Park)(https://www.lucypark.kr)
该公司于 7 月推出的 Solar Pro 2 模型,已成为韩国首款被独立基准测试分析机构 Artificial Analysis 认定为“前沿模型”(frontier model)的大模型。
根据 Artificial Analysis 的智能指数,Solar Pro 2 在多项基准测试中的综合得分高于 Anthropic 的 Claude 3.7 Sonnet Thinking、DeepSeek 的 V3 以及 OpenAI 的 GPT-4.1——排名仅次于全球前十的前沿模型。
金成勋强调,尽管 Solar Pro 2 的“参数”仅为 300 亿,但性能已超越多家老牌企业的模型。他表示,公司之所以能实现这一突破,是因为采用了名为“深度扩展”(DUS,Depth-Up Scaling)的训练方法:通过对基础模型进行信息层的移除与新增,在计算效率与模型性能之间找到了平衡。该方法包含深度维度扩展与持续预训练两个核心环节。与其他采用专家混合(MOE,Mixture-of-Experts)技术的大模型扩展方法不同的是,深度扩展方法无需进行复杂调整,即可实现高效的训练与推理。实验结果表明,深度扩展方法虽然原理简洁,但能有效将小型高性能语言模型扩展为更大规模的模型。经深度扩展方法扩展的模型无需额外模块(如门控网络、动态专家选择模块)。因此,使用深度扩展方法扩展的模型具备以下特点:首先,无需为实现最优训练效率而设计专属训练框架;其次,无需为实现快速推理而依赖专用 CUDA 核函数。最终,经深度扩展方法扩展的模型可无缝集成到现有训练与推理框架中,同时保持较高效率。值得注意的是,深度扩展的相关论文也是金成勋目前引用量最高的论文。
图 | 相关论文(https://arxiv.org/pdf/2312.15166)
据了解,Solar Pro 2 擅长为金融、法律、医疗领域的企业处理复杂计算任务,目前已被英特尔以及三星、韩华(Hanwha)的保险子公司采用。该公司还表示,五家“美国大型保险公司”也有意引入该模型,以辅助核保流程。
图 | Solar Pro 2(https://www.upstage.ai/blog/en/sola)
前沿模型的参数规模通常在 1000 亿至 2000 亿之间,这意味着它们需要更强的计算能力来完成运算。在 Artificial Analysis 最新指数中排名第一的 xAI 公司 Grok 4 模型,参数规模更是高达 1.7 万亿。而 Solar Pro 2 不仅在韩语处理方面较为出色,它在关键基准测试中,性能超越了许多参数规模大得多的模型。该公司在公司官网博客中写道:“Solar Pro 2 充分证明,小型模型依然可以引领行业发展。”
在 Ko-Arena-Hard-Auto 基准测试中,Solar Pro 2 的性能与 GPT-4、Claude 3 相当。这一结果凸显出,即便在复杂的对抗性场景中,Solar Pro 2 也能生成自然且准确的响应,具备与顶尖模型抗衡的能力。
除在 Ko-Arena-Hard-Auto 基准测试中表现突出外,Solar Pro 2 在各类通用韩语自然语言处理任务中均展现出稳定性能。它在 Ko-MMLU、Hae-Rae、Ko-IFEval 等关键基准测试中稳居领先地位。从文本摘要、翻译,到文档理解与开放式问答,在各类任务中,它均能与参数规模大得多的顶尖模型相媲美,甚至实现性能超越。其优势还覆盖韩语专业领域,可处理法律、金融、医疗等领域的文本内容。
该公司在官方博客中写道:“Solar Pro 2 不仅在韩语及其他语言的理解上表现卓越,其设计目标更超越了‘预测下一个词’的基础功能。”凭借多步推理能力与高精度分析能力,Solar Pro 2 可应对复杂数学计算、文档摘要、逻辑推导等各类任务。
当开启高级推理模式(Advanced Reasoning Mode)时,Solar Pro 2 在各类复杂任务中均展现出较好能力。配套基准测试表中的数据清晰表明,它在以下领域的性能优势显著:
能够提升多步任务处理性能,在 MMLU、MMLU-Pro、HumanEval 等通用推理基准测试中均取得优异成绩,可为此提供佐证;擅长解决高级数学问题,在 Math500、AIME(以复杂数学推理著称的基准测试)等测试中表现突出;在复杂代码编写与软件工程任务中能力强劲,在 SWE-Bench Agentless 等基准测试中的成绩可印证这一点;实现了极高的“每参数推理效率”。
尽管 Solar Pro 2 仅为 310 亿参数模型,但其性能可与参数规模超自身两倍以上的模型抗衡。与此同时,Solar Pro 2 针对“与外部工具进行智能交互”进行了优化。它不仅能够理解语言,更能模仿人类行为模式,比如与环境交互、自主思考、执行必要功能。
金成勋认为,这一突破意味着韩国已跻身“拥有先进 AI 模型的少数国家”行列。目前,除了美国的 OpenAI、谷歌等行业领军企业,以及中国几家公司之外,全球拥有世界级前沿模型的机构寥寥无几,其他仅包括法国的 Mistral 以及中东地区由政府支持的 AI 企业。其认为,韩国老牌科技企业此前在 AI 领域“过于谨慎,错失良机”,而 Upstage 的成就已让韩国重新回归“研发超人类智能机器”的竞赛赛道。另据悉,Upstage 计划在未来一年内研发出一款参数规模达 1000 亿的新模型。
参考资料:
https://www.linkedin.com/in/hunkimup/
https://arxiv.org/pdf/2312.15166
https://www.lucypark.kr/
https://seng.hkust.edu.hk/about/people/faculty/sung-hun-kim
https://scholar.google.com/citations?hl=zh-CN&user=JE_m2UgAAAAJ&view_op=list_works&sortby=pubdate
运营/排版:何晨龙