在Y Combinator举办的Startup School活动中,谷歌首席科学家Jeff Dean与YC管理合伙人Diana Hu展开了一场深入对话,探讨了AI创业者在基础模型能力不断增强的背景下如何寻找机会。Jeff Dean指出,尽管大型科技公司在基础模型和硬件设施上占据优势,但初创团队仍有机会通过聚焦特定领域实现突破。
Jeff Dean强调,创业者应关注通用模型当前几乎无法完成的任务,而非那些已有20%成功率的领域。他提出"1%法则":寻找模型成功率为0%或1%的问题,这些领域往往因数据获取困难或任务复杂度高而被大公司忽视。例如,企业内部的业务数据、个人用户的私密文件等,都是基础模型难以直接利用的资源。初创团队可以通过开发专用工具或训练小型专用模型,在这些领域建立竞争优势。
在硬件层面,Jeff Dean预测推理将成为AI发展的新瓶颈。随着模型大规模应用,降低推理延迟和能耗变得至关重要。他以谷歌TPU的开发为例,说明专用硬件需在通用性和性能间取得平衡。第一代TPU设计时Transformer尚未出现,但其通用计算架构仍能支持后续模型发展。这种设计理念对当前推理硬件开发具有借鉴意义。
关于Agent技术的演进,Jeff Dean认为长期运行能力将成为关键。他分享了与Sanjay Ghemawat合作优化底层代码库的经验:通过将人类工程师的调试流程转化为模型可执行的"技能",显著提升了优化效率。这种上下文工程方法表明,基础模型能力不变的情况下,通过专业经验的结构化整理,也能提升特定任务表现。Jeff Dean预测,到2027年,机器学习系统将具备更大程度的自我改进能力。
面对AI自动化带来的挑战,Jeff Dean指出创业者需具备两项核心能力:清晰定义任务和准确选择问题。他以知识蒸馏技术的发展为例,说明即使面对评审质疑,坚持解决实际问题的研究也能产生重大影响。对于团队组建,他建议选择技能互补且愿意长期合作的成员,使团队能完成个人难以实现的任务。
这场对话为AI创业者提供了新思路:在通用模型快速发展的背景下,通过聚焦特定数据、开发专用工具或训练小型模型,仍能在细分领域建立优势。关键在于准确判断模型能力边界,将人类专业知识与AI技术有效结合,解决通用模型难以触及的问题。





京公网安备 11011402013531号