锐知 - 全球认知雷达从最强到最省：杰夫·迪恩谈前沿模型、蒸馏与延迟
迪恩认为前沿模型用来发现新能力和暴露短板，轻量模型用来承载低延迟、大规模的日常需求。两者不是二选一，因为蒸馏需要先有强模型，普及需要后有便宜模型。对需要规划模型选型的人，这提示同时跟踪上限突破和单位成本下降。
这次对谈的主角是谷歌首席 AI 科学家杰夫·迪恩，话题围绕 Gemini 系列如何同时守住两端：一端是不断前移的最强模型，另一端是便宜、快速、能大规模部署的轻量模型。主持人把这称为守住前沿，也守住前沿的下限。迪恩的回答很直接，两者都要，而且两者互相依赖。 在他看来，前沿模型的价值在于看到新的能力。半年前或一年前做不到的数学、推理和复杂任务，现在可能做到了。只有把上限推高，团队才知道哪里会失效，下一步该补什么。而轻量模型的价值在于覆盖更广的使用场景，比如智能体编程、搜索中的 A
来源：youtube 原始内容