以光速做推理:英伟达如何像创业公司一样运转
嘉宾把质量、成本、速度看作联合约束:模型选多大、思考多长、重试几次、工作流多复杂,都会同时影响三者。Dynamo 的价值在于提供运行时旋钮,让团队在满足时延 SLA 的前提下找最低成本配置。实践中可先固定 SLA,再小步试验并行度和部署形态,而不是寻找一次性公式。
这次对谈发生在英伟达 GTC 前夕,对话者是 Brev 的两位创始人 Nader 和 Alec,以及做 Dynamo 推理系统的 Kyle。话题从创业摆摊、被收购,到推理引擎、智能体安全,主线只有一条:在模型、调用量和工作流都在膨胀时,工程组织怎么保持速度,又不把系统搞垮。 从 Brev 到英伟达:把开发者体验做宽 Brev 最早只解决一件事:让开发者尽快 SSH 到一块 GPU。当时公有云要填几页表单,A100 藏在下拉框的奇怪代码里。他们的做法是把用户要的卡放在页面最大、
来源:youtube 原始内容