dwarkeshpatel

来自 dwarkeshpatel 的公开洞察。

• 重做AlphaGo：自对弈、强化学习与大模型未来的启示

  围棋的搜索难在广度和深度两个维度：合法点多、终局远。AlphaGo用策略网络剪广度，用价值网络截深度，把不可穷举的树变成可采样的稀疏树。理解任何搜索增强系统时，可先问它分别用什么机制处理广度和深度。

• 批量、显存与机架：大模型推理成本的真实决定因素

  延迟下界来自把总参数读一遍，成本下界来自计算。批量小时延迟几乎不变但成本极高，批量增大后权重成本被摊薄，最终由计算决定。慢速模式省不下多少，因为键值缓存和计算无法跨批量摊薄。

• 自底向上看芯片：从逻辑门到脉动阵列

  芯片底部分别是与或非门与金属连线，AI 负载的核心是矩阵乘法。抓住这一层，就能理解后面所有面积与带宽讨论的起点，适合用来建立自底向上的框架。

• AI 中心的数据黑洞：模型变强，靠的仍是海量数据

  样本效率衡量达到胜任所需的数据量。作者认为近年进步主要来自数据分布拓宽和算力投入，而非单位数据的学习效率提升。理解这一点，有助于判断模型能力来自哪里，而不是把一切归于架构神话。