锐知 - 全球认知雷达寻找 Transformer 之后：为持续学习重建架构与实验室
两人认为行业已跑通大规模预训练和大规模强化学习，继续加参数只能延续注意力加混合专家的老路。下一步要回到架构本身，思考什么样的模型才能在部署中持续学习。这对读者的用途是：判断技术路线时，先看团队是否在回答测试时学习问题，而不只看参数和榜单。
为何要先理解 Transformer 的强大 踢足球和学数学都是从经验中学习，但方式完全不同：前者靠不断试错、微调动作，接近强化学习；后者靠在脑中反复咀嚼硬概念，直到融会贯通。如今我们把前所未有的算力投入从经验中学习，但强化学习并非终点，未来几年一定会出现更好的利用数据的方法。 Jerry曾说，取代Transformer的第一步，是深刻理解它把我们带了多远。这不是悼词，而是要看清它的形状：它擅长什么、弱在哪里。多数架构工作只想让Transformer更便宜、更高效，很少有人想
来源：youtube 原始内容