微调之外:能自我进化的推理支架
微调把能力绑定在某个具体模型版本上,新模型发布后优势容易消失。支架路线把能力沉淀在上层系统里,换模型时可复用。理解这一取舍,有助于在立项时评估长期维护成本。
在大模型上做产品的人,几乎都遇到过同一个尴尬:刚花大力气把模型调好,新一代基础模型发布,效果就被超过了。此前的投入要不要继续追加,团队要不要推倒重来,都成了难题。 Poetic 联合创始人兼联席 CEO 伊恩·费舍尔在访谈中提出的思路是,不再把赌注压在微调某一个具体模型上,而是做一层可以复用的推理系统。他把这层系统比作高跷,踩在基础模型之上,模型换了,高跷还在,甚至能站得更高。 微调为什么让人为难 费舍尔曾在谷歌 DeepMind 做过约十年研究,此前还创办过移动开发工具公司
来源:youtube 原始内容