科技

告别知识截止日:谷歌让 AI 学会“睡觉”,边用边学还不忘旧知识

来源: IT之家 · 发布于

分享:
告别知识截止日:谷歌让 AI 学会“睡觉”,边用边学还不忘旧知识

IT之家 10 月 30 日消息,谷歌研究团队于 10 月 27 日发布博文, 介绍一项名为“睡眠框架”(Sleep Framework)的持续学习研究成果,试图解决大语言模型发布后知识固化、难以吸收新信息的难题。 该研究已于 10 月 27 日由 Google Research 公开,相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。 谷歌指出在通常情况下,当前主流大模型在完成预训练后便进入相对静态的部署状态,其知识存在“截止日期”;若依赖上下文学习,新信息又会随会话结束而丢失。若直接用新数据反复微调,则容易引发“灾难性遗忘”,而模型学会新知识后,原有能力显著下降。…

要点

  • IT之家 10 月 30 日消息,谷歌研究团队于 10 月 27 日发布博文, 介绍一项名为“睡眠框架”(Sleep Framework)的持续学习研究成果,试图解决大语言模型发布后知识固化、难以吸收新信息的难题。
  • 该研究已于 10 月 27 日由 Google Research 公开,相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。
  • 谷歌指出在通常情况下,当前主流大模型在完成预训练后便进入相对静态的部署状态,其知识存在“截止日期”;若依赖上下文学习,新信息又会随会话结束而丢失。若直接用新数据反复微调,则容易引发“灾难性遗忘”,而模型学会新知识后,原有能力显著下降。…

相关报道

阅读原文 ↗

本站为新闻聚合平台:仅展示标题与简短摘要,并附上原文链接,不转载全文。