科技

商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数大小模型

来源: IT之家 · 发布于

分享:
商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数大小模型

IT之家 11 月 1 日消息,商汤科技 10 月 30 日宣布开源商汤日日新 SenseNova Loop-9B-Preview。 官方表示,该模型采用 Looped Transformer 架构,引入循环计算、扩展模型的有效计算深度,并探索更充分的信息交互机制,提升模型在复杂任务上的处理能力,在仅 9B 的有限参数规模下, 媲美 27B 参数大小模型 。 SenseNova Loop-9B-Preview 以 9B 尺度模型为基座,保留首尾各 4 层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入 mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。…

要点

  • IT之家 11 月 1 日消息,商汤科技 10 月 30 日宣布开源商汤日日新 SenseNova Loop-9B-Preview。
  • 官方表示,该模型采用 Looped Transformer 架构,引入循环计算、扩展模型的有效计算深度,并探索更充分的信息交互机制,提升模型在复杂任务上的处理能力,在仅 9B 的有限参数规模下, 媲美 27B 参数大小模型 。
  • SenseNova Loop-9B-Preview 以 9B 尺度模型为基座,保留首尾各 4 层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入 mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。…

相关报道

阅读原文 ↗

本站为新闻聚合平台:仅展示标题与简短摘要,并附上原文链接,不转载全文。