科技
商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数大小模型
来源: IT之家 · 发布于

IT之家 11 月 1 日消息,商汤科技 10 月 30 日宣布开源商汤日日新 SenseNova Loop-9B-Preview。 官方表示,该模型采用 Looped Transformer 架构,引入循环计算、扩展模型的有效计算深度,并探索更充分的信息交互机制,提升模型在复杂任务上的处理能力,在仅 9B 的有限参数规模下, 媲美 27B 参数大小模型 。 SenseNova Loop-9B-Preview 以 9B 尺度模型为基座,保留首尾各 4 层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入 mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。…
要点
- IT之家 11 月 1 日消息,商汤科技 10 月 30 日宣布开源商汤日日新 SenseNova Loop-9B-Preview。
- 官方表示,该模型采用 Looped Transformer 架构,引入循环计算、扩展模型的有效计算深度,并探索更充分的信息交互机制,提升模型在复杂任务上的处理能力,在仅 9B 的有限参数规模下, 媲美 27B 参数大小模型 。
- SenseNova Loop-9B-Preview 以 9B 尺度模型为基座,保留首尾各 4 层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入 mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。…
相关报道
- 小米澎程少量 N70 现车可选:享 3 年 0 息 / 5 年分期前 3 年 0 息等方案
IT之家 · 2026年11月1日 01:57

- 高通发布骁龙 X 系列 PC 处理器 Windows 显卡驱动,改进多款游戏体验
IT之家 · 2026年11月1日 01:54

- 搜狐张朝阳:短剧不会把长剧的需求完全侵蚀掉
IT之家 · 2026年11月1日 01:44

- 全新奖励计划海外推出后,曝特斯拉砍掉买车推荐奖励
IT之家 · 2026年11月1日 01:35

- 《影之刃零》初体验:快意恩仇武侠路,NVIDIA DLSS 4.5 来相助
IT之家 · 2026年11月1日 01:32

- 砺算 LX 7G100 显卡获推 Windows 驱动 30.0.2260.896,修复《影之刃零》启动问题
IT之家 · 2026年11月1日 01:29

本站为新闻聚合平台:仅展示标题与简短摘要,并附上原文链接,不转载全文。