公众号记得加星标⭐️,第一时间看推送不会错过。 Celestial AI 实现远距离高带宽存储器 (HBM) 的梦想即将成为现实,这是 Marvell Technology 与系统集成商 Penguin Solutions 合作构建光子存储结构的一部分。 今年 2 月,Marvell 以 35 亿美元的价格从Celestial AI收购了该光纤通道架构的底层技术。该架构包含一个内存扩展模块,该模块包含两组总计 72 GB 的 HBM3e 内存堆叠,并支持八通道 DDR5 内存,这些内存堆叠在一个硅光子中介层上,双向带宽为 7.2 Tbps(900 GB/s)。 “我们在这个设备中提供的是我们称之为光子结构存储模块的东西……我们把这些模块提供给 Penguin,他们负责制造盒子、进行所有电源管理、编写软件以及所有管理层,”Marvell 光子结构业务高级副总裁 Preet Virk 告诉El Reg。 Penguin 首批基于该技术的设备将支持 16 个这样的内存模块,最高可达 16 TB DDR5 和 1 TB HBM,未来的系统能够扩展到 DDR5 容量的两倍。 每个设备通过 Marvell 设计的光纤交换器分配 57.6 Tbps 的带宽,最多可支持 16 台服务器,可通过网络接口卡、共封装 (CPO) 或近封装 (NPO) 光模块实现。 如果您还不熟悉,CPO 模块通常直接集成到计算或交换 ASIC 中,而 NPO 模块则是一种折衷方案。它们通过电气方式连接到主机(无论是 CPU、GPU 还是其他 ASIC),并通过光学方式连接到网络的其余部分。NPO 有望在英伟达和 AMD 的下一代机架式系统中发挥重要作用,因为它比将光子芯片直接集成到 CPU 或 GPU 中具有更好的可维护性和更小的故障影响范围。 据称,通过 Penguin 开发的软件层,每个系统都可以访问整个共享内存空间,类似于连接到网络附加存储的系统可以访问设备的全部容量。 据我们了解,目前很多此类功能都是通过兼容 CXL 3.1 的网卡和主机 CPU(例如 AMD 最新推出的 Venice CPU)实现的。然而,Virk 告诉我们,对于基于 NPO 和 CPO 的内存,可以完全绕过 CXL。 这项技术的意义显而易见。如果内存可以在多台服务器之间共享和池化,那么每台服务器就不需要那么多自己的DRAM,从而可能节省一些成本。 Virk表示,除了促进通信之外,该软件还支持多种内存分层模式,客户可以通过这些模式将资源开放给连接的系统。这些模式大多遵循典型的CXL内存分层规范,但有一个例外:HBM直通缓存模式。Virk称,该模式可以让用户以DDR5的容量获得HBM的性能。 这种模式本质上是将HBM视为读/写缓存。频繁访问的文件会先写入HBM并从中读取,然后在过期后才被推送到标准的DDR5内存中。 Marvell 和 Penguin 将这款新型内存设备定位为基于存储的键值 (KV) 缓存卸载的替代方案。人工智能推理会生成大型 KV 缓存,用于跟踪聊天会话和长时间运行的代理的模型状态。根据上下文长度,这些缓存的重新计算成本可能很高,而且内存占用也很大。 因此,不活跃的键值缓存通常会被卸载到DRAM或闪存中,因为存储和复制它们比在会话恢复时重新计算它们要快得多。Marvell认为,通过将键值缓存直接从HBM卸载到这些内存设备,客户可以获得更高的性能和内存利用率。 除了 AI 相关工作负载之外,这项技术还有可能减少单个系统所需的 DRAM 数量,我们今年早些时候更深入地探讨了这一概念,Meta 已经在自己的数据中心中采用了这一概念。 Marvell预计Penguin的第一代光子结构内存扩展系统将于明年下半年上市。
2026-11-19
山东一对情侣专程到河南,准备3天逛完4家胖东来门店:用半个小时买了一件羽绒服还有2条裤子,质量特别好
近日,来自山东泰安的一对情侣专程来到河南,给自己定下旅行目标:三天时间,把4家胖东来逛明白。 游客告诉记者,自己并不是第一次来胖东来。去年来过一次之后,就一直念念不忘,还想着再来,这次特意和男朋友提前规划行程,做好攻略来打卡。 “用半个小时买了3件衣服,一件羽绒服还有2条裤子,一眼就相中了,质量特别好!”逛胖东来的第一天,两人就收获颇丰。游客表示,这件羽绒服才417元,性价比很高,家里姐姐听说之后...
2026-11-19
胖东来撤走后,房东降到四百万依然没有人接盘!
新乡平原路那栋楼,原来是胖东来进入新乡的第一个店址,现在挂着的横幅是“全面招商”。 挂了五年多,租金从2400万一路降到400万, 比胖东来2005年刚进驻时付的800万还少一半 ,照样没人接。 把账从头翻一遍。2005年,平原路算不上黄金地段,公交线路寥寥无几,沿街商铺大片空着。胖东来年租800万签了十年,硬是把冷清地段做成了新乡最热闹的商圈,过年收银台的队伍能拐三个弯,周边一铺难求。2015年...
2026-11-19
骑士一点真该批,米切尔维护梅里尔!哈登喜忧参半,阿特金森不知悔改
北京时间11月19日骑士主场对阵灰熊,全场比赛结束骑士以121-124输给了灰熊。尽管灰熊在本赛季表现不错,可骑士近期状态回暖也获得2连胜,因此骑士也是有望继续获得比赛胜利。而在这场比赛中两队也是打得难解难分,虽然到了最后阶段灰熊就要赢得比赛胜利,可这个时候灰熊硬是出现五秒发球违例的情况,而这也给了骑士逆转机会,最终梅里尔也是造成犯规走上罚球线,要知道梅里尔身为一名射手是有着92%的罚球命中率,可...
2026-11-19
[流言板]FIBA官方提问:你认为本次窗口期中国队会取得怎样的成绩?
社区 » CBA » CBA专区 » [流言板]FIBA官... 虎扑篮球资讯(1280级)楼主2026-11-05 11:32:56发布于上海 [流言板]FIBA官方提问:你认为本次窗口期中国队会取得怎样的成绩?由虎扑篮球资讯 发表在CBA专区 https://bbs.hupu.com/cba 虎扑11月05日讯 今日,FIBA官方发文提问:本次窗口期,中国队将于11月26日在卡塔尔多哈对阵沙特...