全球人工智能算力芯片龙头英伟达周二宣布 ,推出专为长上下文工作负载设计的专用GPU Rubin CPX,用于翻倍提升当前AI推理运算的工作效率,特别是编程、视频生成等需要超长上下文窗口的应用。
英伟达CEO黄仁勋表示 ,CPX是首款专为需要一次性处理大量知识(数百万级别tokens),并进行人工智能推理的模型而构建的芯片 。
需要说明的是,Rubin就是英伟达将在明年发售的下一代顶级算力芯片 ,所以基于Rubin的CPX预计也要到2026年底出货。下一代英伟达旗舰AI服务器的全称叫做NVIDIA Vera Rubin NVL144 CPX——集成36个Vera CPU 、144块Rubin GPU和144块Rubin CPX GPU。
(NVIDIA Vera Rubin NVL144 CPX机架与托盘,来源:公司博客)
英伟达透露,搭载Rubin CPX的Rubin机架在处理大上下文窗口时的性能 ,能比当前旗舰机架GB300 NVL72高出最多6.5倍 。
据悉,下一代旗舰机架将提供8exaFLOPs的NVFP4算力,比GB300 NVL72高出7.5倍。同时单个机架就能提供100TB的高速内存和1.7PB/s的内存带宽。
言归正传,英伟达之所以要在Rubin GPU边上再配一块Rubin CPX GPU ,自然是为了显著提升数据中心的算力效率——用户购买英伟达的芯片将能赚到更多的钱 。英伟达表示,部署价值1亿美元的新芯片,将能为客户带来50亿美元的收入。
为何需要不同的GPU?
作为行业首创之举 ,英伟达的新品在硬件层面上分拆了人工智能推理的计算负载。
英伟达介绍称,推理过程包括两个截然不同的阶段:上下文阶段与生成阶段,两者对基础设施的要求本质上完全不同 。
上下文阶段属于计算受限(compute-bound) ,需要高吞吐量的处理能力来摄取并分析大量输入数据,从而生成首个输出token。相反,生成阶段则属于内存带宽受限(memory bandwidth-bound) ,依赖高速的内存传输和高带宽互联(如 NVLink),以维持逐个token的输出性能。
当前顶级的GPU都是为了内存和网络限制的生成阶段设计,配备昂贵的HBM内存 ,然而在解码阶段并不需要这些内存。因此,通过分离式处理这两个阶段,并针对性地优化计算与内存资源,将显著提升算力的利用率 。
据悉 ,Rubin CPX专门针对“数百万tokens”级别的长上下文性能进行优化,具备30petaFLOPs的NVFP4算力、128GB GDDR7内存。
英伟达估计,大约有20%的AI应用会“坐等 ”首个token出现。例如解码10万行代码可能需要5-10分钟 。而多帧、多秒的视频 ,预处理和逐帧嵌入会迅速增加延迟,这也是为什么当前的视频大模型通常仅用于制作短片。
英伟达计划以两种形式提供Rubin CPX,一种是与Vera Rubin装在同一个托盘上。对于已经下单NVL144的用户 ,英伟达也会单独出售一整个机架的CPX芯片,数量正好匹配Rubin机架 。
(文章来源:财联社)
配资平台开户炒股:全国股票配资公司排名-央行最新发布!8月两大重要金融指标均增8.8% 释放什么信号?
散户股票配资:短线炒股怎样选股票-AMD宣布将重启对华出口AI芯片
杠杆炒股公司:股票平台那个好-“这有点疯狂”!特朗普回应健康状况传闻
做股票短线要注意什么:炒股杠杆是什么意思-A股三大指数收跌:创业板指跌逾1% 存储芯片概念股逆市大涨
新手炒股选那个股票:手机上买股票怎么操作-恒大物业:9月12日上午9时起恢复公司股份于联交所的买卖
炒股配资平台股票配资门户:看公司股票在哪个app-印度硬刚特朗普!将继续购买俄罗斯石油
正规配资平台网_实盘配资公司_配资炒股平台_配资炒股开户提示:文章来自网络,不代表本站观点。
正规配资平台网_实盘配资公司_配资炒股平台_配资炒股开户⑯股票配资平台注重与用户的沟通与交流,通过及时解答用户疑问,增强用户信任度。
文丨中信证券中信证券研报指出,汽车行业2023年7月实现批发销量238.7万辆,环比-9.0%,同比-1...
现货白银向上触及32美元/盎司,日内上涨2.63%。...
当地时间6月9日,中美双方代表团在英国伦敦举行中美经贸磋商机制首次会议。 根据会议公布的照片,可以看到,美方代表团...
记者|赵阳戈作为今年上交所第二家上会IPO公司,江苏汉邦科技股份有限公司(简称汉邦科技)受市场关注。根据...
记者辛圆3月25日,博鳌亚洲论坛旗舰报告《亚洲经济前景及一体化进程2025年度报告》(以下简称《报告》...