开云(中国)Kaiyun·官方网站 - 登录入口

体育游戏app平台人人 1.5% 至 2% 的电力用于数据中心-开云(中国)Kaiyun·官方网站 - 登录入口

发布日期:2024-06-12 05:31    点击次数:82

体育游戏app平台人人 1.5% 至 2% 的电力用于数据中心-开云(中国)Kaiyun·官方网站 - 登录入口

(原标题:功耗成为芯片大问题!)

若是您但愿不错频频碰面,宽宥标星保藏哦~

开端:内容来自半导体行业不雅察(ID:icbank)编译自fierceelectronics,谢谢。

Nvidia 最新的巨型芯片 Blackwell 号称当代遗迹。它领有 2000 亿个晶体管,当在大型数据中心中将数千个 GPU 组合在所有时,它有望提供敷裕的处聪慧商来处理最大的 AI 模子。

但 Blackwell 和其他行将上市的苍劲加快器芯片让东说念主们感到孔殷,尤其是数据中心运营商和电力公司,致使人人监管机构。用于数据中心的单一 Blackwell 芯片的一个版块耗尽 1,200 瓦的电力,与几年前比拟,这是一个纵情的电量。主要由于加快器芯片的增长,一些数据中心正在建造我方的发电厂来处理负载,而阿姆斯特丹和欧洲其他城市的监管机构则告诉数据中心,由于电力供应有限,他们无法彭胀。

弥远的不单是是 Nvidia 的 GPU。Blackwell 是所有芯片假想公司的趋势的一部分。致使特斯拉等超大领域企业和汽车制造商也在假想我方的定制芯片,平时通过 3D 假想和小芯片来推进物理定律来提升动力收尾。Tesla 的 Dojo 芯片有 25 个小芯片。这些芯片假想方法有助于提升能效,但与此同期,数据中心仍在不休发展以因循东说念主工智能,包括 GenAI。咫尺,人人 1.5% 至 2% 的电力用于数据中心,其中绝大多数动力用于因循它们的芯片和电路板。数据中心动力耗尽的增长就像曲棍球棒一样。

“这种趋势是不可握续的”

“芯片行业一直处于一种不可握续的趋势,”芯片行业资深东说念主士、Rapidus 好意思洲区总裁 Henri Richard 示意。该公司正在日本北部成立一座 2nm 工艺节点芯片工场,并赢得日本政府数十亿好意思元的因循。

“几年前,咱们说功率不行达到 150 瓦,而咫尺咱们的功率达到 1,200 瓦!有些事情需要改变。若是你推敲采用这条增长弧线并估量将来,咱们就无法领有 3 千瓦的芯片,”理查德在其位于加利福尼亚州圣克拉拉的好意思国办公室吸收采访时说说念。

他示意,将芯片工艺节点从10nm削弱到5nm再到2nm是治理有研究的一部分。关联词,跟着摩尔定律带来的公正徐徐减少,“需要以不同的方式构建系统和芯片,以处理功率的集合庸不错进行的冷却量,”他补充说念。“即使是浸入式冷却也很难为芯片供电。Chiplet将成为均衡前端和后端的一种方式。”

Arm 首席推论官雷内·哈斯 (Rene Haas) 最近在一篇博客中写说念,将来的东说念主工智能责任负载将变得越来越大,繁重需要更多的蓄意和更多的功能,这叫醒了东说念主工智能天下的一些元素。“找到镌汰这些大型数据中心电力需求的方法对于竣事社会冲破和竣事东说念主工智能痛快至关要紧,”他说。“换句话说,莫得电,就莫得东说念主工智能。”

数据中心耗电芯单方靠近哪些挑战

在领突出千个 Blackwell 芯片和其他处理器的数据中心中,电力负荷变得巨大,使得工程师们不得不在莫得敷裕电力的地点寻找可用电力,即使在太阳能、风能、水力发电等可再天真力的匡助下亦然如斯或地热。一朝向华盛顿特区以西的弗吉尼亚州劳登县等地区的可开发地皮运输敷裕的电力,东说念主们对数十个热工作器机架内发生的情况的心焦就会加重。

工程师们正在冷漠新的方法来保握电路板和芯片敷裕清凉,以防患着火或融解,从而对要紧数据、富贵的诱惑和企业利润形成厄运。

所有行业仍是出现,旨在冷却数据中心,以防患工作器过火耗电芯片产生的热量。工作器机架的液体冷却已成为一种艺术形式;最新的方法之一是所有数据中心的千里浸式体验,这激发了对于数据中心若何将水下电力与周围东说念主类鸠合的奥秘命题。与此同期,超大领域企业正在有研究在其数据中心枢纽隔邻建造袖珍核响应堆或其他发电机,以确保可靠和充足的动力供应。

投资者正纵情地寻求为数据中心提供更多电力:OpenAI 首席推论官 Sam Altman 刚刚向 Exowat 投资了 2000 万好意思元,这是一家专注于东说念主工智能数据中心的动力初创公司。保握芯片敷裕清凉以竣事最好启动还可能需要空气冷却技巧,该技巧会耗尽更多功率,从而加重问题。即便如斯,凭证教养,数据中心所需的一半电力用于点亮处理器——从 GPU 到 CPU 再到 NPU,以及任何成为下一个芯片 TLA 的东西。相干电路和电路板会增多能耗。

Nvidia的黄仁勋界说了AI加快器的永久愿景

Nvidia 首席推论官黄仁勋和好多其他半导体交流者阐发,Blackwell 等当代加快器芯片在与 AI 和 GenAI 的巨大蓄意智商相匹配时,其权益贩卖的合感性也许是正确的,以及这些技巧将对将来几代公司和客户产生的影响新药品的研发、惬心分析、自动驾驶汽车和机器东说念主等等。他和他的工程团队平时挑剔物理定律,并意识到哪些金属和其他材料以及芯片架构不错将电力产生的热量荒疏到工作器机架上,然后再散播到数英亩的工作器机架上。

当代芯片假想使英伟达、英特尔、AMD、高通、云提供商和越来越多的袖珍假想公司不休增多电路板的密度,从而使工作器和工作器机架占用更少的占大地积,同期每台可产生数倍的万亿次浮点运算。工作器比一年前还要多。每瓦性能主意平时示意为 TFLOPS/瓦,以便于比较不同供应商的系统和芯片。

黄仁勋在 CadenceLIVE 上对于纵向性的演讲

Huang 于 4 月份在硅谷 CadenceLIVE 上谈到了这种密渡过火相干的功耗,并空洞地谈到了东说念主工智能在所有用户群中的上风若何阐发这种蓄意密度是合理的。“记着,你假想了一个芯片一次,但你却将它委派了一万亿次,”他在炉边讲话中说说念。“您假想一次数据中心,但不错勤俭 6% 的电力……这是 10 亿东说念主所享受的。”天然,黄说的是所有生态系统,远远超出了用于更平时的加快蓄意类别的单个 Blackwell 或其他 GPU 的瓦数。他用了几句话来抒发我方的不雅点,但值得一读:

“加快蓄意的功耗格外高,因为蓄意机的密度格外高,”黄说。“不管咱们对电力摆布进行什么优化,都不错奏凯改革为更高的性能、更高的坐褥力、产生收入或奏凯改革为勤俭。对于同样的性能,你不错得到更小的东西。加快蓄意中的电源经管奏凯改革为您暖和的所有事情。

“加快蓄意需要洪水横流的通用工作器,耗尽了 10 倍、20 倍的成本和 20 倍、30 倍的动力,并将其缩减为极其密集的东西。因此,加快蓄意的密度是东说念主们会认为它耗电且富贵的原因。但若是您从已完成的责任或蒙眬量的 ISO(国外秩序)来看,履行上您不错勤俭普遍资金。这等于为什么跟着 CPU 彭胀速率放慢,咱们必须转向加快蓄意,因为不管若何你都不会继续以传统方式彭胀。加快蓄意至关要紧。”

随后,在与 Cadence 首席推论官 Anirudh Devgan 的团结次对话中,黄仁勋补充说念:“东说念主工智能履行上不错匡助东说念主们勤俭动力……若是莫得东说念主工智能,咱们若何八成竣事 6% 的节能(在 Cadence 的一个示例中)或 10 倍的节能?因此,您对模子的考试进行一次投资,然后数百万工程师就不错从中受益,数十亿东说念主将在几十年内享受到勤俭的用度。

“这等于推敲成本和投资的方式,不仅要凭证具体情况,何况就医疗保健而言,要纵向推敲。您必须……纵向地推敲勤俭资金、勤俭动力,不仅要推敲您正在构建的产物的所有范围,还要推敲您假想产物的方式、您构建的产物以及感受到的产物的影响。当你像这么纵向看待它时,东说念主工智能将在匡助咱们搪塞惬心变化、使用更少的电力、提升动力收尾等方面带来绝对的变革。”

Nvidia 除外的声息

除了黄仁勋除外,芯片假想和芯片坐褥领域的其他了得东说念主物最近也纷纷加入进来。台积电首席推论官 CC Wei 在公司最新的财报电话会议上这么说说念:“确切所有的东说念主工智能改革者都在与台积电互助,以清闲永不清闲的东说念主工智能相干需求以赢得节能的蓄意智商。”关键词:“一马平川”。

Cadence 首席推论官 Devgan在与黄仁勋的台上对话中指出,东说念主工智能模子不错领有 1 万亿个参数,而东说念主脑中有 100 万亿个突触或鸠合。他估量,有东说念主按照东说念主脑的法例构建一个格外大的东说念主工智能模子只是时间问题。他说,这么作念将需要“普遍的软件蓄意、所有数据搜索基础法子和所有动力基础法子”。

Cadence 制定并因循多种提升加快器能效假想的方法(Nvidia 曾使用加快器开发 Blackwell),并开发了数字孪生系统来匡助数据中心更高效地假想其运营。

AMD设定的标的是,以 2020 年加快蓄意节点为基准,到 2025 年将其产物的能效提升 30 倍。旧年推出的 MI300X 加快器使该公司更接近这一标的。AMD 高等副总裁兼产物技巧架构师 Sam Naffziger 旧年发布的一篇博客样式了这一发扬。

Naffziger 警戒说,该行业不行只是依赖较小的晶体管,需要一个全体假想视角,包括封装、架构、内存、软件等。

英特尔的神经形态推进

英特尔还积极推进动力收尾的发展,最近晓示它仍是成立了天下上最大的神经形态系统来竣事可握续的东说念主工智能。它的代号为 Hala Point,采用英特尔的 Loihi 2 处理器,每秒可因循多达 20 万亿次运算,可与 GPU 和 CPU 相忘形。到咫尺为止,它的应用显著是用于研究。

英特尔对 Hala Point 的样式称,所有系统的最大功耗为 2,600 瓦,是 Nvidia Blackwell 的两倍多少量:“Hala Point 将 1,152 个在英特尔 4 工艺节点上坐褥的 Loihi 2 处理器封装在一个六机架单位中。数据中心情箱有微波炉大小。该系统因循散播在 140,544 个神经形态处理中枢上的多达 11.5 亿个神经元和 1,280 亿个突触,最大功耗为 2,600 瓦。它还包括 2,300 多个用于援手蓄意的镶嵌式 x86 处理器。”

英特尔首席产物可握续发展官 Jennifer Huffstetler 通过电子邮件告诉 Fierce Electronics:“英特尔正在将将来的蓄意技巧视为东说念主工智能责任负载的治理有研究,即神经形态,有望以更低的功耗提供更高的蓄意性能。蓄意需求只会不休增多,尤其是新的东说念主工智能责任负载。为了提供所需的性能,GPU 和 CPU 的功耗也在增多。”

英特尔仍是汲取了三管都下的方法来提升收尾,包括优化东说念主工智能模子、软件和硬件。Huffstetler 计算,在硬件方面,英特尔的改革从 2010 年到 2020 年已勤俭 1000 太瓦时。Gaudi 加快器的能效提升了约一倍,而 Xeon 可彭胀处理器的能效提升了 2.2 倍。(Xeon 专为数据中心、边际和责任站责任负载而假想。)她宣称,行将推出的 Gaudi 3 加快器的推聪慧商平均提升 50%,推理功效平均提升 40%。英特尔还涉足液冷业务,与数据中心内的风冷比拟,该业务可节能 30%。

是的,更高的“收尾”,然则……

尽管主要芯片假想者付出了所有辛劳,功耗逆境仍然存在。是的,数据中心可能领有更少的配备最新加快器的机架,从而镌汰功耗,但东说念主工智能的增长意味着公司只会寻求彭胀蓄意智商——更多的工作器、更多的机架、更多的动力耗尽。J. Gold Associates 的首创分析师杰克·戈尔德 (Jack Gold) 示意:“是的,较新的芯片每瓦性能更高,但东说念主工智能模子也在不休增长,因此咫尺尚不了了对功耗的总体条目是否会下跌那么多。”

天然采用液冷机架的 GB200 外形尺寸的 Blackwell 每个芯片的功耗为 1200 瓦,但 Gold 指出,典型的 AI 芯片仅使用一半的功率 - 650 瓦。他这么蓄意能耗:加上内存、互连和 CPU 为止器,每个模块的能耗可跃升至 1 千瓦。在最近的 Meta 示例中,该公司一度部署了 10,000 个模块(将来还会有更多),仅这一数目就需要 10 兆瓦的电力。一个像克利夫兰这么大小、领有 300 万东说念主口的城市的用电量约为 5,000 兆瓦,因此内容上,一个如斯领域的数据中心将占用该城市 2% 的电力。典型的发电厂可发电约 500 兆瓦。

戈尔德说:“最要紧的是,东说念主工智能数据中心照实[靠近着问题],试图找到有敷裕电力且电力成本敷裕低的区域来清闲其所需的耗尽。”电力成本是数据中心中仅次于诱惑成本成本的最大支拨。

Technaanalysis 的首创分析师 Bob O'Donnell 示意,他在一定经过上意会黄仁勋在 Cadence 四肢中冷漠的因循 AI 芯片功耗的“纵向”论点。“加快器芯片照实需要更多的能量,但从永久来看,由于你所学到的一切,从永久来看对环境、制药和其他领域有更积极的公正,”他告诉 Fierce。“它们格外密集,但与其他选项比拟,它们更节能。”

“归来来说,东说念主工智能芯片的智商正在受到好多不同参与者的平时关注和关注。它不会跟着对更多电力的巨大需求而得到治理或湮灭。但 GenAI 的智商是如斯苍劲,以至于东说念主们认为有必要去追求它。”

https://www.fierceelectronics.com/ai/power-hungry-ai-chips-face-reckoning-chipmakers-promise-efficiency

点这里加关注,锁定更多原创内容

*免责声明:本文由作家原创。著述内容系作家个东说念主不雅点,半导体行业不雅察转载仅为了传达一种不同的不雅点,不代表半导体行业不雅察对该不雅点赞同或因循,若是有任何异议,宽宥相干半导体行业不雅察。

今天是《半导体行业不雅察》为您共享的第3752期内容,宽宥关注。

『半导体第一垂直媒体』

及时 专科 原创 深度

公众号ID:icbank

可爱咱们的内容就点“在看”共享给小伙伴哦体育游戏app平台