推荐在鲲鹏算力峰挖矿里面挖矿吗

华为在 HC 大会上发布的「全球最快 AI 訓练集群」Atlas 900 引起了人们广泛关注这仅仅是华为智能计算在全联接大会上新产品发布的开始,华为昨天推出的鲲鹏服务器主板、鲲鹏台式機主板以及全球最强 AI 训练卡 Atlas 300、AI 训练服务器 Atlas 800 等产品,让我们再次见证了这家公司的研发实力

为了促进计算产业的发展和生态建设,华为宣布了服务器操作系统开源计划 (openEuler)将自身在服务器领域的技术积累全部开源。而在硬件方面华为这次一并发布了 Atlas 800 AI 训练服务器、Atlas 300 AI 训练卡,鉯及服务器和 PC 主板等设备今天,华为还宣布推出鲲鹏开发套件

这一系列的产品,旨在践行华为刚刚发布的最新蓝图:9 月 18 日华为首次發布了面向智能计算产业的系统战略,其中包括架构创新、发展面向全场景的处理器、有所为有所不为的商业策略、以及构建开放生态嘚布局。

华为又开源了一个操作系统:昨天首先推出的是开源服务器操作系统 openEuler它包含了华为在服务器操作系统领域的大量技术积累。对此华为 Cloud & AI 产品与服务总裁侯金龙在会上向我们进行了介绍。

华为表示openEuler 基于此前华为内部使用的服务器操作系统,已有近 10 年的技术积累並广泛地被应用在华为内部的产品配套中。华为基于对鲲鹏处理器的理解在性能、可靠性、安全性等方面对操作系统进行了深度优化。優化后时延、性能大幅提升例如:部分场景多进程并发时延缩短 60 %,Web 服务器性能提升 137% 等

华为开源服务器操作系统对鲲鹏的优化,筹建 openEuler 开源社区是希望使能合作伙伴发展自有品牌操作系统促进鲲鹏生态建设。侯金龙还表示在 openEuler 开源社区,未来还会支持更多架构处理器

openEuler 内核源于 Linux,为了更好地发挥鲲鹏的性能华为服务器操作系统在编译系统、虚拟存储系统、CPU 调度、IO 驱动、网络和文件系统等方面做了大量的優化。

openEuler 将是一款开源的操作系统华为表示,openEuler 将会成为一种由全球开源贡献者构建的高效、稳定、安全的开源操作系统广泛应用于数据庫、大数据、云计算、人工智能等场景。

鲲鹏主板:发展硬件架构生态

除了开源的操作系统华为还有开放的硬件。在大会上华为首次開放了鲲鹏系列主板,其中包括服务器主板和台式机(PC)主板它们已经向合作伙伴全面开放。

鲲鹏主板搭载两颗鲲鹏处理器其中包括 128 個物理核心。另外这块主板上包含 32 个内存插槽,内置 100GE RoCE支持目前最快的 PCIe 4.0 接口。华为的合作伙伴可基于鲲鹏主板和整机参考设计快速开發出自有品牌的服务器和台式机产品。

「鲲鹏处理器是业界首个推出内置直出 100GE 网络能力的通用处理器我们希望在未来能够让 100GE 成为服务器嘚标准配置。」华为智能计算业务部总裁马海旭表示

在 HC 2019 大会上,华为智能计算业务部总裁马海旭宣布了鲲鹏主板全面开放

鲲鹏主板的開放主要是为了推动鲲鹏计算产业生态。「鲲鹏主板搭载了计算产业所有同事们的梦想」马海旭表示。「华为将鲲鹏主板全面开放优先支持合作伙伴基于鲲鹏主板开发更多的最强算力产品,这会给客户带来更多、更好的选择」

华为认为,经由自身 30 多年的研发与各类硬件主板累计超过 10 亿块的制造经验,鲲鹏主板可以 100% 地释放整机算力

鲲鹏主板具备业界领先的 56G 高速 SerDes 能力,其信号误码率低于 10 的负 12 次方故障率相较业界平均水平低 15%。另一方面通过华为创新的 DEMT 动态节能技术,鲲鹏可以实现能效比领先业界 15% 以上

这一次,华为为鲲鹏主板内置叻 BMC 芯片和 BIOS 软件还将开放主板接口规范和设备管理规范。为了提升整理设计效率和质量华为还会提供机箱,供电散热,背板等参考设計

在发布会上,清华同方也宣布推出了基于鲲鹏主板的 PC 台式机

为了支持开发者在鲲鹏计算平台上高效地进行软件开发和迁移,今天华為还发布了鲲鹏开发套件其中包含编译器、工具等四个组件,为开发者提供云上软件开发平台

华为智能计算 TaiShan & Atlas 领域总经理张熙伟表示:「鲲鹏生态发展进入快车道,在过去的 9 个月内华为携手合作伙伴共同完成了超过 3000 个行业应用向鲲鹏生态的迁移。鲲鹏使能开发者为每荇代码注入改变世界的算力」。

华为表示鲲鹏将持续提供先进算力支持,其具有四大优势:

「端边云算力同构」优势打破数据中心与邊缘、终端的界限,为开发者提供统一架构的计算平台多核高并发的计算优势,满足大数据、分布式存储、数据库等场景的算力需求引领 IT 架构分布式转型趋势。通过鲲鹏+昇腾的协同优势灵活向 AI 算力扩展,满足 5G、AI、自动驾驶等新技术对多样性算力需求鲲鹏五级算力加速技术,通过迭代编译、NUMA-aware、消息队列硬加速、函数加速库、内核调度自优化实现程序性能提升 50%。

本次大会发布的华为鲲鹏开发套件包含編译器和三个工具业界首创的分析扫描工具和代码移植工具实现跨计算平台的自动化应用迁移,让开发者对指令集差异无感加速应用遷移的同时实现代码优化;性能优化工具面向开发者性能调优实战设计,通过性能可视和一键式优化帮助开发者工作效率提升 5 倍。

现在开发者能够在鲲鹏开发者社区一站式获取相关工具和知识库,同时华为云 DevCloud 云上软件开发平台也集成了鲲鹏开发套件为开发者提供线上铨流程软件研发工具。

昨天华为还发布了两款基于昇腾 910 AI 芯片的 Atlas 新产品:全球算力最强的 AI 训练加速卡 Atlas 300,和训练服务器 Atlas 800

从芯片、服务器到集群,华为两天来推出的新产品重新定义了智能世界的 AI 最强算力它们也完成了 Atlas 全系列的训练和推理产品布局,可实现云边端全场景部署加速全行业智能化。

首先是一款为 AI 训练任务准备的加速卡Atlas 300 训练卡可以实现 256 TFLOPS(FP16)的算力,是当前业界主流训练卡的两倍强大的算力可囹深度学习算法在训练时每秒处理的图片数据量从 965 张提升到 1802 张。

这款训练卡为双槽位设计采用 PCIE 接口,可广泛支持目前已有的常规服务器設备

除了算力强大之外,Atlas 300 训练卡还支持 100GE RoGE 直出高速接口可实现梯度参数和数据集并行传输,最高可以降低 70% 的梯度同步时延可将集群训練时间缩短到秒级。

AI 训练服务器 Atlas 800 则是一种更为专用化的设备其在 4U 的空间里集成了 8 块昇腾 910 AI 芯片,可以提供 2P FLOPS 的算力其密度是业界同类产品嘚 2.5 倍。

相比于很多公司已经推出的 AI 推理芯片训练芯片的能力更能体现 AI 的最强算力。华为在今年 8 月推出的昇腾 910 训练芯片基于达芬奇架构內置了 32 个 3D Cube 计算引擎,单引擎能够在一个时钟周期内完成 4096 次乘加运算算力高达 256T FLOPS。

「Atlas 800 的重量为 75 公斤不到业界同类产品的一半,」马海旭介紹道「它内置 32 个硬件解码器,每秒可以完成一万六千张 1080p 图片的解码是业界主流产品处理能力的 25 倍,而且这些工作负载可以和训练并行同时处理。」

为了实现更高的算力Atlas 服务器支持风冷和液冷两种散热方式。目前在华为的松山湖数据中心里这家公司已经部署了全液冷版本的 Atlas 800。

实际上华为在周三推出的 Atlas 900 AI 训练集群就是由 Altlas 800 AI 训练服务器组成的。华为表示此 AI 集群内含超过 128 台 Atlas 800 服务器,用户可根据需求部署不哃的数量

通过高效率的整合,AI 训练集群 Atlas 900 成为了目前全球计算机的巅峰其总算力达到 256P~1024P FLOPS @FP16,相当于 50 万台 PC 的计算能力

开放生态,让智能无所不及

芯片和操作系统一直是国内科技公司不擅长的领域。华为通过近年来的不断投入正一步步让自身产业链延伸到核心技术区域。

華为副董事长胡厚崑表示未来五年内基于统计的计算将成为主流,其算力将占社会算力的 80% 以上智能计算产业将会出现万亿美元级蓝海市场。在着力研发最强算力产品之外邀请更多合作伙伴加入智能计算产业,构建繁荣的生态是发展的重要举措

华为希望通过硬件开放囷软件开源,使能广大合作伙伴从而形成开放繁荣的生态,帮助所有人都可以打造出最强算力产品

架构只是基础,华为还将继续打造基于鲲鹏处理器的硬实力同时发展面向合作伙伴开放的软实力。未来华为还将与合作伙伴们共同努力,加速商业创新与科学研究的智能化进程

与其说这是鲲鹏计算产业的号召仂不如说,这是计算市场本身的号召力

在市场面前,没有谁是宿命论者;但每20年1次的计算架构创新以及随之而来的基础软件与应用軟件同步创新规律,还是让领域内的从业者们开始留意市场变化——毕竟机遇的窗口一旦打开,获得先发优势就有了可能

最先系统论述这种可能性的,是一本只有30页的白皮书当人们在去年华为全联接2019上听到它之后,一些有心人立刻下载了它

这本白皮书叫做《鲲鹏计算产业发展白皮书》(简称《白皮书》),由绿色计算产业联盟协同华为技术有限公司、中国电子技术标准化研究院、ARM中国、IDC等会员及相關单位发布

它描述了鲲鹏计算产业的未来,也包括了基础软件的未来

按照IDC的预测,未来计算产业发展方向必然是多种计算架构共存洏云服务的普及更将会加速这一进程。

“场景的多样性带来数据的多样性(如语音、文本、图片、视频等)是这种变化的根本原因,没有一種计算架构可以高效满足所有业务诉求”《白皮书》指出,计算多样性已经成为必然

华为鲲鹏生态发展部部长 郝应涛

在1年后的华为全聯接2020上,华为鲲鹏生态发展部部长郝应涛再次强调了这种算力的多样性——x86+ARM+NPU+GPU

“进入万物互联网时代,5G、云、AI加速了数据的产生与流动這让数据迎来爆炸式增长,其中非结构化数据的增长尤为快速”郝应涛引用预测数据(IDC,Huawei GIV)说到2025年,全球新增数据将达180ZB其中80%以上是非结构化数据。

无论是因为算力多样性的判断还是因为这些关于非结构化数据的预测,在鲲鹏计算产业新莺初啼1年后那些早早相信了鯤鹏计算产业未来的人们,已经在基础软件的窗口期进入了第一梯队

按照华为全联接2019宣布的基础软件开源计划,如openEuler操作系统在2019年12月31日开源等经过9个月的高速发展,已有超过2000名贡献者超过70+SIG兴趣组,以及超过60家国内领先企业参与其中

这距离早期提出针对鲲鹏计算产业的開源软件方法论,也不过1年时间——考虑到早期生态的单薄当时,华为希望通过包括建立openeuler.org社区开源OS源代码等一系列方法,来缩短厂家構建基于openEuler的发行版OS的开发周期

而1年后,“中国TOP6操作系统厂家已经加入社区并发布了商业发行版其中麒麟软件公司已经成为社区第二大貢献者、规模商用节奏最快。”郝应涛说此外,还包括了稍晚完成开源的openGauss数据库和openLooKeng数据虚拟化引擎的生态参与者分别有6家和1家。

这是開源基础软件生态走出的第一步从可用,到好用任何软件生态的成型与成熟非此不可。

《白皮书》指出基础软件平台是服务行业客戶以及做大计算产业的“黑土地”,产业链上下游厂商共同构建一个开放、合作、共赢的鲲鹏计算产业基础软件生态至关重要

而这一平囼的发展,开源的主导力量只能是华为毕竟,开源openEuler操作系统、openGauss数据库及openLooKeng数据虚拟化引擎,使能伙伴发布自有品牌的商业发行版本都昰一切生态系统发展的开端。

郝应涛认为在此之上,只用坚持开源开放模式打造坚实的基础软件底座,才能促进中国基础软件的可持續发展并使能全球开源体系更好地支持多样性计算——“跑得更快,行得更稳”——在用户端这将意味着“好用”。

在鲲鹏高性能开源组件、加速软件包及工具的支持下目前华为已经在大数据、分布式存储、数据库、虚拟化、云原生、Web、CDN和HPC等八大主流应用场景中,实現了应用性能的倍增这为促进基础软件的生态繁荣带来了可圈可点的进步。

生态伙伴参与“如何协同全栈软硬件发挥鲲鹏澎湃算力”圆桌研讨

@ 易捷行云携手华为打造了基于鲲鹏的多云异构云平台。由于对底层异构资源技术差异性进行了有效的屏蔽这一多云异构云平台充分满足了企业用户对多样性计算需求和多云形态方面的诉求。

“易捷行云是适配华为鲲鹏最快的中立私有云企业之一”易捷行云技术總监刘建介绍说,2019年时易捷行云在1周内便完成了底层操作系统适配,并在1个月内便完成了产品全功能的适配

@ 依托鲲鹏服务器多核、高並发的性能优势,华为中间件领域的合作伙伴东方通在2020年实施了10个地市级数据共享交换项目——中间件作为应用支撑负责整体资源的整匼共享,其对数据处理量和需求很好地匹配了鲲鹏所长

东方通解决方案总监曾鹏冰表示,目前东方通全线中间件包括应用中间件、数據集成工具、消息中间件,以及交易中间件等都已经完成鲲鹏兼容适配认证,并全面适配了openEuler操作系统和openGauss数据库等

同样充分利用了鲲鹏哆核高并发、高转发和高IO优势的,还有大数据平台提供商星环科技星环科技资深架构师吕品介绍说,星环科技的一站式大数据平台TDH经与鯤鹏大数据解决方案进行优化配置后对比开源+x86,在数据集市场景下性能提升了32.71%,在数据仓库场景下性能提升了23.94%,而在NoSQL这种IO密集型数據库上性能也提升了10.01%。

这种性能上的明显提升最新吸引的客户目前已经“尝到了甜头”吕品介绍说,这位客户在将原x86集群迁移到了基於鲲鹏的星环大数据平台上之后收益颇丰——原批处理集群大数据任务从3小时30分钟,被缩短到了2小时42分钟性能提升了22.8%。

@ 在基础软件领域海量数据有一项特殊的荣誉——它是华为开源数据库openGauss社区贡献第一的公司。目前海量数据已经基于openGauss发行了海量数据库Vastbase产品,并在政務、金融等众多领域落地商用

“openGauss提供了面向多核的极致性能、全链路的业务和数据安全、基于AI的调优和高效运维的能力。”海量数据总裁肖枫说Vastbase海量数据库正是海量数据基于openGauss内核,并融合对行业应用场景理解打造出的企业级关系型数据库它在原有功能基础上,增加了夶量企业级数据库的兼容特征、增强的安全功能、空间数据技术等并同时配套了异构数据库迁移平台exBase。

在某政务***用户中该数据库目前将该用户的核心业务性能大幅提升了超过40%。肖枫介绍说:“(在该项目中)单台鲲鹏数据库服务器已经支撑了过去三台某传统数据庫服务器的服务能力。”

@ 作为openEuler社区Ceph分布式存储技术的主要维护者和贡献者XSKY长期聚焦于分布式存储与华为的生态兼容。

“数据即是资产洏存储是底座。”XSKY产品总监吕磊表示在这一认知的基础上,XSKY数据湖正努力在多样性算力的基础上更大程度地释放数据潜能。他介绍说在此前一项基于15个节点,长达1个月的压测中鲲鹏服务器的块存储IOPS性能超出了非创新CPU架构达10%~20%之多。

目前XSKY已经完成了针对鲲鹏生态的深喥对接其分布式存储产品也已面向政府、广电、运营商、金融、制造、航空运输、教育、医疗等多行业客户构建了鲲鹏场景化解决方案。

“硬件提供算力基础软件释放算力。”郝应涛表示基础软件生态系统的繁荣,让鲲鹏计算生态实现了从“可用”到“好用”的突破生态伙伴市场的商业价值也因此得到了拓展。

这一点在华为全联接2020于25日举行的圆桌研讨中,已经作为“共识”被记录了下来;而更具體的共识则与生态伙伴的业务推进直接相关

“鲲鹏不是华为的鲲鹏,而是整个计算产业的鲲鹏”华为鲲鹏计算领域副总裁江大勇在研討中强调说。

鲲鹏计算产业涵盖了从底层硬件、基础软件到上层行业应用的全产业链条,只有一个由跨厂商深度参与的、全栈的技术创噺融合才能真正广泛地实现面向客户场景和行业场景的算力及应用价值提升。

与此相关鲲鹏一体机的话题是另一个很快达成共识的热點话题。吕品在讨论中认为在生态和软硬件一体适配基础上推出一体机,将帮助生态伙伴形成更高的竞争力据介绍,目前鲲鹏一体机巳经进入了星环科技的产品路线图

易捷行云是已经发布鲲鹏云一体机的生态参与者之一。刘建认为在第一波多样化计算需求中,易捷荇云的这一决策将有利于帮助自身积累这批早期客户

不难发现,其实无论是跨厂商的全站技术融合还是鲲鹏一体机,这些话题同时都指向了“好用”这一目标

事实上,为了“好用”华为甚至从最底层的库函数做起,推动Glibc, ZSTD, x265等众多通用软件库接纳针对于鲲鹏的优化特性并最终将平均性能提升了10%+。这一努力直接惠及了所有上层软件和开发者。

在华为全联接2020中发布以上内容之前已有超过120家伙伴的200多个主打基础软件产品全面适配了鲲鹏,产业链上TOP30伙伴100%完成鲲鹏适配及性能优化;同时还有有1000家ISV、3000个解决方案完成适配。

郝应涛介绍说在鯤鹏计算创新中心这一共享区域生态平台的支持下,那些覆盖了众多领域和场景的方案孵化持续催生出了新的商机

目前,在基础软件繁榮生态的支持下鲲鹏已在国计民生多个行业实现了规模商用,客户涵盖了运营商、政府、金融、安平/电力以及诸多大型企业等。

值得關注的是这样的势头正在加速。郝应涛引用的数据显示仅2020年H1,鲲鹏的出货量就超过了2019年全年10倍于市场增速。

在这样的增速中鲲鹏計算产业在基础软件上的布局与推进的效果已一览无余。

郝应涛介绍说目前华为除将继续“做厚”赋能开发者,和“做深”高校人才培養工作外已经成立了两只专职的生态运营支持团队,为鲲鹏开源生态伙伴在产品全生命周期中遭遇的痛点和诉求提供专家资源保障

可鉯说,纵观基础软件领域发展所需如今的鲲鹏已经事无巨细地做到了全面覆盖,全产业链的协同以及持续壮大更是为鲲鹏计算产业的鈳持续发展提供了空间,同时也拓展了空间

可以想见,一个繁荣的鲲鹏基础软件生态圈将会对应出一个多样性算力充分释放的未来——那将是一个个政企用户的智慧化未来,也将是整个社会的数字经济的未来

【IT创事记】聚焦于企业级科技生态、策略及商业知识。你可鉯在各主流媒体平台看到IT创事记的同名文字专栏和【IT创事记·视频】专栏。如果你有相应的内容希望分享,记得在公众号留言告诉我们

参考资料

 

随机推荐