字: 大 中 小
关灯 护眼
渡口文学 > 首富从看见信息面板开始 > 第二百九十二章 十七个集群,十七倍算力

第二百九十二章 十七个集群,十七倍算力

    听到江松然这话,张彪一愣。

    张彪在张家口机房待了几个月,和海城联系最多的是江松然,其次才是韩路一。

    起初和江松然合作,他有点儿自卑。

    江松然是美国回来的博士,干高科技的活,嘴里常冒出的名词,张彪别说听过,连听懂都难。

    张彪自己呢,在他的领域里,他相信不输任何人。

    可一说到硬件、服务器、布线,他脑子就犯困。

    于是除了白天工作,他每天晚上还花几个小时和汤圆聊天——学习,学白天遇到的新名词:是什么、干什么用;学完写在随身小本上,时不时翻看。

    这股学习劲头,比当年在部队考军校还足。

    神奇的是,学着学着,他和江松然交流时能听懂的词越来越多,提的问题也越来越在关键点上。

    要说谁最能感受到张彪的变化,除了江松然,可能只有视界了。

    在韩路一眼中,两个月没见,张彪的属性又翻天覆地变了一回。

    【张彪|32岁】

    【格斗S|技术C|协作A|稳定S】

    【特技:机房管理|近身格斗|武器使用】

    【词条:百战|坚韧】

    别看技术只是C,这也是视界认可的;硅明前任CEO薛兆恒的管理是D,张彪的评价还更高些。

    几人很快进入工作状态。张彪摊开图纸,用手指着讲解:“目前八千一百九十二张L100已经全部到场,机柜安装完成九成五,剩下主要是最后两排的线缆和供电核验。”

    “运维团队现在分了四个组。”

    “第一组负责上架,第二组负责供电和液冷,第三组负责网络和线缆,第四组负责资产编号和故障记录。每台机器进场后,先扫资产码,再核对槽位,再接电,再接网络,最后统一打标签。”

    “每个机柜里哪几张卡、接到哪台交换机、哪条线缆编号多少,都在这张表上。”

    如果记录能电子化,当然更好。

    但张彪能把现场管理到这种程度,几人都满意,没人挑表格不是电子版的毛病。

    一般人对近万张显卡、几十排机柜可能没概念。

    光摆这些机柜的房间,就得有三个篮球场那么大。

    何况机柜安装不是放进去就完事,供电、液冷、网络、调度,哪个环节都不能出差错。

    真正装完的机房是个非常拥挤的立体空间:顶上有冷气管道,柜间密密麻麻的走线全在地板下面。

    数据中心的工人团队本就熟悉这套流程,可张彪作为唯一的甲方代表,能把这么大的场面管得这么顺,确实不容易。

    实际上,江松然原以为自己过来后,大半时间要花在指挥机柜安装上。

    没想到他到的时候,安装已经快结束了。

    “彪哥,最近几个月学了不少东西啊。”韩路一说了一句。面板上看到的变化虽然直观,可现实中看到张彪把这些细节管得井井有条,更有真实感。

    张彪脸上表情没大变化,只点了点头。

    但韩路一还是注意到,他的嘴角微微动了动。

    几人走进机房大楼,隔着玻璃门,能看见里面摆得整整齐齐的机柜。

    韩路一欣慰地点了点头:源智自己的计算资源已初具规模。

    下午三点十七分,最后一批机柜完成接线。

    张彪在对讲机里确认完最后一个点位,转身对韩路一说:“韩总,可以开始第一轮通电测试。”

    江松然上前接过指挥权。

    在场的人里,只有他指挥过这样的大场面。

    “供电组收到。”

    “液冷组收到。”

    “网络组收到。”

    “监控平台准备完成。”

    “开始上电。”

    随着一声声指令下达,一排排指示灯从远处亮起。

    绿光像潮水一样,从第一排机柜一直蔓延到最后一排。

    低沉的风声和水泵声渐渐变大,像一头沉睡的巨兽正在醒来。

    江松然站在监控屏前,盯着上面的数字。

    供电正常。

    温度正常。

    液冷流速正常。

    单卡自检正常。

    第一轮测试很顺利。

    张彪松了口气,旁边几个运维组的人也忍不住交换了一下眼神。

    但江松然知道,真正的挑战才刚开始。

    之前的五百卡跑在同一个集群里,现在八千一百九十二张卡可以分成十六个集群,每个上限五百一十二张卡。

    这次布线,能不能把新的十六个集群都提到和老集群一样的效率?甚至,还能不能扩大成更大的集群?

    以前没这么多卡,没法试;这次可以试试了。

    江松然在机房控制终端前坐下,开始压力测试。

    他没一上来就跑五一二卡,而是先从八卡开始。

    一般八张显卡放在一台服务器上,也叫一个节点;这八张卡之间的通信叫节点内通信,速度更快。

    每个机柜有八台服务器。

    五一二卡就是八个机柜。

    从节点内通信到节点间通信,再到机柜间通信,每一步都是难度升级。

    随着测试进入五一二卡,监控屏幕上的曲线已不是平滑上涨,能看到斜率变缓的趋势。

    看了一会儿监控,江松然更改设置,把两个五一二卡集群并在一起。

    新任务下发。

    这一次,监控屏上的曲线明显变动,延迟迅速上升。

    监控屏上出现一片红色。

    “失败了啊——”江松然苦笑了一声。

    这其实在预料之中。

    大型显卡集群需要从硬件到软件再到通信协议,各层级都优化才能实现。

    源智的L100集群现在用的是东拼西凑来的各种开源技术,还没来得及做任何优化。

    能达到五一二卡的集群规模已经谢天谢地;想在什么改动都不做的情况下去冲千卡,只能坠机收尾。

    韩路一收回视界,满眼红光从视野里消失。

    视界定位的结论是:注意力层之后的归约通信,几个任务分片同时撞上同一批物理链路,触发了跨排链路堵塞。

    他正准备开口,江松然先说话了。

    “通信模式和物理拓扑对不上。”江松然指着屏幕上的波形说,“你们看,每次拥塞都在注意力层之后;几个分片同时跑归约运算,一起发到跨排链路上,所以每个尖峰都在注意力层后面。”

    赵文渊抱着手站在旁边,开口问:“是因为通信协议?”

    “是啊,是因为通信协议。”江松然确认道。

    随后他转向韩路一,语气遗憾:“韩总,现在用的通信模式在五百卡已经是上限了。”

    江松然和赵文渊得出了和韩路一一样的结论。

    区别在于:韩路一是开挂看出来的,视界直接帮他定位到数据阻塞处,也给出了原因。

    江松然和赵文渊却是凭多年实战经验和技术理解得出的结论。

    顶级技术专家的含金量,在这里就体现出来了。

    人才虽然贵,但贵有贵的道理。

    韩路一暗自点头。

    视界再厉害,他也只是一个人,不可能自己攻克所有技术难关。

    团队里有了赵文渊、江松然,以及新加入的薛兆恒这些各方面的人才,才是源智走得更远的底气。

    韩路一脸上没有失望,反而安慰两人:“没事,能增加十六个五百卡集群,对我们来说已经是巨大的进步。路要一步一步走,饭要一口一口吃。”

    “我们现在最迫在眉睫的任务是解决推理算力问题。推理请求对显存和卡间通信的需求都没那么大;现在我们有之前十七倍的算力,汤圆的潜力终于可以释放出来了。”

    这话江松然当然也知道。

    超大集群主要是训练需求,推理不需要。

    按正常公司的流程,现在要么采购英伟达硬件,用现成解决方案;

    要么还远没到需要自研超大集群通信的进度。

    源智能走到今天这一步,发展过程像坐上了火箭。

    原本在江松然看来,光解决算子适配问题就得花几年;经过这几天的离奇经历,他把预期调整成了几个月。

    所以,几个月后,超大集群就得建起来。

    所以,一个他原以为短期内不会遇到的问题,突然变得棘手起来。

    源智现在撞上了一堵墙。

    一堵到现在为止只有英伟达跨过去了的墙——

    显卡间通信效率。

    韩路一看着监控屏幕上满屏的红色警告,笑了一下:“我们会找到办法的。”

    江松然看了看完全没有担心神色的赵文渊,又看了看韩路一。

    不知为什么,他心中也生出一股自信:不仅是对源智科技团队的自信,也是对韩路一的自信。

    之前认为解决不了的问题都解决了,难道现在会在这里被卡住?

    不会的。

    江松然没再说话,转身回到控制终端前,把刚才的测试日志导出来,为下一步技术突破做准备。
『加入书签,方便阅读』