清晨不到六点,京城的路还没堵起来。
出发前,沈仲和已经看到源码官网和汤圆Chat内都发布了临时提示:【由于服务器维护需求,汤圆Chat将进行短暂的流量控制;非付费用户的智能体服务可能面临等待时间变长等情况。非常感谢您的理解和支持。】
十七个集群,今天要下线两个做测试,对已满负荷运行的汤圆集群来说,影响不小。
虽然能靠云服务器暂时顶上,韩路一还是决定发布这则通知。
沈仲和自己开车,与几个核心工程师先在源智总部汇合,再一起赶往张家口的云垠数据中心。
一切顺利的话,总共两个多小时车程。
虽然一大早就起来了,沈仲和却一点儿都不困,心里甚至有些兴奋。
做了这么多年互联协议研究,又磕磕绊绊地做了三年失败的商业化,今天终于能把研究成果放进实际环境里使用。
有种丑媳妇终于要见公婆的感觉。
不对,沈仲和在心里纠正自己:HL-Link明明很美嘛,该是美媳妇见公婆。
到上午九点,车开进云垠数据中心园区。
沈仲和从副驾驶下来,揉了揉疲惫的双腿,先给刘彧发消息通知自己到了,然后带着团队走进行政大楼。
没等多久,韩路一便带着刘彧、赵文渊从里面出来,同行的还有一个胖胖的中年男人。
几人走近后,韩路一开口介绍:“刘总,这位是我们源智负责互联协议的沈总。”
随即他又转向沈仲和:“这位是云垠的老板刘总。今天听说我们要做大规模测试,刘总特意赶来提供支持。”
韩路一心里清楚,特意赶来是真,却不是为了互联协议的测试。
源智拿下国网订单的事,在圈子里已不算秘密。
刘然作为与电力系统接触颇多的生意人,第一时间想的就是怎么再和韩路一拉近关系。
上次云垠技术员给源智服务器接错线的事,他还记忆犹新;所以听说韩路一过来,他第一时间便赶了过来。
刘然已经打定主意:今天无论如何要把源智的人服务好,确保测试不能从云垠这边出纰漏。
“韩总,一会儿你们要做测试,可能涉及商业机密,我在也不合适。您有我电话,有事随时联系我。”刘然说完,返回了自己的办公室。
韩路一带着源智一行人来到L100集群所在的数据中心大楼。
众人先到操作室,和海城那边连上线。
江松然也已远程准备就绪,在网络路由层把第一、第二两个计算集群标记为下线。
沈仲和开始带人进行固件更新操作。
这当然没必要一个一个来,但沈仲和决定先从两个开始。
实验室里已经做过很多次测试。
可到了生产环境,再谨慎都不为过。
软件、硬件,人可能在任何地方出错。
沈仲和自己就有前车之鉴。
当年他在中科院做研究时,组里要求固件必须手动刷,一个一个刷。
年轻的沈仲和觉得这太傻了,便写了个脚本刷固件;没想到脚本里的主板型号笔误写错,结果固件写到一半报错,把整个机柜刷砖了。
他被当时的导师骂了个狗血淋头。
如今回想起来,沈仲和心里已没有埋怨,反而怀着一丝感激。
人看见别人犯错时,总觉得这错误很低级,我不会犯;但不论看别人犯多少次错,都不如自己真犯一次长记性。
互联协议写在非常底层的逻辑里,一个搞不好,把这一千多张计算卡搞成砖头,那乐子可就大了。
沈仲和带的团队默默工作,只偶尔进行两句必要交流。
韩路一在旁边看着,也不说话。他能看出沈仲和团队都憋着一股劲儿;这种劲儿,他自己刚创业时也有过。
他回头看了赵文渊一眼,在心里默默想道:老赵的管理水平其实也不差,一个刚加入的新团队,竟有这么强的战斗力。
就看今天的测试结果怎么样了。
很快,一台八卡服务器完成升级,测试显示单服务器内连接速度比用原生PCIe协议高了将近30%。
这已是相当可观的提升。
和实验室里的数据非常接近。
沈仲和请示韩路一后,把下一步测试规模提升到两台服务器。
测试正常。
随后扩展到八台。
正常。
三十二台。
正常。
六十四台。
依旧正常。
六十四台八卡服务器,对应五百一十二张计算卡的集群,也就是源智现在正在使用的集群规模。
全部替换为HL-Link私有协议后,通讯效率比之前提升了四点七倍。
测试数据出来后,后面看着的刘彧吓了一跳,还以为测试出错了。
但他仔细观察韩路一、赵文渊和沈仲和的表情,似乎这个数据完全不出乎他们的意料。
刘彧有点儿迷惑:怎么一台服务器测试时才高三成,加到六十四台之后反而变成四点七倍?
他看着互联团队忙碌的状态,自然不好上前打扰;但韩路一和赵文渊都在旁边没事干,于是刘彧凑上去小声问:“赵总,刚才的测试不是才提高三成吗?怎么这次一下高了快五倍?”
赵文渊闻言,也压低声音回复:“咱们之前用的是PCIe原生协议,是为应对各种硬件之间的通讯设计的,里面有很多浪费,拓扑结构也没有优化。这个协议当初设计时就是为了给个人电脑用,根本没考虑过大集群的问题;现在拿它做集群间通讯,很多时间都耗在寻址绕路上。现在装上的新协议专门为这种全局通信设计,规模越大,优势越明显。”
这其实不是赵文渊的专业;但因为当了研究院院长,他要统筹所有项目进度,这些协议知识都是他最近恶补的。
韩路一在旁边听着两人对话,心里也在默默盘算。
这个五百卡集群已完全升级到HL-Link互联协议,通讯效率是之前的四点七倍。
即使以现在的状态把使用新协议的五百卡集群重新上线,它也能用相同硬件资源支持更高并发、更多用户请求。
但这可不是今天测试的核心价值。
此时,互联组已经把另一个由五百一十二张L100组成的集群也完成了升级。
他们都在等下一步命令。
沈仲和站在原地,深吸了一口气。
后面坐着的韩路一和赵文渊目不转睛地盯着测试现场。
视频会议另一边的江松然也屏住了呼吸。
上一次,就是在这一步,组成千卡集群的尝试因跨排链路拥塞,造成整个集群连锁反应式崩溃。
当时,随着两个五百卡集群相连,整个监控屏幕一瞬间飘红,仿佛火警现场。
也是那一次,他们发现原生通讯协议是阻止L100组成更大集群的瓶颈。
现在,L100集群装备新通讯协议之后,第二次尝试要开始了。
随着沈仲和按下回车,采用全新协议的两个L100五百卡集群并入同一个逻辑集群,各个节点开始重新构建新的拓扑结构。
监控屏幕上的数字从【512】【512】变成了【1024】。
全新集群上线,江松然在远程运行了第一个模拟训练任务。
监控屏幕中,显存使用率开始上升。
卡间通信的带宽占用也在同步上升。
但很快就稳定在一个安全区域内。
两分钟后,训练任务完成。
显存使用率和带宽占用也开始同步回落。
千卡集群测试成功了!
看到结果的一瞬间,赵文渊就转头看向韩路一。
只见韩路一脸上云淡风轻,仿佛对这个结果早有预料。
啊,早该预料到的。
越是高兴,就越要装得若无其事。
赵文渊无奈地看向背对着他的沈仲和,只见沈仲和一动不动,整个人仿佛呆住了。
赵文渊起身走到沈仲和旁边,拍了拍他的肩膀:“老沈,成了。”
沈仲和这才如梦方醒。
真成了。
研究了这么多年的屠龙技,如今真的要去屠龙了。
……
第一次连接成功,只证明HL-Link在L100上的可行性。
但学术问题和工程问题最大的差别,就在稳定性。
在把HL-Link推广到现有所有L100集群上,甚至在新生产的L100计算卡上直接预制之前,还需要进行详细测试。
沈仲和已经带着手下人干起来了。
比如随机把一个节点断电,模拟真实环境中出现坏节点的情况。
现实环境不是理论,什么突发情况都可能发生;不能等真发生了,才发现这种情况没考虑过。
但最重要的结论已经验证,韩路一不打算一直盯在这里。
走之前,他特意和沈仲和聊了两句,鼓励他好好工作;之后下一代芯片研发、更大规模集群组网,都缺不了互联团队的贡献。
随后,韩路一和赵文渊一起走出数据中心大楼,又特意叮嘱了几句:“这次几个团队都有大突破,你带他们组织一个庆功宴,庆祝一下。另外,我给你批一笔项目奖金,你来分配,要公平。”
赵文渊听到任务,没什么特别反应,应道:“好的韩总。”
韩路一见他好像没明白,便提醒:“要你亲自去公布,亲自去发,明白吗?”
没有比发钱更能笼络人心的。
赵文渊这才有点儿反应过来。
韩总特意把这事交给他,是为了帮他在研究院树立威信?
大半个京城研究院的队伍都是最近一个月拉起来的,只有十几个从海城搬过来的源智老人;再加上收购瀚联的团队一下进来几十个人。赵文渊虽名义上是院长,实际上威信可能还没沈仲和高。
他这次道谢更真诚了:“我明白了,谢谢韩总。”
韩路一边走边说:“我最近还在想一个问题。以前团队小,我们的任务也重,很多活都是我们两个亲自去干。现在队伍渐渐大了,我们都要学会放手,让团队去做才行。”
赵文渊想了想,是这个道理。
随即,赵文渊脚步一顿,突然反应过来。
韩路一说的是“我们”都要学会放手。
就是说,你也要放吗?
赵文渊眼神一凝,看着韩路一远去的背影,就像看着一个正在走远的老爷爷。
但他又不得不承认,韩路一说得对。
不可能碰到什么困难都等着韩路一来做,其他人都给他打辅助。
那样的话,公司的上限也太低了。
赵文渊自己也在反思:他以前做科研、创业时,有什么困难都是自己扛;但自从加入源码科技,无论出现什么棘手难题,只要去找韩路一,他都能解开。赵文渊便渐渐依赖起韩路一这种如同“贴身老爷爷”一般的能力来。
现在“贴身老爷爷”要放手了,赵文渊既有点儿不舍,又隐约渴望检测一下自己的真实能力在哪里。
他加快脚步赶上来,回应韩路一刚才那句话:“好的韩总,有什么困难我们尽量自己解决,解决不了的才找您。”
这时刘彧已经把车开了过来。韩路一坐上车,对着赵文渊挥了挥手:“这次过来看,你在京城做得很好,好好保持。”
赵文渊站在原地,目送车辆远去,突然叹了口气。
好好的一个老爷爷,怎么突然不能用了。
……
韩路一和刘彧落地海城时是晚上七点多。走到到达大厅,韩路一对刘彧说:“你先回去吧,明天办公室见。”
刘彧一愣:“韩总,要不我给您打车?”
“你家不是在地铁线上吗?”韩路一说道,“有人来接我了,你早点儿回去休息吧。”
刘彧反应过来。
是韩总的女朋友来接他了。
刘彧转身走向地铁口,突然觉得这个场景有点儿似曾相识。