字: 大 中 小
关灯 护眼
渡口文学 > 首富从看见信息面板开始 > 第二百六十八章 得一可安天下

第二百六十八章 得一可安天下

    “不可能。”薛兆恒脱口而出。

    L100出自他手,各项数据他烂熟于心。

    汤圆是闭源模型,他没碰过,更没用过。

    可它能冲到榜单第一,体量至少不会比那些开源模型小。

    传言里,OpenAI最新的GPT-V有万亿级参数;汤圆再怎么样,也得是千亿量级。

    可L100呢?隔壁实验室就有一小簇L100在跑,最多流畅带过7B(七十亿参数)的开源模型,连21B(两百一十亿参数)上去都卡得厉害。

    离跑汤圆这种级别的闭源模型,还差着两个数量级的参数量。

    现在你说,汤圆跑在L100集群上?

    通信效率怎么解决?L100的算子库,他手下的软件团队啃了一年多,覆盖不到百分之五的使用场景,剩下那些怎么补?

    念头一瞬间涌上来,薛兆恒沉下脸,缓缓开口:

    “韩总,我不知道你说这话是什么意思。”

    办公室里只有韩路一和他。薛兆恒抬眼看了看门口,继续道:“如果你打算拿这套说辞出去骗人,说硅明已经突破英伟达的生态封锁,再借源智的名头把硅明包装起来——恕我不能配合。”

    韩路一清楚薛兆恒对他有戒心,却没料到对方会这样猜。

    难道就没有另一种可能:算子适配的工程量确实大,硅明团队写不出来,可带着源码的团队已经写完了?

    这个可能,从头到尾都没进过薛兆恒的脑子。

    谁信,他都不会信。

    陆正平也好,周涵也罢,都是外行。听说国产适配,他们只当韩路一做了个技术突破——中国这些年,技术突破还少吗?

    可薛兆恒太清楚,写算子适配和通讯协议要填多少工程量。

    若说打磨了四五年才出成果,那还可信。

    可L100从量产到现在才一年,五百张卡交付源智也才两个多月。

    两个多月,写个毛线啊?

    韩路一本想把“源智已完成L100推理适配,汤圆就运行在L100集群上”当作收服薛兆恒和硅明技术团队的筹码。

    偏偏薛兆恒完全不信。

    没法子,韩路一掏出手机,当着薛兆恒打开云垠数据中心汤圆推理集群的后台面板。

    他把手机搁在桌面正中,转了个方向,正对薛兆恒。

    “薛总,这是实时数据,你看一下。”

    薛兆恒前倾身子,扫了一眼面板,伸手滑了一下。

    实时调用量、平均延迟、显存利用率、吞吐、错误率、任务分布……集群负载数据一列列铺开。

    他盯住几个关键指标,边看边和脑子里的数据对照。

    结论很快出来。

    假的。

    L100的效率不该这么高。

    “既是这样,韩总,那我们没必要谈了。”

    这回他语气里已没了起初的客气,甚至压着怒意。

    他认定韩路一是个想借硅明招摇撞骗的野心家,心里已盘算着怎么搅黄这笔交易——虽说作为小股东,他能做的实在有限。

    可他宁愿硅明破产,也不愿看它沦为别人骗钱的工具。

    证明自己没造假本就很难:一旦对方起了疑,什么证据都像伪造。

    这种事韩路一经历得多了,只是没料到薛兆恒如此固执,面板都摆到眼前了仍不信。

    他没计较话里的冒犯,只提出最后一个办法。

    “薛总,硅明有现成的测试环境吗?”

    薛兆恒一愣。

    还不放弃?

    “有。”

    “什么规模?”

    “隔壁机房里有一个小集群,三十二张,是我们做内部验证的。”

    韩路一点头:“三十二张够了。薛总,不介意带我去机房看看?”

    薛兆恒明白,韩路一还要坚持那套说法。

    他没有理由拒绝;况且到这时,心底也松了一丝。

    L100,真有这么厉害?

    两人起身,一前一后出了办公室。

    ……

    硅明的机房就在隔壁。严格说,那算不上标准机房。

    不过是办公楼里一间房改的。

    没有冷暖风通道,没有湿度控制,也没有静电屏蔽。

    几台服务器机柜立在房间中央,风扇嗡嗡作响。

    机房里空无一人。

    这个点团队早下班了,薛兆恒是为见韩路一特意留下的。

    机房和服务器集群的全部权限,仍在他手里。

    “韩总,您打算怎么验证?”薛兆恒问。

    “你自己也说过,L100集群要跑千亿级大模型,至少得解决两个难题。”

    “对,通信效率和算子库。”薛兆恒点头。

    大类只有两个,里头的技术挑战却数不清。

    单说算子库,英伟达的生态是一点一点磨出来的水磨工夫;不仅算子齐全,还一直在调优。同一个运算交给模型,在英伟达显卡上走CUDA就是快,换别的生态便快不起来。

    L100要做到同样的事,得让软件、硬件架构等多个团队协同,找出最高效的参数。

    CUDA生态的根基,就在这里。

    “这两个难题,我们解决了。”韩路一说得轻描淡写。熟悉他的人一听便知,他是故意的。

    薛兆恒还不熟他的风格,却仍觉得自己被嘲了。

    你知道自己在说什么吗?

    韩路一没理会他的反应,从兜里摸出个U盘。

    U盘是刚才在外头找刘彧要的,原本是空的;说话的工夫,他已用视界把源智私有代码库里的适配文件写了进去。

    薛兆恒只当这是他提前备好的。

    “这是源智团队重写的运行时和算子适配。你可以试着用一下,再去部署一个开源模型。”

    薛兆恒将信将疑:“你是说,源智抛开硅明提供的软件层,完全重写,还能跑到接近CUDA的水平?”

    韩路一没答,只把U盘又往前递了递。

    薛兆恒接过,插进机房中一台连着服务器集群的电脑。

    服务器都在内部局域网里,他不太担心U盘带毒。

    可他实在不信源智有本事做到韩路一说的那些。

    那不是真成中国英伟达了?

    U盘里躺着几个编译后的文件,命名规范,恰好能替换L100软件栈中算子库和运行时的部分。

    甚至不用韩路一指点,薛兆恒就知道该复制到哪儿,随即重启服务器。

    重启时,这些新写入硬盘的二进制文件会被载入内存,供集群调用。

    控制台终端开始滚动日志。

    L100 backend detected.(检测到L100后台)

    runtime initialized.(运行时已初始化)

    kernel fusion enabled.(算子融合已启用)

    memory planner initialized.(显存规划已初始化)

    multi-card scheduler ready.(多卡调度准备就绪)

    服务加载完毕。

    21B模型进入运行状态。

    薛兆恒呼吸微急。

    他没去手动输入问题、看模型回复。

    模型回什么,是做模型的人该操心的事。

    他只看硬件性能和利用效率。

    服务器里存着硅明平时测试用的脚本,能大量生成模型输入,对承载能力做压测。

    他没犹豫,运行测试脚本。

    监控数值开始变化。

    最先跳的是显存利用率。

    以前跑开源小模型,硅明自己的算子库连显存都分配不好,七成显存白白空着。

    眼下这个数字远远越过30%。

    75%……82%……88%……

    最后差不多稳在95%。

    没检测到回灌压力前,压测脚本还在加大并发。

    实时吞吐量已到二十五万词元/秒。

    薛兆恒记得,同样的测试上次卡在两万就上不去了。

    算力芯片上,真正衡量软件水平的关键指标叫模型算力利用率(Model FLOP Utilization,MFU)。它不直接显示在面板上,因为计算它要用芯片算力的极限值。

    若理论上芯片能跑1000 TFLOPS,模型实际只用到200 TFLOPS,MFU就是20%。

    跑21B模型,每生成一个词元约需2×21B,也就是大概42 GFLOPs。

    二十五万词元每秒对应250000×42 GFLOPs=10500 TFLOPS。

    L100理论算力600 TFLOPS,32卡集群就是32×600=19200 TFLOPS。

    10500÷19200=54.7%。

    54.7%?

    薛兆恒心算完,总疑心自己看错了位数。

    他打开计算器,又算一遍。

    确实是54.7%。

    要知道,英伟达最先进的H200,MFU极限也只在60%上下。

    这一刻,薛兆恒心跳快得像二十多年前和老婆结婚那晚。

    他一直以为L100的路子不对,硅明落到今天这步,是芯片设计败了。

    可这一刻他意识到:自己缺的只是一套软件。

    有了它,硅明就真成了中国的英伟达。

    薛兆恒缓缓起身,回头看向韩路一。韩路一正带着若有若无的笑看他。

    “薛总,我没骗你吧?”韩路一说道。

    薛兆恒仍能听见胸口剧烈的心跳。

    这是这么多年,他离梦想最近的一刻。

    算力国产化,真在他手里实现了。

    又深呼吸几次,他才开口:“韩总,对不起。”

    韩路一尚未答话,薛兆恒又道:“我为刚才的傲慢向您道歉。这套软件的价值比L100大,比硅明大,我竟以为您是个骗子。”

    韩路一上前一步,拍拍他肩膀,笑道:“薛总言重了。这样严谨的作风,正是芯片研发最需要的;我还指望你将来带队做出更好的芯片。”

    “况且,软硬件缺一不可,说不上谁价值更大。没有L100,软件层也只是空中楼阁。”韩路一给他递了个台阶。

    薛兆恒心里却清楚,这层适配软件不是两家合作攻坚出来的,而是源智团队全靠逆向做出来的;能做硅明,自然也能做别家显卡。

    真正稀缺的从来不是显卡,而是这种快速完成软件层适配的能力。

    硅明被选中,是运气。

    几百兆的适配层,U盘传进来不过几秒;可有了这几百兆文件,硅明二十亿的估值怕要翻上一百倍还多。

    要知道,全中国都在找突破英伟达体系的国产化替代方案。

    中国AI芯片市场规模三年前就已达三千亿。

    哪怕只拿下百分之十,也是三百亿营收,足够撑起一家几千亿市值的公司。

    薛兆恒不算成功的商人,却在芯片行业浸淫多年,对这些数字了如指掌。

    他没有对源智提供的文件动歪心思,反倒感激韩路一的信任——他完全可能偷偷留下备份,转头告诉投资人。

    可他也明白,源智团队的技术能力,价值远高于这几百兆文件。

    唯有让硅明与源智合作,才有可能继续探国产算力的极限。

    当然,薛兆恒不知道,韩路一敢把U盘放心交给他,是因为机房里一切电子设备都在视界监控之下;他若真想偷备份,也会第一时间被发现并删除。

    还好,他没机会发现这套魔法般的防御机制。

    薛兆恒删掉适配文件,集群重启后,与韩路一一前一后走出机房。

    已是晚上八点。

    “韩总,时间不早了,您今天又舟车劳顿,我就不留您吃饭了。”薛兆恒脸上挂着不好意思的干笑,“您好好休息,明天看完库存,我再请您吃鹏城特色。”

    说到底,薛兆恒这个创业公司CEO过得比韩路一寒酸多了:没秘书,没助理,连司机也没有。

    他急着见韩路一,本就有失礼数;又拖到这么晚,想安排宴请,身边连个人都没有,只好尴尬地送未来老板离开。

    好在韩路一不在意这些。

    在他看来,工作优先;能把薛兆恒拉进队伍,将来死心塌地搞研发,这几个小时就没白花。

    硅明这笔交易成功,至少汤圆短期内的推理算力算解决了。

    薛兆恒一直送韩路一上车。车门关上前,韩路一又看了一眼薛兆恒的属性面板。

    【薛兆恒】

    【研发(芯片)SS|管理D|稳定SS】

    【特技:芯片研发|供应链管理】

    【词条:从无到有|凤雏】

    “韩总,回酒店?”刘彧坐在副驾驶上,回头问了一句。

    韩路一回头看向陆明洲:“明洲,你来两天了,吃过什么好吃的馆子没?先去把晚饭吃了。”

    说罢,他望向窗外。

    卧龙凤雏,得一可安天下。

    如今两人都在我手,英伟达,你又将如何应对?
『加入书签,方便阅读』