周二,上午十一点四十五分。
从京城飞往海城的航班刚刚落地浦东机场,正进入滑行状态。
商务舱里,赵文渊拿出手机,关掉飞行模式,给来接机的行政发了条消息。
随即他打开知乎,看见一个颇感兴趣的问题。
“国内在搞大模型的公司,有没有在用国产芯片训练的?真能用吗?”
离舱门打开还有一会儿,赵文渊开始打字。
这类问题热度不大不小。
比起“如何评价XXX”“怎么看待XXX锐评XXX”之类的八卦,它自然不如;可比起一般技术讨论,又更热门些。
毕竟AI正热,何况问的是国产芯片。
汤圆在排行榜上霸榜一个月后,批评刷分的声音虽然还有不少,大家也渐渐接受了中国公司模型能力很强这件事。
毕竟你说人家刷分,你也可以刷啊,怎么没见你把他刷下去呢?
但训练生态就不一样了。懂点行的人都清楚,中国的芯片生产被美国佬及其盟友限制得死死的,英伟达又凭先发优势建起庞大的生态帝国。
除了谷歌,市面上暂时没有第二家能跟它竞争的生态;而谷歌只是自用,并不外销。
所以底下的热门答案基本一片唱衰。
“国产芯片训练大模型?目前完全不可行,生态差距不是一两年能弥补的,英伟达CUDA生态二十年了,从零开始追?祝你好运。”
“实体清单懂不懂?技术上和人家有代差呢,怎么比?”
“楼主是被人忽悠了吧?现在说这个的都是骗钱的。头部大厂都在海外建数据中心买英伟达的卡呢,国产卡没戏。”
赵文渊看得直皱眉,两只手在手机屏幕上飞快跳动起来。
谢邀,人在海城,刚下飞机。
每次看到这种问题都有点无语,一群人说什么“差十年”“比不了”,再问有什么根据就一问三不知了。
实际上,英伟达的CUDA体系虽然厉害,我们想追上也不是没办法。软件生态上,只要有人肯花钱、下苦力气,就能做到,而且我相信肯定有团队已经在做了。
大家都盯着光刻机和制程,可训练大模型的瓶颈不只是制程。软件栈、互联拓扑、内存带宽,这些地方才真正能做出差距。更别说,如果你知道自己要跑什么,专用架构能补回来的东西,远比大多数人想象的多。
作为业内人士,我就直说了:一年之内,国产芯片的推理和训练必定都能跑通。
多的不说了,懂得都懂,不懂的再怎么说也不会懂。利益相关,匿了。
不知不觉,舱门已经打开,周围的人都站了起来。空乘过来提醒:“先生,您可以下飞机了。”
赵文渊抬头,对空乘小姐姐笑了一下,说了句“谢谢”,然后在手机上点了“发布”键,起身离开。
刚才那段挥斥方遒,真是一场酣畅淋漓的装逼啊。
留下小姐姐在原地等了一会儿,突然懊恼地想道:这个男人看起来风度翩翩、年少多金,刚才应该给他留个微信的。
下了飞机,赵文渊找到来接他的小马,两人直奔源智总部。
上午刘彧发来消息,让与AI训练相关的几个部门领导先在内部对齐,京城团队如有需求可远程接入。
也就是说,赵文渊本不必亲自到场。
但他和沈仲和快速碰了一下,还是决定赶过来。
下一代芯片的真正使用者是模型团队,只有他们清楚自己最需要什么能力;远程开会和现场沟通,效果终究不同。
人与人的交流不只有语言,许多非语言信息非得面对面才看得见。
随后他让行政订了最近一班机票,行李没带,只拎着一台电脑直奔机场。
车很快路过源智总部正门,赵文渊抬头看了眼气派的大楼。
这是他第一次见到源智新总部。新总部装修完之前,他就已去京城主持研究院筹建。
京城办公室同样占着一层写字楼,和此前源码、源智在前滩租的楼差不多。
可眼下望着崭新气派的独栋大楼,老赵心里一下愤愤不平起来。
不是,你们怎么过得这么好啊?
车驶入地下车库,赵文渊跟着小马上楼,直奔董事长办公室。
“文渊,一路辛苦了。”韩路一看着风尘仆仆的赵文渊,先出言欢迎。
在源码创业早期那批人里,赵文渊虽不是最早加入的,却和韩路一最有共同语言。
两人都技术出身,从前还做过竞争对手,彼此有些惺惺相惜。
如今赵文渊被派去京城主持工作,许久不见,韩路一还怪想念的。
韩路一让刘彧先给赵文渊弄杯咖啡——办公室里特意备了厚椰乳,正好试试自制生椰拿铁。
“怎么,启动会交给我们不放心,还要亲自来监工啊?”韩路一笑道。
“我要是不来,哪知道你们在海城过的是什么好日子。”赵文渊痛心疾首,“看看这大楼,韩总,你当初让我去京城时,可没说咱们要搬进这么好的地方。”
说着,他吸了一口刘彧自制的生椰拿铁。
好喝。咖啡、牛奶还是椰乳,品质都比瑞幸九块九的强。
心更痛了怎么办。
“你在京城好好干,等咱们上市了,我在京城给你买栋楼。”韩路一倒不吝惜画饼。
但愿到那时,京城的研究团队真需要一个独栋来装。
坐下没多久,张彪拎回几份打包的简餐。
黑椒牛肉意面、番茄肉酱意面、菠萝鸡粒炒饭、瑶柱滑蛋炒饭。
——园区附近的菜单还挺丰富,这几样都是张彪严选。
江松然和薛兆恒也随后赶到。
“时间紧,中午简单吃点,晚上再一起给赵总接风。”韩路一说道。
几人一看这架势,便知道要边吃边谈。
韩路一很快起了话头。
与冰芯的合作意向早已定下,下午的启动会自然会谈不少长期目标,但有一个话题绕不开。
谁来主导项目。
这话听着奇怪:源智是下单的甲方,自然该由源智主导,有什么需求让乙方配合便是。
可半导体行业不一样。
严格说,冰芯是国内唯一有能力——或者说勉强有能力——满足源智需求的生产商,自身也有深厚的技术沉淀。
若源智只是简单出设计、搞生产也就罢了;但两家合作是要做出点新东西,中间涉及许多技术决策。
冰芯负责晶圆制造,掌握工艺窗口、产能安排和良率数据;源智负责芯片设计,手里还有模型、编译器、互联技术。
嘴上喊的是联合研发,可各家工程师都会本能站在自己的位置考虑问题。
两边一旦有分歧,听谁的、怎么解决,合作开始前就得定个章程。
“当初谈判,我们用L100的成功说服了他们;但问题是,接下来的L200,我不想让团队再走L100的老路。”韩路一说道。
薛兆恒摸了摸下巴:“韩总,你的意思我明白。若只是用冰芯工艺把L100再做一遍,虽然难,台积电那边的经验还能部分移植;可我们如今打算把技术路径整个换掉,对冰芯来说,工艺团队、验证团队要花的时间恐怕多几倍,封装产线也得预留资源。”
说完他自己先犯了愁,越说越觉得难。
“对,所以我们得让冰芯知道,这条新路线不是拍脑门想出来的,而是真实可行的一条路。”韩路一说道,“更重要的是,新路线若真错了,代价由我们承担。这样他们才有可能承认我们的主导权。”
谁做决定,谁承担后果,很合理。
江松然在旁边开口:“韩总,薛总早晨发的文档我看了,这条路其实也不好走。”
韩路一挑了挑眉。
他知道江松然以前在谷歌参与过TPU项目,而谷歌TPU走的正是这个思路。
只不过,谷歌是有选择的创新:嫌英伟达显卡太贵,不愿再花这份冤枉钱。
源智这边,则是没有选择的创新。
冰芯的制程限制摆在那儿,大而全根本做不到,只能砍掉冗余,专精必需的部分。
谷歌最后做出来了,可过程中坑在哪儿?外人没人知道。
江松然缓缓开口:“具体细节我不知道,我是做编排的,离芯片还差两层。但我知道,从训练框架到芯片设计,中间的依赖牵一发而动全身,谷歌也是做着做着才发现缺了东西。所以照这个思路走下去,我们得明确汤圆下一代模型训练需要什么,这才是需求的关键。”
源智要做的不是通用GPU,甚至不是谷歌TPU那样的张量计算芯片,而是一块专为汤圆训练栈设计的全新芯片。
这也是赵文渊看过早晨文档后执意来现场参会的原因。
没人比他更了解汤圆接下来的训练需求。
几个模型和芯片方向的高管讨论一番,把事情理得更清楚了些。
也就是说,想拿到合作主导权,必须让冰芯认同源智下一代的发展思路;而要做出专为汤圆设计的下一代芯片,又必须拿下合作主导权。
韩路一又把下午冰芯方面参会名单拿出来看了看。
廖伯韬会到,而想在技术路线上说服他,可不容易。
必须拿出点真东西才行。