赵文渊盯着研究院员工们想看又不敢看的目光,抱着纸箱回了办公室。
秘书方芳看见他走进来,吓了一跳,差点儿以为自己的老板突然被裁了。
随即反应过来:他抱着纸箱是从外面回来,不是出去。
再加上韩总也没来。
方芳敲了敲头,心想:看来是最近职场短剧看多了,被无脑剧情搞脑残了。
她赶紧起身接过纸箱,往里瞟了一眼:一个白色头盔,看着挺精致;旁边还有一只银色机械手,泛着金属光泽。
这是什么新买的手办吗?看着和复仇者联盟里的那个手套还挺像的。
感觉确实是赵总会喜欢的风格。
“赵总,我给您摆到书柜上?”方芳问道。
赵文渊奇怪地看了她一眼。
“摆书柜上干什么?我一会儿要接电脑上。”赵文渊说完抬手看了看表,“先在你这儿放一下,我去开会。”
下一场是和江松然的算力会,正好要聊豆汁儿模型的应用。
走进会议室,小牛等几个负责豆汁儿模型的研究员已经坐在里面;见赵文渊进来,纷纷起身叫了声“赵总好”。
赵文渊对他们轻轻点了点头,说道:“都坐都坐。小牛,你开电脑接一下线上会议。”
很快视频接通,对面也是一间会议室。
出乎几人意料,除了江松然和他手下负责算力基础设施的总监、高级专家,韩路一竟然也在会议室里。
“韩总好。”赵文渊赶紧打招呼。
韩路一点点头,说道:“我刚才来找老江,正好碰上你们要开碰头会,不介意我旁听一下吧?”
这话一出,除赵文渊外,其他人都明显紧张起来。
跨部门协作本就不容易,大老板突然出现在会议里,准备好的演示和交流顿时显得准备不足。
像小牛这样从海城时期就在的老员工还好;一些在京城入职的研究员本来和韩路一接触不多,心里难免更忐忑。
会议开始,赵文渊先定了议程。
“今天这个会呢,主要是给两边团队定个调。我们研究院最新研发的豆汁儿模型能做什么、不能做什么、适合做什么,功能方面我上午已经给江总演示过了,一会儿由小牛再给大家简单过一遍;然后重点讨论接下来双方怎么合作,如何把豆汁儿模型放进调度层;最后做一个简单的排期。”
赵文渊说完,问韩路一:“韩总,您看还有什么要补充的吗?”
韩路一想了想,说:“我说一句。开会要开到点上。在场谁若觉得自己不能在这场会议里贡献意见,只是来跟进进度,可以先离场;之后看会议记录也一样,不用在这儿浪费时间。”
韩路一说完,看了一圈,倒是没有人离场。
他接着说道:“还有,每场会议开始前都该有预期产出。我刚才听了一下,这场会开完会把合作计划和排期定下来,是吧?会议结束时记得总结一下。”
说完,韩路一对着屏幕点了点头:“小牛,开始吧。”
小牛站起身,清了清嗓子,说道:“韩总,江总,我先给大家做一遍演示。”
小牛共享屏幕,做了一遍演示,内容和高管例会上赵文渊做的基本一样。海城会议室里,基础设施部门的员工都是第一次看到成果,心中初步满意,却不免仍有怀疑。
单个请求做得又快又好,只是不知道并发上来后表现如何,又会占用多少资源。
豆汁儿要代替汤圆做调度辅助,除了精度不能拉胯,自身也不能太耗算力——不然省出来的算力全用来跑调度器,就完全没意义了。
江松然率先提出这个问题:“这个豆汁儿模型想支持十万QPS,需要多少算力、多少资源?”
目前整个起源自有算力的吞吐量大概就在十万QPS这个量级,江松然才有此一问。
这是把豆汁儿接入每一个调度请求所需要的资源。
小牛拉出一张图表:“江总,我们做过压测,自己使用的八卡L100大概能做到两万四千QPS。”
这个数字让海城会议室的人一惊。
那岂不是说,就算加上资源冗余,要服务整个起源所有推理请求的调度,也只需四十张L100左右的算力?
这个豆汁儿模型也太小太省算力了吧。
江松然对身边的基础设施总监陶封说:“老陶,刚才赵总那边说,豆汁儿模型的判断准确率能到98%。按这个数据估算,如果现在把每一步算力调度都跑一遍豆汁儿模型,照我们之前的估算,大概能提高多少效率?”
陶封在面前的笔记本电脑上迅速操作了几下,回答:“我们之前测算过,总体算力约有百分之三十因资源错配被浪费;若真能达到这个准确率,应该至少能救回百分之二十。”
两个数据中心目前一共部署了三万张左右计算卡,若能从里面优化出百分之二十的性能,就等于凭空多出六千张卡。
四十张卡,能换出六千张卡的算力来,这就是豆汁儿模型的价值。
韩路一在旁边暗自思量:离赵文渊之前要求的万卡训练集群还有点儿差距,还得再想办法。
眼下新买的卡一直在持续部署,国产算力联盟的适配工作也在更多厂家推进,也许再过两个月,这几千张卡的缺口就能补上。
只不过不知道到时候起源对算力的需求又会增长成什么样子。
韩路一心里盘算着,陶封和他带来的高级专家已和小牛讨论起联调的具体细节。
“我们肯定要灰度上线。以现在的体量,首批先接入百分之一的服务器,效果稳定后再慢慢往上加。”陶封说。
“可以。”江松然点头。
产品发布一般没这么麻烦,可基础设施是全公司所有产品的基石,一旦出问题,所有产品都会受影响,所以格外谨慎。
“那就只剩时间了。先不谈上线,只做改动,大概要多久?”江松然转头问另一位参会的下属——基础设施部门高级专家谭应许。
谭应许沉吟片刻,说:“这个接口很简单,把调用汤圆的地方换成调用豆汁儿,返回结果的解析逻辑大概改一下。如果着急,我今天就能做完。”
韩路一在旁边听笑了。
他仿佛看见当年自己在鼎盛做排期预算时的样子。
“别一天,一周吧。”韩路一开口,“光改完还不够,记得把测试跑通。这个改动影响太大,没必要这么着急。”
按韩路一总结的经验,做计划时的估算肯定不准;把第一时间估出的时间先翻倍,再加三天,差不多就是最终实现所需的时间。
做基础设施最重要的就是立规矩,规矩立住了,以后的路走得才稳。
奇怪,怎么有奇怪的声音传进来了?
谭应许听得一愣。他在不少大厂工作过,加班加点“今天晚上赶出来”的命令见过不少;主动给加时间的,还是第一次见。
不过这对团队来说是好事,谭应许当然不会反驳。
“好的,韩总。”
江松然看了看,总结:“联调方案刚才已经定下来,排期也定了,那我们就争取下个星期这个时候灰度百分之一。哪个部门有新信息,大家及时同步。”
眼看视频会议要挂断,赵文渊突然想起什么:“对了,韩总,今天上午梦脑科技那边也有新进展,我什么时候和您汇报?”
他心里想显摆的,是刚抱回办公室的那箱宝贝。
韩路一回答:“我和老江还要再碰点别的事,一会儿找你。”
……
韩路一和江松然分别坐在董事长办公室茶几两边的沙发上,韩路一让刘彧端来两杯咖啡。
“怎么样,L200进展还顺利吗?”接过咖啡,韩路一开口问。
江松然现任算力方向高级副总裁,总览从芯片研发、数据中心管理到基础设施建设的各个环节;L200的进展,韩路一自然先问他。
芯片研发在各家企业都属于保密级别最高的领域之一,江松然手头没有资料,全靠脑子里的进度来讲解。
“老薛那边推进得还算顺利。咱们之前模拟设计的新架构在仿真平台上数据很惊艳,在冰芯团队帮助下,有几个物理限制做了调整。互联方面,现在两边各自研发,但接下来可能得让沈仲和团队来一趟海城。”
韩路一点头:“我这次去京城见他,他也吵着要带团队过来。他们很期待和冰芯合作。”
江松然笑了笑:“和冰芯合作感觉不错;不过我猜,他们和我们合作的感觉也不错。”
韩路一听懂了江松然的话。
冰芯团队拿到起源之前共享过去的最新工具后,工作效率不知提升了多少;连过来交流的工程师们都喜气洋洋,一见到起源员工便对新工具赞不绝口。
“所以下一个时间节点是——”韩路一说。
“是九月。设计稿和几个团队的技术整合还在进行,八月底之前一定定稿,能赶得上年底流片。”
看江松然一副志在必得的样子,韩路一也不再多说,只嘱咐一句:“要是有什么意外情况,或者解决不了的问题,自己攻坚归自己攻坚,别忘了来跟我说一声。”
“啊?”江松然一愣。
随即他突然想起来,韩路一身后估计还有一个国家研究院的合作团队。
就是当初写算子的那个。
莫非,韩总这个关系还留着——不对,还拓宽了?连芯片领域的专家也有?
“好的,韩总。有什么困难,我们一定第一时间让您知道。”江松然说。
聊完L200的进度,韩路一突然感慨:“真是急不来啊。”
江松然心里何尝不是同样的感觉。
自从他入职以来,公司的算力好像就没有富裕过。
要说最富裕的时候,可能还是当初买第一批五百张L100那会儿——那时汤圆都还没对外上线呢。
江松然不由得附和:“这种事急不来。韩总您也别急,稳扎稳打,都会有的。”
韩路一看着江松然,突然问:“文渊那边准备腾出一万张L100来训练汤圆2.0,你那儿有什么办法?”
江松然又是一愣。
啊?轮到我来想办法了吗?
咱们现在满打满算才三万出头的卡,L100也才一万八千张,还是纸面算力和利用率都最高的。
从里面腾出一万张L100来做训练,赵文渊是真敢开口啊!
江松然犹豫一下,说:“要不,咱们还是去租云算力?贵是贵了点儿——”
国内算力本就紧张,凡是有卡的大厂,哪个不在紧锣密鼓地搞自己的大模型?愿意拿出来租的少之又少。
再加上显卡价格一路飙升,租金自然也就贵了。
之前他们测算过,若拿不到优惠价,直接去市面上租算力,以汤圆不算高的定价,可能连算力成本都覆盖不了,反而要亏钱。
除非能拿到便宜的算力。
这对海外很多大厂不算致命问题,偏偏对中国厂商来说困难重重。
江松然正想着,突然听韩路一说:“贵——”
“有了豆汁儿和新的调度架构,还显得贵吗?”
听到这话,江松然猛然一惊!
对啊,新调度系统带来的利用率提升是全方位的,可不止在起源的自由机房。
使用云算力,效率也一样提升。
已经完全能覆盖成本了啊!