“什么?”韩路一问道。
他知道,大模型与人脑有相似性,因此不少研究人工智能的计算机科学家会读脑科学书籍;他自己也翻过几本流传较广的畅销书。
可真到细节上,他就抓瞎了。
一旁的江松然同样摸不着头脑。
可看着视频里赵文渊兴奋的样子,两人都意识到:这位研究院院长恐怕还有新东西要拿出来。
“是决策的可选项本身。”赵文渊说道,“系统一最擅长做是否类判断,几选一也还行;可一旦可选项超过一定数量,它几乎就做不出选择。”
“我给你们举个例子:如果我现在问你们想不想喝豆汁儿,你们是不是立刻就能给出答案?”
江松然还没什么反应,韩路一的脸色却已经难看起来。
这确实是系统一就能回答的问题。
“如果我问你,Vim好还是Emacs好,你是不是也能马上给出答案?”赵文渊接着问。
韩路一和江松然几乎同时开口。
“当然是Vim。”这是韩路一说的。
“Emacs。”这是江松然说的。
两人又飞快地对视一眼,眼神里的含义却并不相同。
韩路一的眼神分明在说:“原来你是个Emacs党。”
江松然则有些惴惴不安:竟然在最不该站错队的地方站错了队。
故意问出这个问题的赵文渊正在偷笑——他早就观察出,两人对代码编辑器的偏好不同。
“可如果我现在问你,在二十种果酱里选一种,你几乎不可能一瞬间做出选择;再如果我让你写一篇两百字的文章,别看只有两百字,这也不是系统一能完成的任务。你们看到问题所在了吗?”赵文渊说道。
韩路一想了想,说:“你是指输出格式吧?无论是是否问题还是二选一问题,输出格式都极简单,不需要一个词元一个词元地生成。”
江松然在旁边补充:“听起来还涉及答案域:答案域覆盖得越广,计算就越复杂。”
此时两人都意识到,赵文渊为什么要把系统一和系统二的话题拿出来讨论。
因为对计算任务做复杂度预测,再分类、规划调度,这本身就天然是系统一的任务:答案域极窄,无非简单、中等、复杂三档;想再细些,五档也绰绰有余。
韩路一问道:“所以这类任务,有比用汤圆轻量版更好的解法?”
视频里的赵文渊露出高深莫测的笑:“有的,韩总,有的。”
他接着解释:“当初Transformer架构刚出来时,用的是编码器-解码器(Encoder-Decoder)架构;现在的类GPT大模型,包括汤圆,用的全是只有解码器的架构。这当然是因为这条路线足够优秀,能解决非常复杂的问题。可实际上,不同路线适用于不同问题。我们刚才讨论的分类问题,就有一种更合适的架构——只有编码器的架构。”
江松然惊讶出声:“你是说BERT?”
韩路一慢了一拍才反应过来:BERT是谷歌在2018年提出的技术路线,在GPT出现之前曾在机器学习领域非常热门;但随着类GPT模型成为市场主流,如今已渐渐少有人提起。
“你是说?”韩路一问道。
“传统BERT大概在几亿参数这个级别;而且因为不需要自回归生成预测,它不必反复做前向运算,只需一次就能得出结论。对我们刚才说的分类任务,完全可以做到50毫秒以内。”
“多少?”江松然的呼吸都急促起来。
“还不止。我刚说的是通用分类器;顺着这个思路,完全可以训练针对调度任务的特化分类器。汤圆API开放到现在积攒的调度数据,已足够训练。这种情况下,我们连几亿参数都不需要,可以把参数压到千万级别。这种模型的一次运算——”
赵文渊一口气说了一大段,越说越兴奋;说到这里特意停顿,才伸出两只手,五指张开:“我说一个数——10毫秒。”
“不可能!”江松然脱口而出。
韩路一没有表态。现在还只是讨论技术方向,10毫秒的任务分类确实夸张:这速度都快赶上用代码写死的规则集分类了,更别提用模型动态分类了。
可即使达不到10毫秒,50毫秒也足以让每次任务调度都跑一次这个新分类器模型;如果还能保持汤圆1.0的精确度,整个调度层的效率还能再提一大截。
同样的硬件、同样的算力集群,经这种优化,效果能比之前高出好几成。
“文渊,这个技术思路你想了多久了?”韩路一问道。
视频里的赵文渊一愣,随即“嘿嘿”笑了两声:“韩总,我是咱们讨论的时候刚想出来的。”
嚯,听起来像模像样,竟然还是刚头脑风暴出来的。
“那做这个技术验证需要多久?”韩路一继续问。
“几千万参数的话,包括前面的数据清洗和后面的调参,我估计一两个星期就能做出原型。”赵文渊想了想说。
他看了韩路一一眼,突发奇想:“韩总,您要不要——”
韩路一开口打断:“我最近很忙,没工夫帮你洗数据。你先安排人把模型做出来,让老江这边测一下分类准确度,以及上生产环境的实际延迟。”
赵文渊迟疑一下:“韩总,这个东西有多优先?”
韩路一笑:“要是真有你说的那么好用,你要的训练算力就能一下省出一半——你说有多优先?”
赵文渊神色一肃。
懂了,最高优先级。
江松然适时开口:“赵总,新模型出来之后第一时间告诉我,我安排基础设施部门马上测试。”
给赵文渊和江松然下完任务,韩路一的思绪又飘了出去。
刚才讨论的是算力调度里的复杂度预测和分类任务;可真实使用场景中,答案空间有限、又需要快速运算的场景还有很多啊。
比如御风的任务调度:后台若用混合模型,哪些任务交给旗舰模型,哪些交给轻量模型;再比如汤圆回答问题时,哪些用自有知识,哪些需要联网搜索信息;甚至脱开起源现有的产品体系,把这个新模型当成单独产品来出售呢?是不是也有企业业务场景合适——哪些用户反馈可以自动回复,哪些需要转人工客服?
总之,只要是分类任务,这个架构天然适合。
“韩总,这个新模型和汤圆关系不大,要取个新名字吗?”赵文渊问。
韩路一一想,确实有必要。
既然汤圆已经是一种食物,新模型也用食物命名好了。
他脑筋一转:“就叫豆汁儿吧。”
赵文渊脸色一苦,已经开始后悔刚才举的例子。