章闻铎说道：“这个问题我也想到了。传统方法肯定是等一个batch（批次）的训练全部跑完，新参数更新回模型，再跑下一个batch。可那是一般的模型，长程任务不够多，也不够长。像我做的这个实验，用传统算法，平均下来计算卡利用率只有百分之二十多。”
百分之二十多——赵文渊在心里复述了一遍。现在汤圆的后训练任务，平均利用率大概是百分之四十多，两者相差一倍。
章闻铎左右看了看，没在赵文渊桌上找到纸笔，索性把自己的设备申请表翻过来，从裤兜里掏出一支圆珠笔，在上面写了起来。
“院长你看，这是我想出来的新架构。”
他在纸的中心画了一个圆，两侧各画两排小人：一排写着Actor（行动者），一排写着Learner（学习者）。中间的圆则是经验池。
在传统学习方法中，行动者全部行动完之后会得到一批结果，学习者把这些结果更新到原本的模型中，行动者再基于新版本的模型进行行动。模型、行动者、学习者，再模型、再行动者、再学习者，如此反复执行，直到最终结果达到相对最优、没有进步空间，才算完成训练。
而在章闻铎的新架构里，行动者和学习者并不互相等待：行动者一直在行动，行动完就把结果放进经验池；学习者则在经验池有足够数据之后，把经验更新回模型。
“你是说，放弃同步策略，改用异步策略？”
章闻铎讲完，赵文渊已经懂了。
所谓同步，就是你走一步，等你走完，我再走一步，大家不会同时走。好处是数据永远同步，坏处是慢。异步则是我走了告诉你一声，你也可以走；你走完再告诉我一声，但你走的同时，我还在走。好处是快，坏处是数据会乱。
在传统编程领域，同步和异步各有好处。可在机器学习领域，异步的应用远远不如同步，因为大多数时候，准确率比速度重要得多。谁也不想飞快地训练出一个傻瓜模型，那没有任何意义。
赵文渊心里盘算了一下，说道：“还是刚才的老问题：新一轮行动已经开始了，用的却是老模型，这中间造成的偏差怎么办？”
章闻铎说道：“在我的这个实验里，每个行动结果的重要性并不完全相同。大部分结果其实没那么重要，真正重要的几个结果，我已经提前标出来了。只要训练过程中这几个关键步骤被更新，其他步骤就算被跳过，对最终结果的影响也不太大。”
“效果怎么样？”赵文渊问道，声音已不自觉地提高了几分。
“运气好的时候能跑到百分之八十多。”章闻铎说道，“但运气不好，长程任务把所有的Actor都占了，大家一起陷入等待，这个策略就失效了。所以我才来申请多几张卡。”
赵文渊愣了一下。
八十多？
如果计算卡的平均利用率能从百分之四十提到百分之八十，训练时间至少能缩短百分之三十。
至少！
“章博士，你说准确率不会受影响，大概会影响多少？更新的关键步骤怎么标注？”赵文渊急切地问道。
“额，我——”章闻铎被赵文渊的状态吓了一跳。
我不是来申请卡的吗？怎么突然问这么细？实验数据都在我电脑里啊。
赵文渊也意识到，这些细节估计章闻铎一下子讲不清楚。他站起身，说道：“走，章博士，去你那儿看看实验数据，还有训练框架的代码。”
章闻铎也愣愣地站起来，还有点搞不清状况。
“那，院长，我那六十四张卡——”
“要是真有你说的那么好，六十四张卡我肯定给你挤出来。我一会儿给你电子批，现在先去你工位。”
赵文渊风风火火地走了出去。
章闻铎回头看了看，把桌上那张背面画着水池和小人儿的申请表拿起来，也跟着赵文渊出门了。
两人来到章闻铎的工位，章闻铎先把之前的实验数据调出来。
为了证明这个异步框架能跑，他用相同的数据在同步框架和异步框架里都进行了训练，然后对比准确率的差异。
不标注关键步骤时，模型准确率下降百分之三到五，训练曲线也更抖，收敛慢了不少。标注关键步骤时，准确率损失几乎可以忽略不计，和同步训练相差不到百分之一，曲线也基本平稳。用时方面，异步训练所花的时间只有同步训练的不到一半。
看完训练数据，赵文渊兴奋地拍了一下章闻铎的肩膀。
钓鱼佬能吃上饭了！
章闻铎又吓了一跳。
他能感觉出赵文渊对这个成果应该很满意，但不太知道为什么。
我的世界模型都还没开始训练呢，这个异步框架只是训练过程中的一个副产品，你对着一个副产品这么激动干什么。
是不是没见过世面？
赵文渊见章闻铎一副不在乎的样子，估计他完全意识不到这个框架的价值，于是问道：“你知道现在各个大模型公司卷来卷去，卷资本、卷人才、卷算力、卷数据，但他们永远卷不出来的是什么吗？”
章闻铎茫然地摇了摇头。
“是时间。训练需要计算，计算就需要时间。”赵文渊说道，“你这套异步训练框架，准确率只损失这么一点，却把时间直接缩短了一半。别人训练一次的时间，你能训练两次！这有多大价值你知道吗？”
赵文渊笑着又拍了一下章闻铎的肩膀。
“你要是有兴趣，把这个思路写个论文。你放心，引用少不了的。但是现在嘛——”赵文渊说道，“你先把手里的活儿停一停，跟我一起把这套框架写完，我们用到汤圆上。”
“院长，那我现在的项目怎么办啊？”章闻铎问道。
在他心里，显然是世界模型的项目更重要一些。
“你帮我把汤圆的训练搞好了，我批一百——不，二百五十六张L100给你。你的项目做起来比现在快十倍。”
章闻铎没再说话，点了点头。
他站在原地，慢慢消化着赵文渊的话。
我原来写出来了这么了不得的东西吗？值二百五十六张卡？
赵文渊没管年轻的章博士对自己的科研成果有什么感想。他现在庆幸的是，用了这个新框架，汤圆1.0的训练应该能赶在五月底之前完成。
果然，没有韩总在，我就能自己解决问题了。
得跟他汇报一下。
怎么说才能显得云淡风轻又逼味十足呢？
赵文渊回到自己的办公室，坐在椅子上仔细想了想，反复斟酌措辞之后，给韩路一发了一条信息。
“韩总，研究院团队开发了一个新的训练框架，可以把训练速度提升到过去的两倍。预计可以在五月底顺利完成汤圆1.0的训练任务。”
过了一会儿，赵文渊收到了韩路一的消息。
“不错。”
“【猫咪点赞】”
赵文渊感觉自己的一套逼装到了空处。他看着回信，眨了眨眼。
韩总——
什么时候开始用这套表情包了？