赵文渊听了这个问题,也没什么头绪。
他也不确定韩总说的这个数字是不是随口一提。
从计算机系统设计的角度看,两百毫秒不算快,很多高可用系统甚至要求响应时间在五十毫秒以内。
就像赵文渊正做到一半的豆汁儿模型——也就是基于系统一设计的那个模型——他已经对着韩路一和江松然夸下海口,要把单次响应时间做到十毫秒。
但脑机接口,完全是另一个领域。
不过系统瓶颈诊断嘛,还是有流程可走的,第一步是先找到瓶颈在哪。
有句老话说得好:你不可能解决一个自己看不见的问题。
所以,解决问题的第一步,就是先把它看见。
赵文渊开口问道:“梦总,梦脑设备现在单次运行时间是怎么分布的?我的意思是,慢在哪儿了?”
梦瑶苦笑一声,说道:“从我的角度来看,哪儿也没慢,就是要做的事情太多了。侵入式脑机能做到一百毫秒,我也做过一些推测,我猜他们因为把电极直接接在神经元外面,可以直接采集电信号,解析起来也简单。但我们的采集方式,中间隔着头皮、颅骨、硬脑膜和脑脊液,信号本来就微弱,还要把电位信号转化成数字信号。”
“采集到信号之后,大部分都是噪声,我们先滤波,再做傅立叶变换——光是攒够一次傅立叶变换的采样窗口,就得三四百毫秒。这还没完,后面才是我们的算法模型、分类器、模式匹配。现在的八百毫秒,我是看不出还有什么优化空间了。”
赵文渊听完,对梦脑的计算流程有了大概了解。
他几乎脱口而出:“这就是为什么要做自监督训练啊。基于Transformer架构的模型本身就有强大的高维隐空间。简单说,我们根本没必要认识脑电信号。”
梦瑶听完一愣。
赵文渊还站在白板前,又用马克笔把梦瑶刚才描述的流程写了下来。
采样,滤波,傅立叶变换,特征提取,分类器,动作。
梦瑶惊讶地看着白板:赵文渊只听了一遍,就把流程图摸清了;而她刚才并非严谨讲解,只是随口一说而已。
画完之后,赵文渊说道:“这是一个完全手工的思路。”
詹想皱了皱眉头,出声反驳道:“赵总,这是脑电领域最成熟的做法。”
“是吗?”赵文渊说道,“但在机器学习领域,这已经不那么主流了。”
这话把詹想又噎了一下,却无话可说。
毕竟赵文渊确实是机器学习领域的顶级专家。
“就拿汤圆举例吧,我们训练的时候不会告诉它哪些特征重要,只要训练的数据足够多、足够准确,这些信号进入高维空间之后,有用的模式自然会有更大的比重。之后再次接收到这个模式的脑电波,不管它是信号还是噪声,这个整体都可以被通用模型识别出来,里面的信号部分也能得到有效分离。”赵文渊继续解释道。
“可是,就算能拿到信号,它代表什么意思呢?”詹想问道。
在他们现在做的传统方法里,这里需要对设备使用者进行一对一的训练和特征提取,让模型理解一个脑电信号到底表达什么意图。
机器学习还能有什么好办法?詹想想道。
“这里就需要用到后训练微调了。现场收集使用者几个典型动作的脑电波,然后在通用模型的基础上进行微调,我们就能知道哪个波形对应哪个动作了。”
“这一步要多久?”梦瑶问道。
他们之前的定制阶段可能要花几十个小时,一般使用者无法连续高强度使用,就可能需要几个星期。
赵文渊想了想,说道:“使用云端算力的话,几分钟到十几分钟吧。”
在0.5B的模型上进行微调,还能需要多久呢?
“这个微调出来的模型,可以把上面大部分步骤都打包进去,新的架构就变成这样。”
赵文渊在刚才的架构图正下方又画了一个新的架构图:
采样,模型,动作。
梦瑶的心猛地一跳,问道:“一次模型运算要多久?”
“几百毫秒吧。”赵文渊说道,然后不等梦瑶和詹想失望,又补充道,“不过我们最近恰好在研发一个新的模型架构,叫豆汁儿。”
“豆汁儿?”梦瑶和詹想重复了一遍。
两人都在京城生活多年,当然知道这是什么。
把模型都命名成食物的名字,这位赵总还挺恶趣味。
赵文渊不知道两位梦脑科技的高管把这个锅安在了自己头上——名字明明都是韩总起的。
他接着说道:“这是我受到系统一、系统二理论启发想出来的架构,目的就是让模型以系统一的模式进行运算。如果条件合适,应该可以把单次运算时间控制在五十毫秒以内。”
五十毫秒,五十毫秒。
梦瑶默念了两遍。
如果是这个速度,再加上采样和电信号到设备的时间,可能真的能做到两百毫秒。
“那我们快试试!”梦瑶说道。
赵文渊点了点头:“第一步的训练一到位,我们就可以进行这一步了。”
两个阶段的实现方案都讨论完了,双方也对接下来的工作有了一定预期。赵文渊起身和梦瑶、詹想分别握了握手,说道:“期待梦脑的朋友们下个星期入驻。”
再次接触韩路一和赵文渊——尤其是赵文渊——之后,梦瑶对起源的科研实力有了新的认识。
也许凭借他们的帮助,梦脑科技真的能突破现在的瓶颈,把研究推进到下一个阶段。
到了这个时候,梦瑶对于起源可能会后续强制收购梦脑科技,或者影响研发、落地路线,依然怀着警惕;但同时她也意识到,这次投资给梦脑科技带来的,恐怕远不止四千万的研发运营资金那么简单。
一个人工智能大厂能够带来的科研能力、产品落地能力,有可能比梦瑶一开始想象的还要强大得多。
梦瑶正要告辞,赵文渊突然说道:“梦总,我这里还有最后一个问题想问一下。”
“赵总您讲。”
赵文渊说道:“你们的数据现在存在哪?如果你们可以把数据通过安全的方式共享过来,我想尽快开始第一轮训练,运气好的话,下周一就能有结果了。”
“下周一?”梦瑶惊讶出声。
赵文渊解释道:“刚才我们讨论的,第一轮先跑个五亿参数的模型。如果是这个参数量,直接用汤圆的训练框架先跑一遍,我们现在还有一个千卡集群可以机动,第一轮预训练两三天应该就能出结果,也就是下周一或者周二。”
梦瑶和詹想对视了一眼,都没想到赵文渊这么着急。
而且,千卡集群从赵文渊嘴里轻而易举地说出来,他们又一次从侧面感受到了起源的实力。
赵文渊笑了一下,说道:“现在是周五了,我们要过周末,我可舍不得让计算集群休息,还是尽快给他们安排上任务最好。”
这其实是他的玩笑话。现在起源的算力这么紧张,计算集群怎么也轮不上休息;即使没有梦脑科技的活,也有其他任务要跑呢。
“那我们一会儿去跑一趟吧,把数据硬盘和备份都带过来。反正本来周一也要搬过来了。”梦瑶说道。
赵文渊笑眯眯地看着她说道:“那真是麻烦梦总了。”他语气里全是对数据的期待,全没有一点儿抱歉的意思。
……
晚上六点多,飞机落地海城。
刚关闭飞行模式,韩路一就收到了赵文渊的信息:“韩总,脑电信号的第一轮训练已经开始了,有结果我随时向您汇报。”
韩路一看着信息,摇了摇头。
文渊,这也太卷了,怪不得给章博士逼得都住办公室了。
不行,回去得单独和他说说这件事。
要劳逸结合,队伍才能维持战斗力啊。就算真要加班,加班费也得给够才行。
韩路一和张彪、刘彧一边往到达大厅走,一边说道:“彪哥,打个车吧。刘彧你回去好好休息。”其实韩路一这次出门没打算去这么久,但梦脑科技的机会难得,一直到投资事定、和他们的启动会开过之后,韩路一才回到海城。
刘彧说道:“韩总,您好像有人接。”
韩路一听完,心中一动,回头看去,正看到顾司玥站在远处。
她穿了一身浅色裙装,黑丝袜,高跟鞋,站在人群中显得格外高挑,配上她精致又冷若冰霜的面容,自然散发出一种生人勿近的气场,周围不少路人忍不住偷看,却没有一个人敢上前搭讪。
韩路一回头看了看张彪,又看了看刘彧,说道:“你们都下班吧,周一见。”
然后他快步走到顾司玥身边,也不顾周围人的目光,把律师姐姐拥入了怀中。
顾司玥既没有表现出羞涩,也并不抗拒,还伸手轻轻地环住了韩路一的后背。
静静抱了一会儿,两人才轻轻分开。
韩路一笑着问道:“你怎么突然跑来接我,也不提前说一下?”
他之前和顾司玥说过自己的航班信息,但律师姐姐当时完全没提过要来接机的事。
顾司玥看了他一眼,眼神里情绪复杂,说道:“飞机上吃过饭了吗?我要带你去应酬一下。”
韩路一挑了挑眉,问道:“应酬?谁?”
“我的一个客户。”