字: 大 中 小
关灯 护眼
渡口文学 > 首富从看见信息面板开始 > 第四百五十六章 五亿,小吗?

第四百五十六章 五亿,小吗?

    赵文渊轻轻咳了一声,把几人的注意力拉回来,随即开口:

    “既然大家都同意按韩总的思路试一试,那我就先详细讲讲我们这边目前的成果,以及两边该怎么融合。”

    听到这话,梦脑科技的人都重视起来。

    汤圆和起源在人工智能领域如雷贯耳,但隔行如隔山,它们的技术有多少能用到脑机接口上,还真不好说。

    如今对方首席科学家发了话,詹想心里格外矛盾:既期待这位赵博士能从别的角度带来新解法,又不甘心自己卡了几年没进展的难题被别人轻轻松松解决掉。

    他暗想,最好对方只提供一点思路,整个工作还是由自己来完成。

    赵文渊起身走到会议室白板前,拿起马克笔便画了起来。

    他没动用预先准备的幻灯片,也不需要——起源旗下所有模型的训练思路都在他脑子里,架构图信手拈来。

    不一会儿,汤圆的训练架构便出现在白板上。

    “梦总、詹总,你们看,汤圆1.0就是这么训练出来的:先用原始语料建立基座模型,再通过高精度标注调整权重,从而形成它的意图理解和问题解决能力。按韩总刚才的思路,我们可以先用梦脑积累的脑电数据训练一个基座模型。这个模型不必准确理解每一个脑电波代表什么意思,它更像预训练模型,能从你们提供的三万小时原始数据中分辨出哪些是反复出现的通用信号,哪些是杂乱噪声。”

    詹想努力跟着赵文渊的思路,等他说完,摇了摇头:“赵总,这恐怕不行。数据量虽大,但太杂,想直接从里面总结规律,不太可行。”

    赵文渊看了他一眼,心里冒出个念头:是你懂机器学习,还是我懂机器学习?

    自监督预训练恰恰不需要统一标签——那是后训练阶段才需要做的事;自监督本身就能从杂乱数据里学习通用结构。

    但他没把这质疑说出口。新方法和梦脑现行方法差距太大,团队有所怀疑也正常;而旧方法显然没用,否则梦脑科技不会卡在这里。

    这倒让他想起翻译领域的历史。

    最早做机器翻译时,人们也从翻译家和语言学家的方法入手,想用人做翻译的办法教会计算机翻译:语法、文法、从句结构,统统写进规则里。

    效果如何?一言难尽。

    直到后来,人们换了一条路——用大规模数据统计概率,也就是机器学习来训练,效果才显著提升。

    做语音识别的大牛弗雷德里克·杰利内克对此有句名言:“我每从团队中开除一个语言学家,语音识别的性能就提升一大截。”

    顺带一提,Transformer架构最初就是为翻译发明的,效果确实惊艳,后来也被证明不只可用于翻译。

    赵文渊不打算当面说服詹想——语言上的交锋毫无意义——只说道:“詹总,不如尽快开始第一轮训练。有了第一轮结果,就能知道这个方向是否可行。”

    他相信,结果一出,詹想自然会被说服。

    赵文渊接着问道:“这些脑电波数据的采样率是多少?对应的数据量有多大?”

    詹想一愣,没想到赵文渊对自己的问题避而不答,显然对训练结果极为自信,一时竟没接话。

    倒是梦瑶先开口:“是256赫兹,标准采样率。我们的微型电极阵列会对采集到的信号进行聚合,采集通道最高1024个,使用24比特精度。”

    她看出赵文渊想问的是数据大小,便把原始数据参数一股脑报了出来。

    赵文渊沉吟片刻,迅速在心里估算。

    三万小时,按256赫兹算:

    30000×3600×256=27648000000

    单通道就是接近两百八十亿个采样点。

    若按1024个通道算,总数据量就是二十八万亿个电位信号;24比特精度下,大约84TB。

    作为脑电波数据,这个量很大;可作为训练模型的数据,简直小得不值一提。

    做训练系统久了,对数据量级会有近乎本能的敏感。刚才那番估算,在赵文渊脑中也就花了十几秒。

    随即他开口:“这个数据量,没必要起得太大,先做一个五亿参数的模型看看。”

    詹想下意识地重复了一遍:“五亿?”

    他们团队靠手工特征提取做出的模型,参数还在千万级别。

    赵文渊听他出声,以为他嫌小。

    毕竟五亿参数只有0.5B,市面上随便一个开源模型都比这大。汤圆1.0可是万亿级的巨无霸,即便如此,还远远算不上市面上最大的模型。

    这个预计用于第一轮迭代的脑电模型,和大语言模型们比起来,简直像个小可爱。

    赵文渊宽慰道:“开头先做小一点,效果好再提升。”

    詹想被噎了一下,后半句话没说出来。

    五亿——小吗?那我们现在的模型算什么,微微?

    梦瑶倒没被这个数字刺激到。她的领域在脑科学,算法本就不是专长。

    所以从一开始,她更关注韩路一刚才说的第二点:通过起源的新模型架构,实现从意图到动作的快速翻译。

    两百毫秒。

    她不确定韩路一是不是随口说的,但这个数字恰好是人类从大脑产生想法,到肌肉响应、最终做出动作的平均时间。

    也就是说,如果脑机接口真能实现这个延迟水平的信号传递,残障人士就能像使用真实肢体一样使用外接人造设备。

    那才算真正解决了助残难题。

    甚至,如果能实现这个级别的性能,再加上非侵入脑机本身的无害性,民用、娱乐场景也会大幅拓宽。

    至少玩家们能用它来打游戏了。

    梦脑科技现在的平均延迟在八百毫秒到一秒,这个速度肯定不合格。

    问题是,这已经是他们竭尽全力才做到的水平。

    要想做到两百毫秒,速度还要再提升四五倍。

    说实话,Neuralink通过侵入式方案,在脑神经活跃处直接收集电信号,能做到这个速度已经相当惊人。

    可依梦脑科技现在的技术路线,要通过什么方式才能做到?

    梦瑶忍不住开口:“赵总,假设第一步的通用模型能成功——可下一步怎么办?我们怎么才能做到两百毫秒?”
『加入书签,方便阅读』