周一早晨,六点整。
水木大学博士生公寓的一间宿舍里,手机闹钟发出一阵蜂鸣声。
声音不大,但章闻铎已经睁开眼睛,伸手关掉了闹钟。
他没有赖床,也没摸手机,利落地翻身下床,洗漱,换上一件衬衫和牛仔裤,坐到电脑前。此时六点二十分。
硕博连读五年,章闻铎一直用这样严苛的作息要求自己。
经过一夜睡眠,昨晚那点微醺,以及因狂妄而生的不适,都已散得差不多。
现在还有更重要的事。
昨晚,汤圆的API静态测试集测试证明:它不是靠过拟合作弊的骗子。作为一个即将答辩的顶级计算机博士,章闻铎很清楚这意味着什么。
业界都在卷算力、卷参数、卷更大的模型,汤圆却给出另一种解答——数据质量究竟能把模型能力提高到什么程度。
这对前沿研究者价值不可估量。
章闻铎的博士研究方向并非传统基于语义关系的大语言模型。他认同不少业界先驱的判断:纯粹语义推断已经触到上限。
若想让人工智能研究突破到下一阶段,必须另辟新路。
这也是他昨晚敢当面质疑韩路一的原因。
虽然最终证明他判断错了,但这一点反而更有价值。
既然手里握着世界第一闭源模型的API,就不能浪费。
章闻铎调出博士论文核心代码——一个用于探测大模型内部是否具备反事实因果推理的“世界模型(World Model)”状态探针。
所谓世界模型,与当下流行的大语言模型(LLM)是完全不同的研究方向。大语言模型要做的,是基于前文推测后面会出现的“话”;世界模型要做的,则是基于前面的事件信息,推断现实世界中会发生的下一件“事”。
而状态探针探测的是:一个模型——无论内部实现机制为何——有没有能力用内部状态表达世界。
比如网上流传的一个经典笑话:如果你问AI大模型,“五米外有个洗车店,我要洗车,我该走着去还是开车去?”大部分AI都会回答走着去。
为什么?
因为“五米外”和“走路”在传统大语言模型中是注意力强关联,洗车店和开车作为弱信号被忽略了。
但问任何一个智力正常的成年人,都不太可能在这道题上翻车。
这就是语言模型在理解世界上的天然缺陷。章闻铎的论文讨论的,正是大语言模型与世界模型的关系。
学术界研究世界模型的学者一直分为两派。
一派认为,当前大语言模型这种基于语义的推理方向是条岔路,最终会走进死胡同;也就是说,做大语言模型永远成不了世界模型。
另一派则认为,语言是人类对世界的抽象,当大语言模型的能力进步到一定程度,它也可以具备世界模型的能力。
“死路派”和“殊途同归派”在这个问题上争论不休,至今没有哪一派能说服另一派。
章闻铎自己就是“死路派”。他对汤圆的质疑甚至不针对汤圆,而是对所有大语言模型都有抵触,觉得这些都是通往AGI道路上的歧途。
他提出过很多理论,但理论需要验证。
对研究者来说,最痛苦的事莫过于缺乏顶级模型的验证机会。
对中国研究者而言,还有更大一层障碍。
如今,境外最强的闭源模型对中国大陆研究者几乎断绝,偶尔能通过一些中转站测试,但模型能力不稳定,不确定中间有没有夹杂多余提示词,也无法进行大规模反复验证。
国内顶级模型又还没强到能产生有意义的行为分叉;差一点的模型,各种推理能力糊成一团,跑探针等于白跑。
章闻铎此前的诸多理论假设一直停留在纯数学推导阶段,也只能拿着一个半成品去论文答辩。
而现在,汤圆向他敞开了大门。
想到这儿,章闻铎迫不及待地打开御风。
在让探针调用汤圆API之前,他先让御风把那写了将近两年的核心代码做几处适配改动。
原本探针按GPT规格的模型校准,输出格式不太一样;他调了几个参数,让御风写一个格式转换层。
这种事以前要花大半天。御风给了三个方案,他扫一眼,选了最干净的那个,大约十分钟就完成改动。
他开始调用汤圆API,跑第一批实验序列。
等待。
终端开始输出。
章闻铎坐在那里,上身微微前倾,眼睛紧盯着屏幕。
前面几组结果都在意料之中。
他没什么反应。这本来就是基准,连差一点的模型都能过的题,不算什么。
从第十一组开始,是探针的核心序列。
他设计了一套“状态追踪”题组:同一个场景,以十七种不同表述方式喂给模型。措辞不同,信息顺序不同,中间插入大量干扰句,为的就是破坏语义注意力机制。
如果模型只是在做语义匹配,换了表面形式,答案就会飘移。
想保证答案一致,需要模型在内部维护一个“世界状态”。这样无论表面怎么变化,逻辑答案都应保持一致。
当然,现在的大语言模型不会去“维护”这个状态。但章闻铎想探索的方向是:如果模型在训练过程中形成了稳定的因果结构表征,它就可以表现得“像”是有一个内部状态一样,输出的答案就应该保持一致。
之前他在国外顶级模型上做过小范围验证,答案如他所料:没有模型能表现出这种能力。
然而汤圆不一样。
终端里,汤圆的答案一条条输出,现在已经进行到第十五组验证。
前面几组验证数据的特征值,已经远超章闻铎验证过的国外顶尖模型。
而第十五组的最后一个变体,在插入七条干扰句后,汤圆依然输出了正确答案;并且在思考过程里提示了更多信息:“需要注意的是,尽管文中多次提及初始状态,但根据第三段的描述,该状态在后续已发生变化,正确答案应基于最终状态而非初始状态。”
探针还在继续运行。
但章闻铎的心思已经不在屏幕上了。
仅凭眼前这冰山一角的结果,他已经有了预感。
汤圆作为一个纯语义训练模型,理解世界状态的能力大幅高于他测试过的其他模型。
这说明了什么?
章闻铎抬头看了看窗外。时间已从清晨到了上午,他完全没有察觉。
京城的天空今天澄澈湛蓝,没有一丝云。
那条他以为走不通的岔路,其实走得通。
高质量的原始数据和语义标注,对世界模型的方向同样有意义。
章闻铎心里说不清是开心还是痛苦。
他不再关注还在运行的探针脚本,起身去接了一杯水。
妈蛋,论文要重新写了——结论还是一百八十度大掉头!