与此同时,新加坡。AI Foundation在新加坡国立大学人工智能研究所临时租用的测评中心里。
研究员兼教授林伟伦皱着眉头,盯着屏幕上的测评结果。
他是新加坡华裔,也是这次新加坡人工智能大会中,新加坡国立大学作为合作方的负责人。
“汤圆1.0为什么没在结果名单里?”林伟伦问身旁的同事。
同事也是华裔面孔,操着一口新加坡英语:“额,好像被委员会拿掉了。”
“为什么?”林伟伦奇怪地问。
同事摇了摇头:“这是他们的测评,可能是有什么原因吧,我不清楚。”
林伟伦站起身来。
“这可不是他们一家的测评,新加坡国立也参与了,他们不能无视我们的意见。”
说完,他走了出去。
半个多小时后,在AI Foundations与合作方的联合会议上,林伟伦又提出了同样的问题。
“汤圆1.0为什么没在结果名单里?”
坐在林伟伦对面的是理查德·科尔曼——一个满脸皱纹、白发苍苍的老人。
理查德现任AI Foundations轮值主席,同时在MIT担任计算机科学教授,在业内德高望重。
理查德摘下眼镜,从上衣兜里取出一块眼镜布,慢条斯理地擦了擦;随后收好眼镜布,又把眼镜戴回去。
等这些动作做完,他才开口回答林伟伦的问题。
“林教授,这是委员会共同的决定。”理查德说。
“据我所知,委员会共同决定了两次。”林伟伦站起身,举起手中的打印记录——上面是最近几个小时内委员会发出的两封内部邮件。
第一封发于盲测阶段刚刚结束时。当时所有模型都经过匿名处理,能看到的结果里,只有一款模型的测试分数异常地高,远远超过其他模型。
邮件内容是:“编号为1042的模型表现极佳,建议进行复核检查。”
第二封则在几小时后。模型匿名解除,证实1042正是源智科技提交的汤圆1.0模型。
委员会发出的邮件内容已经变成:“高度怀疑汤圆1.0模型通过非技术手段作弊,已决定将汤圆1.0模型的成绩作废处理。汤圆0.9模型的成绩可以保留。”
林伟伦晃了晃手中的纸,问道:“匿名阶段,处理决定是复核检查;身份解盲之后,却变成作废处理。我想知道,这背后的理由是什么?”
“自然是因为我们掌握了更多信息。”理查德淡定地回答。
“更多的信息,是厂商的名字吗?”林伟伦的语气略带讥讽——他确实觉得这个问题非常荒诞。
“这是一部分有用的信息。”理查德并不觉得其中有什么不对,神色认真地说,“我们对中国厂商都有所了解。现实情况是,中国的大模型厂商在公开排行榜上有非常强的优化动机。你也看到了,这个来自中国的模型分数极为异常,我们有理由相信,这个测试结果不准确。”
只是分高,就是不准确?
林伟伦“嘿”了一声:“如果测试结果不准确,难道不是所有模型的测试结果都不准确吗?为什么单独剔除这一个模型?”
“这套测试题由多家机构和专家联合设计。我认为,作为最新的、评价现行模型的标准,它很有价值——只要剔除掉明显作弊的模型就可以了。”
林伟伦环视会议室里的代表。AI Foundations的成员单位大部分来自美国,这里的代表也大多来自美国。
对这个结果,没有一个代表提出异议。
他觉得自己刚刚经历了一场学术霸凌。
尽管这场霸凌并非针对他本人。
“那么,”林伟伦继续问,“这样一套经过严密设计的测试题,他们是怎么作弊的?”
理查德看向他。
“我没想到你会问出这个问题,林教授。”他话里意有所指,“一个模型成绩异常地高,自然是因为提前做了针对性训练。我认为,可能有AI Foundations的合作单位把这套本应视为机密的测试题泄露了出去。”
这场人工智能大会新加坡站,AI Foundations的合作单位只有两家:新加坡国立大学和新加坡国家AI研究院。这个指责指向谁,不言而喻。
林伟伦气极反笑。
以他的权限,只能看到分数结果,对测试内容一无所知。
合作方唯一能接触到的,是内部公告,以及关于会议议程、测试流程的一些统一邮件。
偷测试集?他难道是商业间谍吗?如果是,直接偷模型不好吗,为什么要偷一个没什么用的测试集?
现在理查德不仅要作废排名第一的测试结果,还要把提前泄露考题的黑锅扣到他头上?
林伟伦冷笑一声,说:“科尔曼教授,你的指责令人发笑。如果你执意执行这样的决定,我会代表新加坡国立大学退出这次合作。”
林伟伦这话只是在虚张声势。他只是个教授,不是校长,更不姓李;只因专业对口才担任合作方负责人,根本没有权力决定退出合作。
理查德果然没被吓住,微微一笑:“林教授,请便吧。”
林伟伦没等会议结束,便直接走出会议室,一路回到自己的办公室。
回到办公室,他又拿出测试结果分数看了一遍。
以往的模型测试集,主要集中在知识、数学能力、编程能力、理解能力和推理能力等方向。
但因为智能体应用最近爆火,AI Foundations这一次的测试集特意侧重长程任务能力,而且占比极高:总分一百分的测试题中,有三十五分与长程任务管理有关。
当然,这里说的分,并不是像学生做卷子那样,四个选项里蒙一个,对了就拿分。具体测试过程相当复杂:每一题都要完成一个跨度长达几个小时、经过很多步骤才能完成的任务,最后成功才能拿到一分;有时甚至要重复多次验证稳定性,取平均分。
在这样的新标准下,公开模型的评分普遍不算太高。
之前霸榜很久的汤圆0.9,只有70.2分。
Gemini的新模型最终得分70.8分,OpenAI的GPT-V-II最终得分71.7分。
分数第二高的金星模型2.0,得分72.3分。
彼此咬得很紧。
只有汤圆1.0,得分93.5,比第二名领先二十多分。
说实话,领先到这个程度,林伟伦也不理解。
但正因为不理解,他更不能接受理查德等人毫无理由的打压。打不过就改规则?这些傲慢的西方人。
林伟伦翻出源智科技参会成员的联系方式,决定等对方到了之后,亲自过去交流一下。
至少要让他们知道自己受到的不公正待遇。
如果他们需要帮助,林伟伦也做好了准备。
另一边,理查德刚刚接通和硅谷的电话。
电话那头是Nexus AI的CEO瑞恩。
“测试成绩你看到了吗?”理查德一边喝红茶一边说,“恭喜你啊,瑞恩,这次你可是堂堂正正地打败了山姆。”
“看到了,还要多亏老师你的指点。”瑞恩说。
在学术生涯中,瑞恩曾与理查德有过友好的学习关系;这段关系一直保留下来,在他创业过程中也起到了很大帮助。
就拿这次来说,如果没有理查德在大方向上的指点,甚至点出某些极为具体的技术挑战,金星2.0的研究方向肯定也会优化长程任务;但效果能不能有现在这么好,瑞恩也不敢保证。
“很好,听说MCP最近的推广也很有成效,我为你自豪。”理查德在电话里笑了两声,“期待在新加坡见到你展示最新成果。我知道,你的对手,那个汤圆协议公司的人也会来;但是你放心,你会得到我的支持。”
理查德没有提汤圆1.0。
毕竟他真心认为,这个模型作弊了。大部分顶级模型之间的差距都在一两分之间,这个模型一次高出二十分去,除了作弊,他想不到别的原因。
虽然理查德也没想通他们是怎么作弊的,但这不重要。
电话挂断后,瑞恩靠在老板椅背上,把双脚翘上办公桌桌面,鼻子里哼起了意大利小曲。
Nexus AI最新模型的能力,超过了OpenAI最新模型。
值得纪念的一天。
什么叫技术储备啊?这就是技术储备!