一大早,韩路一就收到了马小飞的信息。
马小飞:义父!金主爸爸!救救我吧!
韩路一回了个问号。
马小飞直接把视频打过来了。
视频接通,他那张长满青春痘的长脸出现在画面里,满脸苦涩。
“我实在是写不出来了啊!”马小飞哭丧着脸。
“写不出来就太监吧。”韩路一给他指了条明路,“你什么时候开始写小说的?”
“什么小说?我是说脚本写不出来了啊。你没看我都三天没更新视频了吗?”马小飞被韩路一说得一头雾水。
韩路一猛拍了一下脑门。
他最近都在忙算力的事,早把马小飞那边几百万的小生意抛到脑后了;看视频更是完全没时间。
“你要是没灵感,要不问问汤圆?问我也没用啊。”韩路一说道。
哪知道马小飞一脸严肃:“老韩,我不是没灵感,我是没知识!”
韩路一看着一脸自豪的马小飞,竟不知道他在自豪什么。
马小飞终于说明来意——他是来要资源的:“上次你来做的那个《小飞聊AI》,是我现在所有系列里播放量最高的,也是催更最多的;可除了你,我实在没有AI圈的人脉了。你再来给我录一期呗。”
韩路一面露无奈:“马哥,小马哥,你也不能逮着我一个人薅啊。”
“不然你把你们公司的计算机科学家介绍给我也行。你们搞AI的公司,总不至于只有你一个人懂AI吧?”
马小飞尽量把眼睛睁大,做出楚楚可怜的样子:“求你了,义父!这个系列当初还是你提议做的呢,你当时不是答应我要给我提供人脉资源吗?”
韩路一想了想:我当时答应过吗?可能真答应过。
随后他把周围的人想了一圈:赵文渊倒是合适,可人在京城;眼下研究院的人也都扎在京城。难道让马小飞连线采访?——倒也不是不行。只是韩路一转念,又想起一个人来。
“等我帮你问问啊。”韩路一说道,“工作日人家要上班,肯定不行;周末行不行?我看能不能把人给你约出来。”
“行啊!”马小飞大气地说,“我现在就给一波放假,让他把周末的时间留出来。”
韩路一从字里行间听着,感觉马小飞这个新媒体公司管理好像不太正规。
不过他在心里默念了几句:“我是世界上最好的投资人,只给钱,不干预管理……”强行把吐槽马小飞管理风格的想法压了下去。
可能新媒体就是这样的风格吧。
挂断马小飞的电话,韩路一马上又拨下一个。很快,对面接了起来。
“韩总,这啥风儿把您吹到我这儿嘎达了?”一个热情的声音响起来。
韩路一听见这声音就喜庆,笑了出来。
“大海兄,我有个不情之请。我有个朋友做自媒体,最近做一档访谈类节目,想采访一些AI方向的专家,不知道你有没有空来聊聊?”
“就是那个《小飞聊AI》?”刘大海问。
这下轮到韩路一惊讶了:“怎么连你也知道这个?”
刘大海哈哈大笑:“韩总,您上的访谈,咱们全中国搞人工智能的,有一个算一个,哪有没看过的?这节目让我去当第二期嘉宾,我可太荣幸了——排在您后面,那我也算中国AI第二人了不是?这样,您把马小飞的联系方式发给我,我和他商量时间,您看成不?”
随即他又补了一句:“不过,接受采访这个事,我得和郑总打个报告;有关公司的事情是不能说的。”
韩路一自然答应。他也是鼎盛出来的,怎么会不知道这个规矩?
事是谈妥了,可韩路一挂断电话后的第一反应是:完了,老赵不会吃醋吧?
……
周六,刘大海跟着导航,开车来到马小飞给的地址。一路上越开越荒凉,最后停的楼偏得跟他回东北老家似的。刘大海都不知道海城还有这么荒的地方。看起来地址没错,他还特意给马小飞打了个电话确认。
不一会儿,马小飞就带着摄影刘一波下来接他。至此,马小飞的工作室终于迎来了韩路一之后的第一个嘉宾。
先是简单的自我介绍。刘大海热情地和刘一波打招呼:“你好你好,还是个本家。”
刘一波有点儿不敢握手——一个是独立工作室的小摄影,一个是鼎盛的首席科学家,差距太大;也就是马小飞混不吝的性格不在意这个。
进到工作室的拍摄区,马小飞和刘一波一起把灯光架好,然后问刘大海:“大海老师,咱们可以开始了吗?”
刘大海愣了愣:“马总,咱们不用化化妆?”
这不是刘大海第一次面对镜头,节目录制现场他也去过;虽说几个人都是男的,但一般妆造环节还是有的吧?
马小飞一笑:“大海老师,咱们这个是知识类节目,不是颜值主播,就不整那些了,全靠大海老师的学识来吸引观众。”
“呃,好吧。”刘大海心想:早知道就稍微穿正式点,没想到没有妆造环节。主要是上次看韩路一那个访谈视频,韩路一容光焕发、侃侃而谈的样子让人印象深刻;现在想想,人家可能不是靠化妆。
很快,拍摄开始。马小飞对着中间的镜头说道:“大家好,欢迎来到《小飞聊AI》第二期。这一期节目,我们请来了著名的人工智能专家刘大海博士。刘大海博士曾在OpenAI等海外知名公司任职,现在担任鼎盛人工智能研究院的首席科学家——”
刘大海坐在原地,对着镜头点了点头,露出光滑的头顶。
“今天请大海老师来呢,我也想趁机问一下我之前一直不懂的问题。”马小飞说道,“我也是学计算机出身的。我们当时学习的时候,这个电脑里的东西,你输入一个A,它就会输出一个B;虽然里面的逻辑可能复杂,但只要输入相同,输出就应该相同,这一点是不会变的。”
马小飞用手指向半空中。
“可怎么到了AI时代,这个规律就变了呢?怎么每次同样一句话问进去,我拿到的答案不一样呢?”马小飞问。
刘大海看了看马小飞的手:“马总,你这是整啥呢?”
刘一波一捂眼。幸好不是直播。
“大海老师,您叫我小飞就行。”马小飞看了看自己的手,“后期不是还得加特效吗?我这是给后期留位置。”
刘大海恍然大悟:“不好意思,第一次没经验。咱们要不重新录?”
“不用不用,大海老师,这个后期剪掉就行,您直接回答我的问题就可以了。”
刘大海点点头,开始解释:“小飞,你这个问题其实问得特别好。大语言模型的本质就是一个概率生成器,只负责一件事——预测下一个词元。”
“咱们现在模拟一下哈。”刘大海说,“我说一个词,你就跟着说一个词;想表达什么意思你不用管,只要最后这句话通顺就行。”
“今天。”刘大海说了一个词,然后停了下来。
“天气。”马小飞接上。
“真。”
今天天气真?马小飞快速想了一下:“好!”
一句话连起来就是“今天天气真好”。
刘大海点点头:“你看,咱们刚才就完成了一次大模型的推理。我说完“今天”,你其实说什么都可以:你可以说“今天天气”,也可以说“今天明天”;然后等我说完“真”之后,你的选择又都变了。”
刘大海伸出手,一个手指一个手指地点:“可以是好,可以是热,也可以是冷。”
“从我们刚才那点儿上下文里,只靠“今天天气真”几个字,可能统计出来下一个词是“好”的概率有40%,“热”是30%,“冷”是20%,其他乱七八糟的加起来也有10%。”
“既然这样,”马小飞疑惑地问,“那就选概率最高的不就行了?”
“如果我每次输入“今天天气真”之后都出现一个“好”字,那还是AI吗?”刘大海问,“或者说,那还有用吗?”
马小飞皱着眉头。听着是没什么用了。
“那刚才那个例子,模型的分布比例是40、30、20还好,多试几次,几个选项都有可能出现;可要是那种统计出来是80、10、8的分布呢?是不是就只会出现概率最高的那个了?”马小飞问。
刘大海惊讶地看了看马小飞:“小飞,你很有天赋啊!咱们机器学习里,专门就有一个工具是来解决这个问题的!”
他模仿着马小飞刚才的样子,朝着半空中伸出手。
“所有的模型设置里,都会有一个参数,叫Temperature,也就是中文的温度。”
然后他对马小飞说了一句:“这块后期加特效哈。”
马小飞笑了笑。不愧是博士,学得真快。
“那这个温度怎么解决呢?”马小飞问。
“简单地说,这是一个可以把概率分布拉平的操作。”刘大海说道,“假设你的数据概率分布就是很极端,前四高的选项分别对应的概率是90、3、3、3,那你可能无论怎么选,选到的都是90的那个。但通过把温度调高,我们可以把总体的概率变成30、22、22、22;调整之后,几个选项之间的排序不变,但分布更均匀了,你选到小选项的概率也变大了。”
“我们这样做的根本原因,是因为我们知道统计规律高的结果并不一定是最好的;所以我们通过人为操作概率的方式,让结果出现更多的变量。”
马小飞一脸“我听懂了”的表情,说道:“大海老师,我以前也在各种界面上看到过这个温度的选项,一直不明白是干什么的;你这一说我就明白了。所以,温度越低,模型就越冷静,输出也就越固定;温度越高,模型就越激情,输出也就越随机。我总结得没错吧?”
刘大海面露犹豫。总结得是没错,可“激情”什么的,这用词对吗?
“那除了温度之外,模型里还有什么常用的参数呢?”
“还是两个和温度经常出现的参数:一个是Top K,一个是Top P。”刘大海说道,“咱们先说Top K吧。”
“你知道,现在的大模型是很大的,几万亿个参数,一个输入对应的输出可能有几万个可能性;如果我们把它们都算一遍,又慢又浪费资源。为了避免浪费,我们就选择只把前K个放到候选池里,其他的就不放了。”
马小飞点了点头。这个倒是简单明白。
“那Top P呢?”
刘大海也许是好久没给人讲课了,也越谈越兴起。
“这个P在这里是概率的意思,Probability。咱们先说它解决什么问题。你比如说,我输入一句“中国的首都是”,你说答案是什么?”
“是京城啊。”马小飞秒答。
“对,这属于事实性答案,是不允许错的。但在模型里,别的选项仍有很小的概率,比如“金陵”,比如“长安”,在语料里也存在;按照我们刚才的说法,这些选项也可能被输出。”
刘大海说道:“可是我们不想让它被输出,我们只想要最确定的那些答案。所以我们可以设定一个P=0.95;这样,只要我们收集到的选项概率超过了0.95,就不会继续收集了。刚才的答案里,“京城”的原始概率可能高达0.99,答案集里自然不会再出现其他的选项了。”
这个对马小飞来说就有点儿烧脑了。不过他还是尝试总结了一下。不懂不是坏事,不懂就要问;毕竟他能听懂,观众才能听懂嘛。
“所以,Top K是看个数,Top P是看总概率;那这两个数选出来的选项数量不一样的时候,听哪个?”马小飞问。
“哪个小就听哪个。”刘大海回答,“我们做这些事情,都是为了给答案剪枝嘛;不符合任何一个条件,都被剪掉了。”
听到这儿,马小飞松了一口气。真是一场酣畅淋漓的教学啊。
他看了看手里准备的问题,继续问道:“大海老师,非常感谢你刚才深入浅出的解答。我这还有最后一个问题。”
“你问。”刘大海微笑着说。
“咱们刚才讲到了,一个模型每次输出都不一样,是因为这些参数的设定,让每次推理都有一定的随机性。”马小飞低头看了一下,然后抬起头,“那有没有一种情况,一个模型会突然降智呢?”
刘大海的笑容一下僵在脸上。
“马总,你这个问题可不兴问啊。”