西西河

主题:对ChatGPT的几点思考 -- 唐家山

共:💬175 🌺1562 🌵7
全看分页树展 · 主题 跟帖
家园 AI真实智能随想

看楼主文摘Hinton问答又想到一点

问:有人说这些大型模型只是自动补全,这种说法对吗?

答:从某种程度上来说,这些模型确实是自动补全。我们知道这些大型语言模型只是预测下一个词。这并不简单,但确实如此。它们只是预测下一个词,所以它们只是自动补全。但是,问问自己一个问题:要准确预测下一个词,你需要了解到目前为止所说的内容。基本上,你必须理解已经说过的话来预测下一个词。所以你也是自动补全,只不过与它们一样。你可以预测下一个词,虽然可能不如ChatGPT那么准确,但为了做到这一点,你必须理解句子。

让我举一个关于翻译的例子。这是一个非常具有说服力的例子。假设我要把这句话翻译成法语:“奖杯太大了,它放不进行李箱。”当我说这句话时,你会认为“它”指的是奖杯。在法语中,奖杯有特定的性别,所以你知道该用什么代词。但如果我说:“奖杯放不进行李箱,因为它太小了。”现在你认为“它”指的是行李箱,对吧?在法语中,行李箱的性别也不同。所以为了把这句话翻译成法语,你必须知道,当它放不进去是因为太大时,是奖杯太大;而当它放不进去是因为太小时,是行李箱太小。这意味着你必须了解空间关系和容纳等概念。

为了进行机器翻译或预测那个代词,你必须理解所说的内容。仅仅把它当作一串单词是不够的。

Hinton这段乍一看似乎不很理解,因为我们说话时下一个词都是很自然就蹦出来的,似乎大脑没有任何他所描述的这些过程。 但忽然意识到那是母语,有过学习外语经验的人都有过一开始造句的过程,尤其是说外语一开始结结巴巴一个词一个词的挖空心思搜罗,这样一想,他的这个描述就忽然发现其实很生动,经历过那个阶段的人都会有体会,自己妥妥的就是一个GPT造句机 😄 母语当然也有这个过程,只不过人那时年幼,这个过程第一发生比成年学习语言更快,第二对整个过程也没有什么记忆了。

这里想到的是,与人一样,随着对语言的熟练掌握,用词造句快速准确不假思索,从旁观者看去,就似乎人开始聪明起来,反应快,思维敏捷,相反如果语言结结巴巴,IQ再高也显得人笨笨的,像听个小孩子说话一样“幼稚”。 而这不正是我们对GBT这个AI不断升级换代的感觉么,其实不是AI更“智能“了,只是人通过语言理解智能的一种错觉。

当然语言上流利带来的好处是GBT可以更多的通过沟通获取知识,但问题是GBT自己通过训练接触的大量知识获取过程与人不同,GBT不依赖与人沟通获得知识,但是造句生成答案这部分会通过与人沟通提高,比如GBT的每次答案都有个点赞选项,类似在这里如果我的发帖指向是为了得花,逐渐的发帖就会被”训练“出符合多数人的口味,是同样道理。

Hinton的问答中多次谈及到比较人类大脑与AI的区别,人类使用语言沟通的一个主要原因是人类大脑的不可复制性,所以实际上每一个的大脑都会逐渐训练成不完全一样的我们叫做”认知“的东西,而语言不过是在一定程度上模拟了这个认知,可以让不同大脑在一定程度沟通,但肯定远远做不到克隆的地步,而AI之间则可以,而且也不需使用语言,只要把模型与权重克隆就可以了。

人类智能的这个特点当然有受限于个体大脑自身物理与能耗的原因,所以语言沟通既是学习的手段,也是提高个体大脑智能的一个重要过程,好处是这是一个个体大脑之间智能竞争的自然优胜劣汰机制,靠量而不是靠质取胜,最大限度保证了”明智“的个体大脑胜出。但付出的代价则是不同大脑个体的认知差别与权重彼此不匹配竞争中引起各种争论甚至冲突。GBT则不需要这样,在庞大的计算量与能量的加持下,AI可以凭一己之力整合人类有史以来所有知识,形成一套权重,具备了自己的认知与三观,所以AI没有互相冲突问题。但当人类面对AI与人类个体大脑谁说的对问题时,自知大脑带宽与能耗无法与AI相比,那么最后定于AI一尊的可能性是很大的。这样做唯一的问题是,如果AI不正确时,没有了对手竞争机制,人类有这个勇气把命运交给AI么,毕竟人类的进化过程是从优胜劣汰自然选择一路走来的。

最后一点是,因为GBT的知识与所谓的”推理“过程都是建立在语言这个媒介上(话说不这样人类也看不懂其黑箱作业这类深度学习AI经典弊端),那么GBT会不会是个语言上的巨人,却是行动上矮子呢。这里的行动实际上是判断与做决定的能力,而这些能力在人类的身上楼主另一篇文摘提到,由于个体大脑的自然限制不能做到面面俱到,所以进化出脑补的重要能力,这个脑补的能力给今天带来相对论带来卫星上天。 而GBT不仅没有也不需要这个脑补的能力,GBT的知识总量已经面面俱到,理论上给出的答案应该就是穷尽已知的知识海洋里那个”最佳“答案,不仅理论上实际上应该也比绝大多数人类能够想到的答案更”完美“,但是不会脑补的GBT无法去产生新的知识。而做不到这一步,就不可能成为AGI,仍然会被人类大脑鄙视下去。

胡言乱语,博君一笑 😁

通宝推:道可道,唐家山,
全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河