主题：对ChatGPT的几点思考 -- 唐家山
家园 这个MRI还真看不到 常见的两种MRI。结构像是看质子（水）密度，功能像看血氧变化。本质上MRI是看磁性变化。通过选择不同的磁序列，可以针对不同的粒子。因为不同脑组织含水量不同，所以看结构可以通过看质子（水）密度。不过这个精度远不到神经元的水平。而功能像（进行不同任务的时候的脑活动差别）精度差得更远。而且不仅仅是个数字大小问题，有原理上硬伤。因为实际看的是血红蛋白而不是神经细胞。这里面依赖的是一个弯弯绕逻辑：一处脑组织活动增强会导致血氧消耗变化，那么带氧和不带氧的血红蛋白（两者磁性有差别）比例会变化，因此其磁场表现会发生变化，于是可以MRI被看到。但是这种关系只是大多数情况成立，物理学上严格讲既不充分也不必要。虽然在MRI方法学上有发展，但是基本问题没有根本性的解决。
现在一个方向是用大脑内的微电极。比如某些病人会用到颅内电极，在这种临床需要的电极内可以使用超细纤维记录单个神经元的活动。但是哪里可以下电极是临床需求决定的，局限性很大。马斯克试图在这方面搞伦理突破，弄个永久性植入，但被FDA否决多次了。
通宝推：工业党B站书记,唐家山,
家园 今天有空读了Hinton这个访谈挺有意思 这段
我们现在正处于一个过渡点，其中ChatGPT像一个“白痴天才”，它也并不真正了解事实真相。它接受了大量不一致的数据训练，试图预测下一个网络用户会说什么。内容人们对很多事情有不同的观点，而它必须有一种混合所有这些观点的方式，以便可以模拟任何人可能说的话。这与一个试图拥有一致世界观的人非常不同，特别是如果你想在世界上采取行动，拥有一致的世界观是非常有益的。内容我认为接下来会发生的一件事是，我们将朝着能够理解不同世界观的系统发展，并且能够理解，好吧，如果你有这个世界观，那么这就是答案。而如果你有另一个世界观，那么答案就是另一个。我们得到我们自己的真相。
问：那么这个问题是不是因为，你和我可能都相信（除非你是一个极端的相对主义者），实际上在很多话题上，甚至在大多数话题上，确实存在一个事实真相，比如地球实际上并不是平的，只是看起来平而已，对吧？
答：是的，所以我们真的想要一个模型说，好吧，对某些人来说，我们不知道吗？这将是一个巨大的问题，我们目前还不知道如何处理。目前我并不认为微软知道如何处理这个问题。他们也不知道。这似乎是一个巨大的治理挑战。谁来做这些决策？这是非常棘手的事情。你可不希望某个大型盈利公司来决定什么是真实的。但他们正在控制我们如何使用这些东西。谷歌目前非常小心，不要那样做。谷歌会做的是将你引向相关文件，这些文件中会有各种各样的观点。
家园 有消息了，今年底GPT 5出来，据说接近AGI 😨
https://boxmining.com/openai-gpt-5-to-achieve-agi-in-december/
家园 说到AGI 我发现GPT类的AI跟人类的思考模式真的挺像的。打个比方说，一个中学生要做一道平面几何题，他/她会分析题目，总结各种条件，然后搜索各种可能性，最后完成结论的逻辑链条。解题的本质是一个探索式搜索的过程（包括做辅助线）。逻辑链条实际上是一个匹配问题，上一个逻辑命题的结论正好是下一个逻辑命题的条件。
按照这个观点来看，GPT做的事和中学生解几何题很像，也是在不停的搜索，寻找各种匹配条件，可以视为有智能的初阶体现。
不过GPT现在还不够聪明，它只能做语法相关性的匹配，还做不到语义上的推理，我目前还想不到GPT如何跨越这道鸿沟。
- 复 说到AGI
家园 看到指南针社区里的一篇文章很有意思 作者是dengdenggu。
大脑秉承着效率至上，精简之上，能耗至上的原则，你失去了图像记忆的能力，这样可以节省大量的资源算力，分配到别的地方。你看到的并不是你真实看到的，全是脑补。（只有极少数可以做到图像记忆能力。某些人大脑有缺陷，但在别的音乐，美术方面特别有天赋。这种情况被称为白痴学者综合症。不用羡慕，一个正常的大脑只要经过长期训练，在他们的领域，你可以比他们强。他们的那种不正常的天赋，是用别的能力换来的。）
靠着极致的精简压缩，把一个10hz的处理器这可怜性能压榨到了极致。
正因为脑补，人类拥有强大的抽象思维模式。
没有这种运算机制，人和动物相比，大脑性能并没有多大的差距，可能就是聪明一点灵活一点。
大象的神经元是人两倍还多，过目不忘，嗅觉发达，有次声波交流能力，几十年前的事情还能记得，但还是比不过人类聪明，因为大象的大脑没有效率至上的原则，思考能力不够抽象。
抽象思考能力是大脑效率至上后的副作用，地球人除了人没有任何生物拥有这个能力。
看来人类的抽象能力是从概率论的归纳进化到确定性的演绎的关键。人类的抽象能力是从哪里来的可能又是鸡与蛋的问题了。
家园 概率的胜利，似乎还需要人工判定 好像在计算机编程方面另有以前的什么东西加进去，因此较强。
看来问题还是在某些点上会出错，而且似乎这样的错大多不会有矫正信息反馈。
家园 感谢唐家山河友这些GPT的文摘 以前，如果你走的不是教机器学规则的这条路，当机器无力穷举的时候，所谓“人工智能”往往就“智能”不起来了。在这个路径上，现在这些巨量但不完全抽样的种种基于概率、借助于现代计算力的方法是巨大的进步。但我不赞成用“胜利”这种词，充满了太多误导性的暗示。我个人的观点，基于概率的这些方法现在有两个较大的局限性。第一，它是在总结，如果输入的素材不是整个样本、或者不能代表整个样本，它的输出就会失去“智能”性。第二，当概率方法在求解过程中真正起作用的时候，你只需要统计意义上正确的答案，否则就要人最后去选择一个确定性的答案；从这个角度看，现在这个GPT的方法还是一种人机互助智能。
通宝推：唐家山,家园 您是不是回错地方了？ 我的感觉是，人常常不能穷举，而过去计算机常常是穷举，但这次不是，所以有点更像人的思考方式了，但也因此会出错。
家园 这涉及到这些所谓AI方法的分类 按科普标准比较准确的叙述现在来不及写，先打个比方，当然比方肯定是有不精确之处的。这个找规律和暴力破解之间的区别好比警匪片里劫匪开保险柜，找规律就是拿个听诊器开锁，穷举式的暴力破解就是在保险柜门上每隔5厘米装个炸药点。现在这些所谓基于概率和计算力的方法就相当于门太大而且很多部分还有伪装，所以连形状都搞不太清楚。所以就先随机地选一些点先炸，然后根据上一轮炸的结果再按照当前能估计出来的门的形状再选点再炸。如果你把听诊器开锁算做思考，这个炸门的过程和思考还是很不一样的。
通宝推：桥上,唐家山,
家园 AI现在使用的方法 最核心的还是，给出训练集和训练集的答案，然后不停的调整和训练，使得AI的输出和答案尽量一致。里面还有很多细节，但总体就是这样，可以认为是一种多变量多次函数的拟合。这样的方法，通常会带来过拟合，就是训练集内的样本，结果很好，而训练集外的样本，则非常差。现在这样的方法神奇之处在于，训练集外的样本，也非常不错。这个能力是怎么回事，现在还没能解释得清楚，这可能是仿造生物的神经网络带来的好处，毕竟是几千万年进化而筛选出来的信息基础结构。
那么AI有没有创造性呢？可以说有，也可以说没有。比如你喂给他梵高的画，莫奈的画，他可以创造出介于两者之间的，我们没见过的风格。这也可以认为是创造性吧。但是你希望它能无中生有，生成一幅唐伯虎风格的画，目前不可能，未来看起来也不太可能。所以也可以认为没有创造性。至于“顿悟”那样的创造性，从原理可以看出，是不可能具备的。
人类的思考，按目前来看，也可以认为是一堆神经元网络的互相刺激，最后得到一个输出，到底和计算机的模拟人工神经网络，有什么样的区别？从数学角度来说，本质上并没有什么区别。但是我们真的了解我们自己的思考过程吗？我们是否也是样本集+答案训练的结果？这个好像目前也不知道。
通宝推：唐家山,家园 AI对抗性的训练，评分方自然要有标准答案库 比如要求作画AI1作梵高风格的作品，AI的评分方当然要有梵高的本人作品的数据库。
家园 我之前的一个回帖跟你思考的类似 深度学习大潮起来的时候，有一个观点很有意思，说人类的思考在本质上是深度学习+贝叶斯系统。我的理解是人类的思考在最初时是“归纳”的。但是如何从"归纳”的系统中得出最基本的逻辑推演，或者说是生成“演绎”系统，需要一个跃变。这个跃变是人类文明最亮眼之处。
古代先贤在这方面肯定是做过深入思考的。佛教就有三支五明的因明学，西方是亚里士多德的三段论。但是真正成形还是欧几里得对几何的公理化。
如果ChatGPT跟人类的思考在本质上有相同的地方，那么ChatGPT类的发展应该也会遵循类似的路径。目前我还没观察到这一点。
我现在的看法改变了一些。主要就是发现表述无穷系统的逻辑规则可以是有穷的。换句话说，只要AI归纳出有穷但是完备的逻辑规则，那么AI是有可能描述并推理无穷系统的，这个是数学证明的基石。GPT-4有这方面的潜力，但是它还缺乏验证自己推理正确性的能力。
如果GPT类的AI能够发现并证明哥德尔不完备定理，那将是人类纪元终结之日。
家园 我比较没那么乐观 其实ai领域，投资最大的并非自然语言处理，而是自动驾驶---很明确的应用前景，上万亿美元市场的赛道。在受限场景内，特别是码头这块，自动驾驶在国内已经实用化。但是在非限定场景，总是还有各种各样的问题，是样本无法覆盖，甚至无法预测的。我认识一些人，就是搞卡车的自动驾驶（他们的美国分公司，还被美国政府给刻意搞黄了），应该说相当实用了。前些天他们就遇到了这样一个问题：
自动驾驶检测出了小卡车上的车锥，于是认为前方禁止通行。
这个就是ai并非实际的推理，而是计算的结果。它无法推理出在运动卡车上的车锥不需要停车这个简单逻辑。这就是巨量投资下的现状。
gpt 的确有令人印象深刻的推理能力，gpt4 通过了物理本科的测试，对量子力学的“理解”可能超过了普通本科生。但这是计算的结果，就是硬生生的计算。其神经网络是否有人类推理中使用的大量高级和抽象的概念，这些概念在神经网络里是不是存在的？目前还一无所知。这也是其实ai这几年进步慢下来的原因，ai和人脑一样，我们并不知道它到底是怎么工作的，所以也很难有效的改进。gpt这种千亿参数的，就是大力出奇迹而已。
你说的推理，还有更高级的一种，ai能否创造一个新的领域？比如类似“流形几何”？，如果能象人类一样推理，那么这也是一个必然。但目前为止，真的没看到ai有任何希望做到。
通宝推：zwx650,桥上,唐家山,- 复 我比较没那么乐观
家园 LLM涌现推理很可能是语言自带的原因 如果语言模型（河里有过不少LLM的相关文章）本质就是搜索下一个词，当这个范围扩大到很大，比如下一百个词的搜索都在每一个词后续的搜索范围内，当然这个数量级是巨量，语言模型实际能做到的只是在给定问题内的最优解释与方案。当这个搜索不仅对单一简单问题，天量计算量下，它做到可能只是拼凑每个分化问题的最优解释与方案。 这可能是为什么与chatGPT打交道prompt的技术很关键，因为问题的提问方式直接影响了语言模型对复杂问题的细分，但本质仍然是问题中每个词出现或不同组合甚至组合的组合的概率，所谓的“理解”，最后影响到模型根据这些组合的概率寻找“答案”的然后拼凑起来的结果。
能做到现在这样水平，说明这个模型对语言的处理能力已经基本上到了人类大脑对语言的处理水平，所以从人的角度感觉，一个完整问题输入之后的结果与换成一个人给出的结果不差，这样的答案也包括所有语言模型训练过的大学本科物理以语言方式表现的知识，比如教科书与文献。但这是不是推理能力还有待商榷。
本质上这仍然是知识对应的搜索与叠加拼凑，但因为语言本身在描述事物上的自带逻辑，尤其是比较正规的知识文章，所以表现的结果也就很有逻辑性，就是说整体上chatGPT学习训练而得到的知识根据问题去叠加组合的话，本身的自洽性很强。而且这个知识范围很庞大，远远超过一般人一生包括高等教育所能收集的总量，因此从普通人角度看不出毛病来。
但是两个角度可以帮助判断这个涌现的“推理”能力是不是真的存在，一是解决实际问题，而且是复杂的历史上没出现过也就没有正式答案的问题。 这可以说的独创性，但也可以理解为非传统非经典教科书式的知识的排列组合叠加，这个能力对人类来说是很普通的，网上俗称“脑补”，“开脑洞”，当然脑补结果的质量则受限于开脑洞人的自身知识总量与自身的对知识的排列组合能力，但人是可以经过教育具备基本逻辑推理能力的，因此这个排列组合知识的过程就包括了排除法，反推，归纳，联想等能力。 但是我不认为chatGPT具备这些能力，语言模型做到的其实是根据已知的知识与现成答案的已知的排列组合去提高答案，当然这些排列组合也是知识的组成部分。 但超出这个知识范围的去依赖接近或类似等思考能力产生全新的知识排列组合，因为没有存在过各种文献中所以chatGTP应该是做不到的。
结论就是这个“推理”错觉其实是因为chatGPT语言输出的知识的复杂度与对知识点的合理排序排列组合，本质上还是语言，只不过人类的知识都是以语言方式存在所以自带了各种人类知识的光环。那么当OpenAI推出之后市场的焦点都在传统搜索业巨头谷歌身上，其实是没错的，可以看做是一个搜索的高级辅助加速器，虽然这个加速器的帮助是量变带来质变级别的，意义很大，但本质上仍然是更好的搜索。
第二点在第一点的前提下，反推一下。比如大语言模型训练收集的语言知识来源会不会起到很关键作用。 当然这是脑补，因为目前没人有能力去做这个试验。 这里如前所说，chatGPT的所谓”知识“依然不过是语言本身词汇之间的关系或概率，被这个语言模型学习到极致之后给人带来的”智慧“错觉。 那么这个语言模型的答案质量很大程度上是依赖与其训练所收集的语言素材本身的质量与逻辑，或者说是其训练所用语言的智慧的原因。 那么使用不逻辑的”推理“，指鹿为马，张冠李戴，前后矛盾，不是蠢就是坏，那么这个语言模型的运行效果会不会就产生类似的答案，给人一种明显不靠谱的感觉呢？ 我估计一定会，实际上即使目前的chatGPT仍然存在这样问题，因为训练素材的质量不可能做到百分百。 版本4对3.5已经改进了很多，但肯定不是因为微调的某种”推理“能力的结果，而只能是修改了对知识语言的排列组合叠加的模型权重，加入某些歧视性的边界条件权重，至于这些是什么就没人知道了，但貌似结果有提高，甚至提供”脑洞“版与”严谨“版，实际上bing目前就是这样。
总结的说，这个”推理“能力其实是语言知识来源自带的，语言知识来源的质量的控制才是其答案逻辑性强不强的真正因素，所以至少一个核心竞争力不但是模型算法本身，同时也包括对训练语言来源的质管技术。 真正到了人都分不清的地步，这个质管也就无法保证了，因此chatGPT表现出的”三观“，”屁股“就很正常了，因为语言来源质管的源头仍然是人。这也可以从广义导航当作一个知识茧房效应去理解。
但同时，这个模型本身解决不了汽车自动驾驶中出现的简单逻辑问题，除非可以把问题语言化，通过人类知识的传输方式去自动驾驶，比如每次看到前面一个画面，都去问一下chatGPT，类似”我目前在高速路上，车速xxx，前方这个画面我判断是个STOP sign，请回答确认”，这样可能可以做到帮助AI实现一些在人类知识范畴内很普通的常识答案。
至于chatGPT本身，可能是对搜索应用带来革命性的一个里程碑，甚至堪比互联网本身的出现对知识传播的作用，但仍然还是一个搜索引擎的性质，至于算法对NLP甚至AI行业的贡献因为深藏不露，所以也就无法了解了，但可以有把握的说这远远到不了AGI的程度，不需要像马斯克那样贩卖焦虑。
通宝推：道可道,漂漂2号,桥上,唐家山,
家园 鼎盛的帖子是功夫熊猫兔发的 闲下来，写了点关于AI的东西。不管算不算科普，希望大家给点建议。原创，码字不易，多包涵。
Go出现之前，AI的研究侧重于算法和逻辑的设计，即使神经元网络算法很早就出现在AI的研究里，但是也是侧重于算法本身。就数学而言，任何算法本身是一种强逻辑的关系，就如同数学定理的证明，前一步的证明是后一步的基础。所以，Go之前的所有棋类AI程序，都是着重于在基于当前棋盘形势下建立各种强逻辑关系，然后推理演算下一步棋的行动。
Go的到来，颠覆了这个思路。它不试图将每步行动间建立强逻辑关系，而是通过已知的海量数据的统计，来得到一个下一步行动高概率结果，进而直接使用该结果。这得益于计算机科学本身的巨大进步，使得有海量的棋谱和CPU运算能力可以被轻而易举地使用。这个思路，就是非常巧妙的模拟了人基于经验的思维。高手在下了几千几万局棋会，就自然而然的觉得我这样下就是对的。这每步与步之间，没有必然的强逻辑联系，就是纯粹因为新的算法中“学习”了几百万个棋谱后得出来的“经验”。实现了，从强逻辑到弱逻辑的转变。而随着“经验”的增加（也就是喂更多数据），终于完全超越了人类。
通宝推：zwx650,桥上,