西西河

主题:对ChatGPT的几点思考 -- 唐家山

共:💬175 🌺1562 🌵7 新:
全看分页树展 · 主题 跟帖
家园 目前看ChatGPT4存在明显漏洞

网上已经兴起一个jailbreak运动,使用各种办法让chatGPT说胡话,或说政治不正确的“实话” 😁

昨天看到一篇分析,与我上贴对ChatGPT的分析大致结论相同,认为实际上没有那么高“智能”,但是语言界面的华丽流畅让人产生的错觉。比如他举个例子让GBT把三个不同来源的数字凑起来成为一个prime number,结果给了个错误答案。 可以看到的是GBT没有规划,反证,前面三个数字收集部分都按照要求去做,但是结果是不是prime number就不管了 😄 而且屡试不爽。

但这并不是说GBT在故意“造谣”,而是与GBT的内部工作方式有关。 不过可以很确定GBT没有自我生成新的认知的能力,具备的不过是在已知的知识与知识结构里去尽最大努力生成符合提问的答案,哪怕提问包含了复杂的结构,只要是GBT训练材料经历过的都可以理解。 但人的实时沟通有时没有论文那样一步步娓娓道来,往往是直接给出结论,但是人之间经常可以不用言传而可以意会导致结论的中间步骤,但是GBT训练中遇到这种问题因为没有脑补能力,所以不知道自己误入歧途而得出很明显的错误结论。

虽然人与人沟通中因为认知与知识面差距太大,脑补出现离谱导致结论差之千里的现象也存在,但是对于GBT这是一个很通常的现象。 目前不知道下一个GBT版本会不会有改进。

还是那句话,GBT的主要威胁目标是搜索引擎,解决了搜索引擎如何用的问题,那些SEO,key words都可以休矣。 同时带来的应用面革命主要是人类日常生活中绝大部分浅层次solution,比如每天的工作安排,日常遇到的一些琐碎但不能忽略的杂事,行程安排,行业法规等不需要太多深度斟酌但需要很多随机应变与广大知识面覆盖的事情。 但是宏大的问题,比如股市的升降,利率的高低,俄乌战争走向,甚至中国是不是个社会主义这些“哲学”问题,那肯定是强人所难了。 在可预见的未来,键政的圈子里肯定不用担心GBT的参与。 口水贴可以,但是像我这个的帖子的样子,完全不用担心GBT有任何机会参与 😁,就是参与也一眼就可以识别。

通宝推:铁手,唐家山,孟词宗,
全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河