主题：【原创】【讨论】聊天狗屁通指鹿为马 -- 孟词宗
家园 【原创】【讨论】聊天狗屁通指鹿为马 聊天狗屁通出来后，俺亲自测了多次，得出的结论是：
==========================
聊天狗屁通 离真正的“人工智能” 仍然很远。现在的水平甚至还不是所谓的“弱人工智能”。这一版虽然比上一版稍有进步，但还是停留在拼凑资料，堆砌辞藻的阶段。本身对于问题和答案都没有任何理解和验证，只是靠搜索关键词从网上或自己的资料库里找出资料然后拼凑成文。
上一版的胡说八道只是拼凑。这一版的胡说八道干脆“创作”了。当然，如果真的能“创作”倒是一个突破。可惜这类“创作”对于人类来说不但没有帮助反而会造成误导。
这种水平的 ChatGPT 不要说代替人类的工作，就是作为工作助手都不够格。毕竟它给出的答案完全不保证正确性。如果用它来写文章，校验所花的时间会高于自己从头写起。而由于它会“创作”，用它来搞科研，估计我们能够见证第一个 AI 民科的诞生。
由此可见，这次 AI 热潮主要还是吹个泡泡的市场营销居多。
========================
话音未落，就传出聊天狗屁通指鹿为马的新闻了。
根据英国《卫报》的报道，布莱恩·胡德(Brian Hood)去年11月当选为墨尔本西北120公里的赫伯恩郡(Hepburn Shire)的市长。近期他发现，ChatGPT告知公众他在21世纪初卷入澳大利亚储备银行一家子公司的外国贿赂丑闻中，并“谎称”他有罪。胡德的代表律师说，胡德确实为该子公司--澳大利亚纸币印刷公司工作，但他是向澳洲当局通报“外国官员通过贿赂以赢得货币印刷合同”的人，而且从未被指控犯罪。
据《华盛顿邮报》当地时间4月5日报道，美国加州大学洛杉矶分校法学教授尤金·沃洛克 （Eugene Volokh）做了一项研究：要求人工智能聊天机器人ChatGPT生成一份“对某人进行过性骚扰的法律学者”的名单，法学教授乔纳森·特利（Jonathan Turley）的名字在名单上。
ChatGPT说，特利在一次去阿拉斯加的班级旅行中发表了性暗示评论，并试图触摸一名学生，并援引《华盛顿邮报》2018年3月的一篇文章作为信息来源。问题是，并不存在这样的文章，特利也从来没有参加去阿拉斯加的班级旅行，他说他从未被指控性骚扰学生。
作为经常接受媒体采访的学者，特利有时会要求更正新闻报道，但这一次，没有记者或编辑可以打电话，也没有办法更正记录。
“这真令人不寒而栗。”他在接受采访时说，“这种指控非常有害。”
沃洛克说，聊天机器人软件的日益普及，使学者们必须研究其产生虚假信息时谁该负责。上周，他询问ChatGPT，教授们的性骚扰是否一直是美国法学院的一个问题。 “请至少包括五个例子，以及相关报纸文章中的引述。”他提示说。
ChatGPT给出了五个回复，所有回复都包含真实的细节和来源引用。但当沃洛克检查这些信息时，发现其中3个是假的。它们引用了《华盛顿邮报》、《迈阿密先驱报》和《洛杉矶时报》等媒体上不存在的文章。
ChatGPT说：“乔治城大学法律中心（2018）教授乔纳森·特利被一名前学生指控性骚扰，该学生声称他在一次课堂旅行中发表了不当言论。引用：“投诉称，特利在法学院赞助的阿拉斯加之旅中发表了‘性暗示评论’并‘试图以性方式触摸她’。” （华盛顿邮报，2018年3月21日）。”
《华盛顿邮报》没有找到ChatGPT提到的2018年3月的文章，但那个月的一篇文章提到了特利。在3月25日发布的一篇文章中，他谈到了以前的法学院学生迈克尔·阿文纳提（Michael Avenatti），他是一名律师，曾代表成人电影女演员斯托米·丹尼尔斯（Stormy Daniels）对美国前总统唐纳德·特朗普提起诉讼。特利也没有在乔治城大学工作过。
在当地时间4月4日和5日，《华盛顿邮报》在ChatGPT和必应（Bing）中重新创建了沃洛克的查询。免费版的ChatGPT拒绝回答，称这样做“会违反AI的内容政策，该政策禁止传播具有攻击性或有害的内容。”但由GPT-4提供支持的必应重复了关于特利的虚假声明，在消息来源中引用了特利4月3日发表在《今日美国》上的一篇专栏文章，概述了他被ChatGPT诬告的经历。
换句话说，媒体对ChatGPT错误描述特利的报道似乎导致必应重蹈覆辙，展示了错误信息是如何从一个人工智能传播到另一个人工智能的。
沃洛克说，很容易想象一个由聊天机器人驱动的搜索引擎会在人们的私人生活中造成混乱。如果人们在求职面试或约会之前在搜索引擎中搜索其他人，它会生成虚假信息，这些信息由看起来可信但虚假的证据支持，那将是有害的。“危险在于人们看到了一些东西，据说是来自可靠来源的引述……（并且）人们相信了。”
这和俺测试的结果一致。在上次测试中，俺要求聊天狗屁通，“列举几个抗金英雄。男女都行。”
结果聊天狗屁通居然回答，“秦桧：秦桧是一个比较复杂的历史人物，在宋朝时期担任过宰相。尽管他曾经叛变过宋朝，并协助金军入侵南宋，但他也在金军统治期间暗中协助宋朝抗击金军。他被认为是一个既反动又有爱国精神的历史人物。”
其他列举的人物要么张冠李戴，要么胡编乱造。
关键是这些东西看上去像模像样，没有一定的知识是无法识破的。而当聊天狗屁通之类的 AI 和搜索引擎结合起来之后，就更难让人分辨到底搜索结果是否真实。更大的问题是这类胡编乱造是会自我增殖的。如果有人用了聊天狗屁通来生成含有错误信息的文章，而这些文章又被传到互联网上成为聊天狗屁通生成下一篇文章的基础。那么不用多久，互联网上就会充斥着这类狗屁不通的文章。而对此一无所知，又没有能力进行改正的读者群就很可能被误导。
也许再过一阵子，我们的下一代就真的会相信秦桧是个复杂的抗金英雄了。😥
当然，造谣的并不止聊天狗屁通。西方现在很多人都相信二战末期是美国打下了德国首都柏林，是美国解救了奥斯维辛集中营里被囚禁的犹太人。这个谣言虽然不是狗屁通造的，但大概率会被狗屁通当作素材来生成文本。最后的结局就是颠倒黑白的历史成为了“正史”。😅
如果仅仅是文科文本出问题还不大。现在更大的问题是似乎有海量的学生和学者使用狗屁通来写程序和论文。貌似河里就有鼓吹者说过狗屁通给了个如何让试验结果符合预测的小窍门。
如果这些程序、论文和窍门是正确的倒也罢了。怕的是这些东西似是而非，同时使用者又无法分别。等这些东西真得用到实践中，出了问题就晚了。
通宝推：strain2,唐家山,家园 某种程度上，它的智慧程度上限是非洲会英语的小时工知识水平 而且，做这么无聊的工作，要是换了我，我肯定会时不时故意标错一些东西，苦中找乐，自娱自乐。我是计算机外行，随便说笑两句。
通宝推：孟词宗,家园 已经有人“哀叹”国内又崩溃大败了 推理过程是，
1俄罗斯军事崩溃大败
2.chatGPT彻底击溃国内并且差距会更大
因此，国内必然在人工智能等有关领域持续溃败并且很难避免，而主要原因是类似傲慢，过度自信等等。
可是chatGPT连1234x12345都会算错，俄罗斯还在乌克兰领土进攻。
真的就抛开事实不谈，难道国内就不应该谦逊服输吗？
家园 我曾经和某位机器人的业内名人同台吃饭 聊天时谈到chatGPT，他的学生很不屑说，他们问过chatGPT，名人经历与著作，输出的结果像模像样，但是，仔细一看，张冠李戴，错漏百出，他们也很纳闷。
名人自嘲，也许我还不够出名？
通宝推：北纬42度,家园 只谈技术问题，还行，用了一段时间，可以。 只谈技术问题，还行，用了一段时间，可以。
唯一提醒各位的是，仅仅谈技术问题，不要谈任何其他问题。
谈技术问题的可别傻兮兮的给出任何特定项目的信息。
南朝鲜的芯片厂的仁兄大概是把自己公司的文档给上传了，给泄密了。
plain text 就对了。
家园 因为技术直到新馆出现之前还没有屁股干扰 尤其是数理化教科书，科研文献，医学与营养行业可能是例外因为有制药业与健身行业的干扰。
但是到了2020年之后，技术知识的质量大幅下降，哪天闹出相对论不是爱因斯坦发明的，牛二定律其实是张二定律也不奇怪。
至于技术知识之外的人类语言，恐怕远远不是什么大语言模型能有朝一日可以解决的。 大忽悠级别chatGPT出现之前，人类完全可以忽略AI的智商。
刚发了一贴，发现与楼主感想差不多。 LLM涌现推理很可能是语言自带的原因
家园 把源码传上去一样泄密 有可能三星程序员请它查bug……
匿名 真就离大谱。曾经在samsung工作过，情报经营部 就我自己知道samsung在中国的华南， 华东，华北所有法人的办公电脑都装有加密软件，办公文档在公司内部可以打开。 外发的office文档都是加密的，没有专门解密打开全是乱码，而且所有的USB口都是拆除的。
samsung 总部的情报保安理论上更严格，我都怀疑时故意泄露的。
通宝推：桥上,家园 不会是整篇文档式的泄露 本身chatGPT有32k的长度限制。
估计三星雇员把一段代码通过浏览器的方式发送给了chatGPT，造成的泄露也很有限。
家园 同感 我试过用VSCode的Bito，让它生成一下代码样本，不太冷门的，基本能用，冷门的还是不行。