主题：ChatAI 使用初体验(0) -- shuyong

我用ChatAI，是奔着使用它们的长处去的。因此会尽量想着发挥它们的长处，能否帮我干活才是最重要的。因此我没有使用那些微妙的问题对它们进行测试，因此我向ChatAI提问总是简单明确，想让它们明白我的意图并给予针对性的回答。在它们有长处的地方发现问题，那才是真的问题。

这些智能聊天机器人，从学习的方面来说，还是很有价值的，但前提是我们知道我要学什么知识，因此我懂得要问什么问题，那它绝对能给我们打开一扇知识的大门。如果不是为了吹牛打嘴炮、不是为了写个文案忽悠女朋友忽悠外人、不是为了写个小白网文贩卖焦虑收割客户，而是为了好好学一点知识，那么智能聊天机器人在提供深度知识方面还是可圈可点的。

我的经验是，对所要提问的领域要有些积累、有些经验，更要有些专业常识，当然，在这些领域，我们有更多的问题需要解答。我们已有的知识，就像大海中的孤岛，我由此出发不断提问，有灵感和问题就立刻追问，然后孤岛就渐渐连成片，并且我们还能发现继续深入学习的阶梯知识。我曾经和Claude一起，相互激励相互忽悠，在某个领域的最新进展和未来展望深入追问，一直问到以我目前的知识无法理解也无法提问为止。最后查看聊天记录，第一个感觉就是：算了，别学了。这些高深的问题还是留给聪明人去解决吧。

在这期间，不要100%相信智能聊天机器人所说的话，要用专业常识去判断，有不决的疑问就找搜索引擎查找。渐渐地，随着讨论的深入，在深水领域，就会发现这些智能聊天机器人给出的错误信息(也就是幻觉)也是挺多的，越深度越多，越细节越多。其实，它们给出错误信息并不可怕，就算是我们自己，谁又没给外界提供过错误信息或散布过谣言呢？可怕的是对这些信息的无脑接受、然后再散播出去、然后再重新接受，形成了错误信息的激励放大。其实，能发现问题，并且能纠正问题，也就说明了我们有了一定的水平，能在这个谣言四起的世界里找到一个能落脚的实地。

ChatAI传授知识的最大问题就是它们无比的自信。它们永远不会说我不知道，它们总是可以在知识库里找到一些你所要问的知识片段，然后根据概率将这些知识片段拼装起来给你回答。这样，在越是专业越是深度的领域，就越容易出现幻觉。我曾经让ChatAI给我提供一些参考论文，所提供的论文，不但有名字，还有ISBN编号，结果我一查，全是不存在的。但是前面它对某个算法的解释，在关键点上确实给我点明了方向，让我一下子把握住该算法的要点。所以这种感觉是很矛盾的。

还有，我曾经让ChatAI对于某个协议栈给我提供一些开源参考代码。它们提供的github中的项目，没有一个是对的。有些是不存在的，有些是这个人根本就不是做这方面的，这项目是另外的人做的，有些项目就不是这个名字，而是另外的名字。只要我们会从github中查找项目，就会发现这些错误完全是概率拼凑造成的，还有，我认为完善程度比较好的项目，都不在它们的推荐之列。关于编程方面的幻觉还有不少严重的问题，将在后面提到。

另外，通过对错误的讨论，我发现Claude确实是试图用基本规则进行推理，然后在推理链中某个专业常识错了，于是就得到了错误的结论。还有，可以感觉到Claude还是深受主流知识的影响，权重就像是惯性，很难拉过来。比如在和Claude的讨论中，我用的某个专业术语和主流知识不一样，给它说明了几次，最后它给我的反馈说明它已经了解我所说术语的含义，但在下一个问答中，给我的文字中，讲解的是我给的术语，但给我的通用公式和举例式子，用的还是主流知识的公式，并且我给的纠正，忘记得相当快。这说明主流知识的权重不可动摇。