主题：ChatAI 使用初体验(0) -- shuyong

现在CHAT AI的发展可以用侵略如火，势不可挡来形容。以后可能会影响我们人类社会的方方面面。但是，它们现在首先影响的是对自身应用的颠覆性地发展。CHAT AI也才火爆半年，在这半年里，有一个新兴的行业，提示词工程(Prompt Engineering)，快速地兴起又快速地衰落。

如何向CHAT AI提问以得到高质量的回答，是一个值得研究的话题，于是提示词工程很快就出现，也有些新潮公司开始设立岗位招这样的人。接着，用前端CHAT AI从人工提问生成高质量提示词给后端CHAT AI使用的研究也出现了。于是人工岗位刚刚兴起就没有了。但是照这样发展下去，就会出现层层套娃的现象，终究不是一个好主意。于是，将人脑与CHAT AI的思维模式相结合以高效搜索答案的研究也出现了，就是这篇思维树论文：

[Tree of Thoughts: Deliberate Problem Solving with Large Language Models](https://arxiv.org/pdf/2305.10601.pdf)

照这个思路发展下去，蒙特卡罗剪枝算法又会重现江湖，终究还是逃不过层层套娃的命运。

但是，还有没有更好的方法？也许发挥主观能动性是有可能的：

[OpenAI员工与友商玩起提示词决斗！](https://baijiahao.baidu.com/s?id=1767747263533478542)

---x8---8x---

然后为降低成本，由高端CHAT AI生成工具给低端CHAT AI使用，以在特定问题上得到高质量低成本的解决方案，这方面的研究也出现了：

[Large Language Models as Tool Makers](https://arxiv.org/pdf/2305.17126.pdf)

---x8---8x---

CHAT AI虽然在参与全流程的软件开发方面能力不足，但是在有复杂约束条件下搜索全局优化解方面有独特优势，于是在搜索空间复杂的情况下，从非正式规范(如自然语言、部分代码、输入-输出示例或伪代码)中生成程序，这方面的研究也出现了：

[Think Outside the Code: Brainstorming Boosts Large Language Models in Code Generation](https://arxiv.org/abs/2305.10679)

---x8---8x---

如今这些研究此起彼伏，如火如荼，方兴未艾。正所谓：浪花淘尽英雄。青山依旧在，几度夕阳红。

现在风风火火兴起的CHAT AI，确实有它们的独特价值。但是它们的价值并不是那些网红培训师吹嘘的那样，抓住了就一夜暴富，错过了就后悔终身。哪里会有这么简单的发财故事了。如果你相信说一句：“CHAT AI，你去给我赚一百万回来”，你就能躺着挣钱了，还不如相信《一千零一夜》里的“阿拉丁神灯”的故事。如果你要CHAT AI给你制定一个赚一百万的商业计划，那对这个发财计划，首先你相信么？其次，你能完全照着执行么？最后，你完全执行下来，你没赚到钱、反而亏了，你又能怎么样？所以赚钱这事，靠的还是自己的判断、自己的本事，别指望有人能替你挣钱。而CHAT AI就是一个新的有效率的辅助工具，有时候还不一定靠谱。

就我试用这一段时间，我觉得CHAT AI在学习知识方面能给我们提供独特的价值。通过你的提问，CHAT AI能体现你当前的学识水平。但是这不止是提问的水平这么简单，首先我们要有一个学习的愿望，好比如我们是一个运动员，原来跳高只能摸到篮板的边边，经过CHAT AI这个教练的不断培训，我们最终能摸到甚至抓住篮框了，CHAT AI这个教练固然功不可没，但是我们花费时间和精力，忍受孤独和痛苦的训练才是最重要的，而这如果没有一个学习的愿望是很难坚持下来的。

还有，光有提问，没有自己的思考也是不行的。随着知识水平的深入，CHAT AI出错(出现幻觉)的概率越来越大。再有，CHAT AI的“思维模式”与我们人类是不同的。有时候它们选择的内容和表述的侧重点会不一样，这未必适合我们人类学习，也未必适用于我们想要进入的专业领域。所以与人交流，看人写的书，交叉验证是十分必要的。

此外，与CHAT AI的交互输出，有信息量大的特点，无论对错，都给你无比自信地输出，量大管饱。我们要一边学习一边判断对错，对脑力的负担是不小的。所以与其问：“请你用最新的天文研究成果给我讲解广义相对论”，然后得到一个看不懂的答案，还不如问：“我现在只有初中物理水平，请你给出一个学习路径和学习计划，让我在5年内看懂广义相对论”，然后在5年中让它一步一步地给你上课，这还是可以实现的。

所以问题的关键还是在于自己想学肯学，不断学以致用交叉验证，而不是去听那些想割韭菜的人瞎忽悠。唉，在资本的指挥下，一些顶级的学校的高级学者不管五音不全也加入了大合唱，各种谬论频出：“AI已经达到了博士研究生的智力水平，具备强大的计算和学习能力。学科和专业将融合，不再存在明显的文科理科区分，一个文科生只要会向AI提问，就能进行编程。”把普通人唬得一愣一愣的。我很怀疑这些博士教授们有没有在自己专长的地方和CHAT AI有深度交流，他们会不会编程，会不会判别错误。甚至，他们能不能独立思考，能不能提出有价值的想法，这都是值得怀疑的。

软件项目需要多人合作一起开发，就算使用CHAT AI也一样，因为一个人不可能知道所有知识，也不可能记得所有细节。因此，如果存在这种能编码的CHAT AI，它如何加入到项目团队中，人与CHAT AI如何交互，人与CHAT AI如何一起讨论项目中的代码，CHAT AI如何在大容量的代码中长期稳定一致地工作而不出现幻觉，恐怕需要在AI的可解释和可配置方面的理论有大的突破才行。

假如存在这种能编码的CHAT AI，对于我们这些码农用户，恐怕也需要一场软件工程的革命。因为代码输出效率大大提高，意味着我们需要在短时间内学习大量的知识，处理大量的信息。我们要应对这种短时间内知识量和信息量暴涨甚至溢出的情况，类似于生产关系不适应生产力，所以我们要革命一样。

虽然我做不了一个网文写手，但是我还是浏览了一些提供用ChatGPT写小说的服务网站，也许能给我们在使用ChatGPT辅助编码方面有启发。在欧美那里，写小说的更爱培训文章的结构和套路，而国内可能更容易强调个人的文学天赋。有结构和套路，现如今更容易发挥ChatGPT的特长，写小说的生产效率就大大提高。

一个有趣的现象，一般的封装代理CHAT AI的网站，一个月的收费大约是$10~$20，而专业提供用ChatGPT辅助写小说的网站一个月的收费大约是$20~$40。这从一个侧面说明用ChatGPT写小说可能是有收益的。

利用ChatGPT的能力撰写小说，主要有这些方面的内容：

1. 确定故事主题和类型：首先，你需要确定小说的主题和类型。是科幻、奇幻、悬疑还是浪漫小说？明确你想要的故事类型可以帮助ChatGPT更好地理解你的需求。

2. 提供详细的背景信息：向ChatGPT提供关于你的小说世界、角色和背景的详细信息。这可以包括主要角色的描述、世界设定、时间背景等。这样有助于ChatGPT更好地理解故事的背景，以便更准确地生成相关内容。

3. 与ChatGPT对话：与ChatGPT进行对话，提出问题或提供提示，以激发它的创造力。你可以询问关于情节发展、角色关系、对话对白或具体场景的问题。ChatGPT会根据你的输入来生成相关的文本。

4. 定制生成长度：为了控制生成的文本长度，你可以设置一个限制。例如，每次生成的文本不超过几百个字符。这样可以确保生成的内容更加精练和集中。

5. 对生成的文本进行编辑和修改：生成的文本可能会包含一些不太符合逻辑或不完全合乎你预期的内容。你可以对生成的文本进行编辑和修改，使其更符合你想要的故事情节和风格。

6. 迭代和完善：反复与ChatGPT交互，逐步完善你的故事。每次与ChatGPT对话后，你可以分析生成的文本，从中提取有用的内容，并将其作为下一轮对话的起点。

---x8---8x---

作者根据与ChatGPT的交流以及作者的选择，他使用ChatGPT的流程如下：

1) 让ChatGPT提出一个题材和子题材

2) 让ChatGPT为小说开发一个风格提示

3) 让ChatGPT提出一个故事背景

4) 让ChatGPT写小说简介

5) 让ChatGPT根据故事简介创建大纲

6) 让ChatGPT一幕一幕地持续小说故事

---x8---8x---

但是因为ChatGPT的记忆容量问题和不一致的问题，这些辅助写小说的网站提供这样的功能：

1) 保存作者的所有文字与设定。

2) 保存主要行动和信息的运行摘要。

3) 重用相同的提示空间(以及场景方向的更改)。实际上就是让作者在不同阶段不同位置时，都使得ChatGPT进入相似的上下文环境，从而产生相似的成果。比如我现在有兴趣先进入第3章写作，根据上两点保存的内容，ChatGPT能记得这一章的设定和故事大纲，所涉及的人物以及人物之间的关系和矛盾，然后就可以根据要求输出文字。如果下次我来了别的灵感又跳到第8章开始写，再次给ChatGPT设置新的上下文，ChatGPT就记得这故事发展到这里是怎么样的，然后又能输出相似的文字了。

4) 让ChatGPT一次编辑和改进一个场景。这是作者与ChatGPT交互比较多的地方，可以让ChatGPT写初稿然后作者改，也可以作者写初稿让ChatGPT改，或者作者完全自己手写也行。不断地循环交互。

5) 检查已完成的内容和风格是否一致，甚至可以检查完成的情节与当初的设定是否有冲突。

6) 循环以上的步骤，直至完成一本小说。

---x8---8x---

在这里，写小说与写代码不同的地方在于：代码的结构远比小说的结构要复杂、要保存的上下文要更多更复杂，代码对一致性的要求远远高于小说的要求。有少许幻觉和不一致，对于小说也许是小惊喜，但对于代码来说是致命的。所以怎么样让CHAT AI能实际进入项目组里进行编码，这还是一个没看到解决方案的大问题。

用CHAT AI辅助开发软件，其实还有一个特性，结果是好坏参半。CHAT AI读取分析各类技术文档就是一瞬间的事情，于是CHAT AI针对实现某个功能有可能会提出一种在全局下最优化的实现，但是受现实的制约，其结果很难说。

对于一个代码库，如果它的技术文档有1000页，我是懒得看的。为了实现某个功能，一般是找厂商给的DEMO代码，或者是找已经成功运行的项目代码，在别人的基础上修修改改，就完成了自己的任务。并且大多数工程师都是这么干的。于是时间久了，对于某个功能，用哪几个代码库实现，怎么实现，都有了固定套路。而对于大型代码库来说，有可能作者辛辛苦苦实现一百多个接口，而用户常用的接口可能就固定十几个，活跃度远低于20%。

对于CHAT AI，它没有偷懒的“感觉”，没有畏难的“情绪”，它可以根据技术文档和参考代码，按照概率和排列组合生成代码。有时候看它生成的代码，就会有感觉，原来这个接口还可以这样用，原来这个功能还可以用那个接口这样实现。但是，造成上述传统套路的现象也是有原因的，而且原因和结果是相互影响的。

首先，我们人的精力是有限的，能关注的细节也是很少的。于是最开始那些工程师所选择的方案就会被一代代继承下来，哪怕后来出现了更好的解决方案，勇于尝试的人也不会很多。但是，正是因为大家都用类似的固定套路，也就说明这种套路是可用的，没有问题的。而在其它新的领域，因为尝试的人少，常常会隐藏有很多问题。比如说，很多代码库里的错误处理模块是错误最多的地方，因为错误很少发生，这些代码就很少被用到，而且一旦出现错误，要死就大家一起死，错误处理模块的表现也很少被关注，所以这块代码很容易隐藏有问题。

还有一种可能，就是文档描述的和代码运行结果不一致。这有可能是接口实现有问题，也有可能是作者表述和我们的理解有偏差。这又回到上面所讲的，用得多了，大家熟知了就达成了共识，用得少的，要么是没实现、要么是实现有问题、要么是理解有问题。于是时间久了，就造成这种现象：被大家常用的接口基本上没有问题，并且其结果也如大家所熟知的那样。如果要用不常用的接口或不常用的参数，其结果就不好说了。

而CHAT AI如果根据技术文档生成代码，如果调用的接口或参数因为不常用而产生问题，那CHAT AI就很容易进入盲点，于是反反复复用排列组合试验各种方案，却始终解决不了问题。CHAT AI的问题就是它无比自信，并且“相信”自己所理解的技术文档是正确的，于是反复地试验，也许最终不出错了，但是要实现的功能也没有了。那碰到类似问题，我们人类工程师是怎么解决的？我们人类工程师首先会承认自己的失败：“我不行了，我搞不定，请外援吧。”请教原厂工程师，他们有可能说：“哦，这个接口原来是有问题的，我们刚刚修订好。我给你一个补丁吧。”请教有过经验的工程师，他们有可能说：“你这方案有问题的，我试过不行。我给你一个绕开这个问题的代码吧。”此外还有些特别牛的人不服输，继续往下追，一直找到问题的根源，最终解决了隐藏在代码库里的问题。

所以指望CHAT AI一劳永逸地解决编程问题，一举替换掉码农，短时间内是不可能的。

到目前为止，基本上来说，实打实的信息，相对比较容易找到，也基本上正确。

不过我找的可能都是一些应该算是常识的知识，太高深的没尝试过。

我不久前想了个主意，自己写代码把几十篇论文的第一页攒起来弄成一个大号的pdf，然后用dropbox链接喂给GPT，让它给我做一个全面的总结。第一次效果相当好，它真的写了一个类似于review的东西还加了引文。后来就开始耍赖了，每次只挑个三五篇做个简要回答。所以我的省事大计貌似失败了。

前面说过，CHAT AI之所以不能参与中间阶段的开发，主要是遗忘和幻觉的问题，以及行为不确定的问题。也许这些问题是同一个问题，并且可能是CHAT AI固有的问题。

以前看科普介绍人脑和电脑的区别，其中电脑是存储和计算分离，而人脑是存储即计算，每一次回忆都会对信息再加工，神经网络多建立几个链接，就会对信息有更多的处理。但是如果链接只有增没有减，系统也是不可长久运行的，于是遗忘是必须的。所以下面先谈CHAT AI的遗忘问题。

现在CHAT AI分配给个人使用的记忆空间是很有限的。我曾经让CHAT AI给我分解模块，设计接口和实现接口，讨论着讨论着，时间或长或短，CHAT AI就会忘记它们曾经设计过的某些接口，或者又会重新设计出新的接口，实现接口也是能省则省，行为飘忽不定。

对这个问题，增加记忆空间是有用的，但是成本会飞速上升。现在 ChatGPT 4.0 有 9K token , Claude 可以有 100K token。但是 100K 对于复杂的软件开发是远远不够的，而且现有的计费标准也让人吃不消。如果让CHAT AI分析和记忆一个会话的累积内容，我就看着那个钱就花花地流。对于 ChatGPT 4.0，对于一个问题的收费，从 $0.02x 上升到 $0.04x；而对于 Claude 100K，对于一个问题的收费，从 $0.4x 上升到 $0.6x，回答问题的延迟，从10秒上升到30秒，并且我很快就用完了十几个问题的额度，然后每过24小时，才给我3个问题的临时额度。就这样，我也只完成了最初步模块划分和最简单的接口设计，离完成一个可以跑起来的代码还远着呢。我估计如果再这样累积下去，一个问题收$1，回答延迟1分钟的情况很快就会出现。玩不起了。

并且用CHAT AI辅助开发软件，和与人一起开发软件，感觉还是不一样的。与人一起开发软件，进展是相对缓慢的，可能一周或数周我们都在同一个问题的上下文里进行讨论，因为反复刻印多次，对各种细节自然可以缓慢但深刻地记忆在脑子里。与CHAT AI一起开发软件，则是另外一种情景。首先，是知识的快速涌现，人脑不一定能处理得过来，有点象发洪水，大水漫过了堤坝。在短时间内，人脑只能关注一两个细节，而不可能记住所有细节。随着讨论时间一长，人脑开始遗忘细节，CHAT AI也遗忘初始问题，于是讨论话题开始游移，忘了最初想要解决的问题。对这种情况，除非我们以前曾经开发过这个软件，已经踩过各种坑，记得所有的细节，知道前进的方向，这才有可能在讨论中牢牢把握住话题的方向，否则很快就双双迷失在知识的沼泽里。

CHAT AI的第二个大问题就是幻觉。既然上述让CHAT AI开发一个完整的软件的路子走不下去，我就换了另外一个思路。我问CHAT AI是否能看见github中的开源代码，回答是肯定的。我很高兴，就想让CHAT AI在现有项目上进行重构，并增加功能。但是讨论着就发觉不对，就让CHAT AI列出它所看到的代码，其实并不是github中的代码，而是它所虚构出来的简单代码，完成程度和上面的类似。后来我又换一条思路，我从github下载下来代码，再上传给CHAT AI(上传几十KB的代码给CHAT AI可费劲了，出过各种怪问题)，让它对现有代码进行重构，并增加功能。但是接着讨论很快又发现问题，再让CHAT AI列出它所看到的代码，还是它所虚构出来的代码，并且是新的代码。这就是CHAT AI的幻觉问题。原来CHAT AI和我讨论的，既不是它以前的设计，也不是训练时给它输入的github代码，更不是我刚刚给它上传的代码，而是它当前“心中的”代码，如果它有“心”的话，那它的“心”一直在飘忽不定。

网上演示的让CHAT AI分析并重构的代码，大多功能简单，代码量也就100行以内。我尝试过让CHAT AI生成这样量级的功能简单的代码，然后对此进行讨论，CHAT AI确实也记得住，也能在这个代码上修修改改。但是如果代码量有几十KB，行数有几千行，那CHAT AI要么出现幻觉，要么拒绝工作。而实际上稍微复杂的软件项目，代码量可能是MB级别，行数上万行，CHAT AI哪时候能在这样量级的代码树上工作，那只有耐心等待了。