主题：对ChatGPT的几点思考 -- 唐家山
共:💬175 🌺1562 🌵7
讲清楚了不少东西。特别是这一段：
而GPT-3涌现出的in-context learning能力（现在其他大模型也有，比如Google的PaLM，同时不确定GPT-3是第一个涌现的，希望得到指正）和上述范式有本质不同，“过往的fine-tuning”需要更改模型参数，也就是说，换了个新模型。但是in-context learning，模型并没有变化，却能在新数据上表现更好。研究甚至发现，你给大模型一堆范例，只要对应关系整体是对的，这时候改变具体对应的顺序，大模型仍然能输出正确的结果。这真的很神奇。再重新强调一遍，模型没有变化，没有被重新训练，但是能“理解”新数据，并且表现更好！
是我思考的盲区，我需要再想一想其中的道理。
- 相关回复 上下关系8
🙂人类有好奇心但AI没有 4 假设 字365 2023-08-19 09:46:52
🙂你这个观察令我联想起这句话 3 川普 字919 2023-04-29 16:06:00
🙂这个我就不知道了 4 懒厨 字180 2023-04-27 21:40:28
🙂你引的这一篇非常好
🙂可以再想 2 闻弦歌 字397 2023-04-25 18:13:56
🙂一句话就能骗AI帮你传谣 3 孟词宗 字206 2023-04-12 23:10:09
🙂目前看ChatGPT4存在明显漏洞 19 川普 字2339 2023-04-13 16:01:46
🙂这是属于网络安全方面的问题了 4 唐家山 字192 2023-04-13 00:10:33