主题：茗谈149:赤雁 -- 本嘉明

我不是专家，但蒸馏的含义其实很简单。

就是有了一个模型，然后再继续训练它，得到一个在某个方面更好的模型。

这就是为什么说只可能蒸馏Open source。

比如说，deepseek 蒸馏了llama, qwen,因为那些都是open source

蒸馏Chatgpt绝无可能，除非去偷了它的模型。

其实Deepseek-R1是从deep seek-V2，V3来的，脉络很清楚。不会去蒸馏另外的模型。

有人怀疑它用到了Chatgpt的一些结果，违反了用户协议，因为chatgpt不允许用它的结果训练LLM。

我其实是相信各个LLM都会相互借鉴。但是，第一这个不可能有证据，就是莫须有，第二Open AI已经说了不会追究。最重要的是，即使有，也是整个训练数据集中很小很小的一部分，没有它，也不会有影响。