西西河

主题:茗谈149:赤雁 -- 本嘉明

共:💬249 🌺1165 🌵28新 💬49 🌺23 🌵1
全看分页树展 · 主题 跟帖
家园 huggingface上有完整复制deepseek的训练

https://github.com/huggingface/open-r1

这个项目目前15.2k星,绝对的明星级项目。Huggingface大本营的更新:

https://huggingface.co/blog/open-r1/update-1

在AI开源的大本营, huggingface上有人根据deepseek论文提到的方法,成功重新复现了训练,对论文中没有提到的部分,进行了填补。再把结果和公开部署的deepseek进行benchmark测试对比,我看了一下,各项得分有高有低,但基本一致。学界还有一些人也做了复现,得出的结论完全肯定。

上面的信息充分说明deepseek不是玩假的,从数据到方法,甚至计算原理全部和盘托出,在写代码的人当中,没有一个人敢贬低deepseek。你看,这几天从微软的Azure到Nvidia,都自行部署deepseek R1,无他,推理效率太高了。按照它的价格,不光不亏钱,还赚钱。

至于部分信息杂着chatGPT的东西,很正常。毕竟训练数据是公开的,chatGPT已经公开2年了,网上已经有大量它制造的数据,会污染训练数据源,何况deepseek还允许联网搜索,更可能污染。另一方面,大模型的训练过程中,肯定会和各大模型对接,时不时对同一问题对自己做对比测试,并且把测试结果作为强化训练的一部分,各大模型包括不限于chatGPT,但这和蒸馏无关。这个数据量肯定不到总数据量的1%,我估计0.1%以下,再多,付不起钱啊。就好像一个人学艺归来,找人切磋,学习?是的,但这个学习是双向的。

deepseek的6千多亿参数不可能靠蒸馏而来,任何有脑子的码农都不会相信。因为那要多大的带宽和多大的数据量才能完成啊?光账单就不止1亿美刀了。

再说,openAI这几天公布的o3 mini,思维链频现中文思考过程,它又是偷谁的呢?

对自己不懂的东西千万不要随便听那些殖人,他们恨不得中国完蛋,这种雷霆万钧的突破,在它们那里都变成了蒸馏,盗窃,甚至欺骗,其他科技进步呢?

这些人完全就是用屁股思考。

通宝推:和平共处,河兮兮,我思故我在,毛毛球,透明,玉米菜,唐家山,草原狼,西电鲁丁,脊梁硬,
全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河