- 近期网站停站换新具体说明
- 按以上说明时间，延期一周至网站时间26-27左右。具体实施前两天会在此提前通知具体实施时间
主题：茗谈149:赤雁 -- 本嘉明
家园 蒸馏只可能蒸馏Open source的 通宝推：毛毛球,exprade,家园 你不懂什么是蒸馏 蒸馏是指给大模型提问，然后拿模型回答的结果作为自己的训练数据
- 复 你不懂什么是蒸馏
家园 他的意思应该是不开源负担不起 蒸馏需要海量的token进行高频率的训练，只有开源才有可能在本地部署大模型，进行高带宽的交互才能实现。
靠付费API那点流量，根本蒸不出来6710亿的大模型，就算行，也付不起那个费用。
家园 请教一下：LPU到底有没有前途？ 我一直有两个认知：
1、LLM不是OS，相对是比较封闭的，按理来说应该可以不依赖英伟达的CUDA生态
2、LLM的这一轮AI应该有更加高效的算法-硬件组合，就像当时从显卡挖矿变成了专门的矿机一样。
但是很遗憾，这两点最终都没有在现实中体现出来——直到最近deepseek火了之后，才有了华为昇腾、国产LPU等方面的报道——但国内的很多新闻又有哗众取宠夸张之嫌，令人不置可否。
所以我想请教一下：你认为所谓的LPU究竟有没有搞头？还是说未来算法再次进化，可能又会改变对LPU的需求，所以与其研发LPU，还不如CUDA先用着？
- 上帖之待认可回复，花囧定1 / 0
取决于如何定义LPU 早先有谷歌的TPU企图颠覆英伟达的GPU，现在又有Groq的LPU，本质上他们都是针对不同AI的计算特点强化出来的处理单元。将来的AI算法风格变化没有人能确认，因此LPU，如果狭义的指Groq的LPU未来没有人知道。
但另一方面，如果美国继续进行对中国的封锁，CUDA确定会被推翻，将来的AI计算平台，框架将由中国人定义。
家园 碰到懂技术的了。 他估计是搞成了PPO 家园 陈王是懂相关技术的人，老虎河友也是 懂的人，一句标题就能点到要害，比如老虎河友；比如陈王提的本地部署、Hugging Face transformers（包括open-source PyTorch），以及高带宽的交互 ---- 这些与超级数据中心各组件一起，才能构成完整的大规模AI训练环境
以下是我单位与NVIDIA合作的一张教学概念图（不涉密），“高带宽的交互”，懂的都懂
这栋楼里，懂技术与不懂技术的，从其选择相信的“段子来源”，一目了然。
譬如前几天我去一朋友家过年party ，席间DeepSeek肯定是跑不掉的讨论热点。好玩的是，我这DS发布当天本公司股票跌了17%的“受害者”都没着急上火，而来自华尔街一个朋友却急得破口大骂，内容与本楼里一些诸如“5万卡”的段子，一模一样，分明是同一个宣传口发出来的通稿：
我就纳闷了 ---- 如今华尔街玩股票的经纪人，比我们这些相关技术人员更懂AI啊（我老婆正经的模式识别出身，微笑静听，一言不发）
最后那位华尔街人，破口大骂老黄，就差骂黄是通共的“美奸”了😄
莫非中美竞争，真到了“天下何人不通共”的熟悉阶段？呵呵
华尔街人，信这种通稿，持这种通态，恰恰印证了国内朋友去年的两句话：
（1）AI概念短期热炒背后不是科技领域的重大突破，而是💵金融，此乃美国之根本
（2）去年5月（中国）就很多人看明白这里面的门道了
最后分享河里某位久未露面的老河友，托人带我的一句话：“现在的ds模型只是过渡”
来日方长，拭目以待
通宝推：西门飘飘,西电鲁丁,白马河东,GWA,心远地自偏,不如安静,exprade,nettman,青青的蓝,匿名 葡萄以前念叨的 应该就是幻方吧
家园 方平应该是博通的
家园 真正的西方专家还是不敢明着跳出来诋毁的 没有人敢公开指责DS作假，西方媒体又不甘心，所以他们只好推出像“亚历山大王”这种边角料跳出来指责DS作假，什么“绝不可能”，什么“非法偷用5万张H100”等等。
似乎变成了“中国人指责中国人”的游戏，反正是你们中国人自己说的，即便是最后出丑，也跟人家无关。
通宝推：潜望镜,家园 【讨论】6000亿参数 -- 有补充 用什么芯片处理？用多少算力处理？结果弄了一年多，总共才花550万美元？
中共中央委员会就有250多人，你这里总共140人的公司，改变14亿人的国运了？
我知道DS有真功夫，但现在全世界同时有那么多人在提问题下达任务，这是多么大的应用规模？你既然是内行，550万美元你也信？
这个小团队，可以把虹桥画得很出彩，但匆匆一年，就把《清明上河图》画成了，这是不可能的。陈兄，咱们都是下午四五点钟的太阳了，你就不要拿几个术语出来，跟真懂真干这行的年轻人的眼光，去硬拗了。假定你说的都是真的，那美国出300人的梦之队，一个亿美元，山寨一把DS的技术路径，是不是有很大可能翻转下一把？
我还是那句话，等DS的升级版。从谷爱凌的国籍，到乌克兰能不能年产100万架，上半场豪情万丈，下半场集体傻眼的事，这河里还少吗？
作者 对本帖的 补充(1)家园 【整理】F-35与歼-35的对比 -- 补充帖 
家园 你太外行了 模型的训练成本，是一次训练的成本。就是该版本模型从头开始，训练到当前发布权重所花的GPU时间。
你多看几篇大模型的论文，比如meta的llama3.0的，里面都会说自己一次训练成本是多少。