西西河

主题投票很多人似乎都觉得国内经济不行,到底为啥不行呢? -- 胡一刀

共:💬2487 🌺14528 🌵63
  • 投票信息

    单选,参与 249 / 0

    好上加好
    7/0
    稳中向好
    84/0
    不死不活
    64/0
    越来越差
    62/0
    自己晕菜了
    32/0
全看分页树展 · 主题 跟帖
家园 短期数据层面比HBM更重要

数据的重要性再怎么被高估也不为过,最简单的例子就是mistral作为一个开源小团队却超越了一系列的模型大厂,其虽然开源了模型参数,但对于数据过程讳莫如深。数据层面对于训练的加速现在还处在“摩尔定律”的范围内。而且这里说的并不是大家常提到的高质量人类标注数据,而是指现在已经有的数据,对于其的二次加工之类等一系列操作。这个方向现在是各个模型厂的重中之重,对于训练的加速效果目前远大于换更好的硬件和神经网络架构的修改。

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河