西西河

主题:【讨论】中国首枚智能芯片问世 -- 红茶冰

共:💬41 🌺131
全看分页树展 · 主题 跟帖
家园 大规模神经网络的瓶颈在内存带宽

神经网络节点运算极小,绝大多数资源花费在连接上。看大脑灰质与白质体积比例就知道了。而连接,在技术上的实现是数据传送。数据传送,在芯片内部是连线和驱动门,在芯片级别是内存带宽,在主机级别是网络。显然连线和驱动门是最快的,但是除非芯片规模可以达到无需多芯片并行的程度(对简单的任务是可能的,但是对“灵魂”这样的任务基本上没有希望),主要的数据传送手段必然不可能是连线和驱动门。只要存在片间通信,那么内存带宽就是瓶颈。现在的GP-CPU和GP-GPU,在各种cache架构的支持下,基本上可以保证运行大型神经网络时可以充分利用内存带宽了。在这种情况下,专用芯片有多少优势很值得怀疑。

不是说专用芯片不会提速,它甚至可能有数量级的提速,但是,通用芯片低廉的价格、完善的配套体系支持下,相同的成本,可能通用芯片的总性能会更高。单纯比面积,专用芯片可能会赢,但是工业化大生产的特性决定了通用芯片的成本会大大降低而专用芯片的成本会非常高。

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河