西西河

达雅

注册:2008-01-17 03:51:44
从五品下:朝散大夫|游击将军
💧730802
🌟94407
💓11495

家园

收藏小专题:IT往事 / 1
黑狼 2024-02-24 04:34:27🙂一些语言模型往事 ↑22 ↓0
早期的语言模型都是依赖于RNN/LSTM以及其各类变种的结构,但这类对并行不友好的结构存在一个吞吐量的问题,NVIDIA早年的产品也会为这类架构进行一些策略性的优化,但更多的是CNN的优化,因为计算机视觉在那个时代率先落地,需求巨大。 后来transformer诞生就是为了解决 ...

收藏分类IT往事再收藏



有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河