西西河

主题:alphaGo 系统以及人工智能的未来 -- pattern

共:💬83 🌺264 新:
全看分页树展 · 主题 跟帖
家园 参数就那么重要吗?

从整个机器学习,尤其是深度学习的发展来看,参数也许并不重要,数据精度也不重要

之前我们觉得重要,是因为我们处理数据的方式不够“自然”。参数非常重要的系统,说白了就是unstable,而深度学习是要做出足够stable的系统,那么参数根本就不重要

周志华他们搞的LDM,就发现原来传统的SVM对参数那么敏感,其实也许是因为我们对数据处理的方式不太正确,LDM就对参数基本不敏感

深度学习原来对训练参数是敏感的,但是你看现在尤其是xavier、BatchNorm出来之后,对参数的敏感性极大地降低了,基本上想当然地随便设设就行了,影响的无非是训练时间的长短,对于最终结果的影响微乎其微

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河