西西河

主题:【讨论】中国首枚智能芯片问世 -- 红茶冰

共:💬41 🌺131 新:
分页树展主题 · 全看首页 上页
/ 3
下页 末页
                              • 家园 你也别介意

                                我平时就是个好好先生,但有学生犯了低级的学术错误,我会大骂的。

                                收敛性是控制论的重要概念,需要有数学模型支持的,一个系统可不可控就要看它收不收敛。你说的是迭代次数更多的用在数值分析里面。你说的loss曲线我还没有用过,也不了解。

                            • 家园 为啥多个神经元就会产生非线性呢?

                              只要不加ReLu,(Ax+b)矩阵乘下来总是线性的啊。

                              • 家园 初中数学知识

                                有2个自变量x1和x2,如果方程中有(x1x2)项,这个方程就是的非线性方程。

                                矩阵方程你要看是自变量矩阵,是应变量矩阵还是系数矩阵。

                                唉,一声叹息。

                                • 家园 别闹了,这楼里大概没人需要你来补初中数学

                                  我不懂神经网络,按照此文的科普

                                  外链出处

                                  两层网络是

                                  g(W(1) * a(1)) = a(2);

                                  g(W(2) * a(2)) = z;

                                  g是非线性函数,

                                  权值矩阵W是常数且没有g的话这系统乘几次都是线性的。

                                  你要说W是根据输入a来调整的,那是另外一故事。

                    • 家园 深度学习本来就是工程问题

                      这一行纯理科生可是瞧不上的。

                      知乎上有个题目把这个话题说到尽了,看看吧。https://www.zhihu.com/question/41168257

                  • 家园 有人敲门?我去看看是不是你O(∩_∩)O哈哈~

                    你说的很直白,同时也证明团队里一定要有个逼格比较高的文艺青年负责写paper,只有这样才能将简要明了的东西弄得很有“范”这样资金就到手了。\(^o^)/~

                    滤波器工作方式是根据设定好的算法参数对图片上的特征值进行筛选,然后生成hash值。滤波器种类肯定有很多,既包含生物分析又包括灰阶扫描。其实这都是很成熟的应用。

                    不过我觉得真正核心的东西应该是关联性的建立,例如一幅图,和图里东西的名字算一对,另一幅图,和另一个名词算一对。如何实现,且有效运作,这个算法很头疼。因为这是机器逻辑性的建立。拥有逻辑才能有智力。

                    • 家园 如果把关联性本身看成是目标函数

                      那就简单粗暴地去拟合这个目标函数就好了,深度学习就是这么干的,给一幅猫的图,机器就应该输出一个值“猫”,给一幅狗的图就应该输出“狗”,至于怎样才能这样输出,机器自己学习去吧

                      现在给机器看一幅图片,甚至是一段电影,机器已经能够用一句或者几句话(自然语言)把图片或者电影的内容描述出来了,这其实也是几种“关联性”的整合

                      • 家园 多谢回复

                        首先感谢你和敲门童鞋热诚的回复,另外也感谢积吉,陈王,乔治童鞋热情参入。要是其他河友能踊跃参入讨论就更好了^_^

                        简单去拟合目标函数其结果注定是粗暴的。从实质上来分析,是成功模拟出神经/生物本能反应的关联性。这些项目的演进路线很明确,希望不断地学习/进化出现类似人类进化史上某种决定性的突变。但是 这些项目能否突变演化出逻辑上的自洽能力呢?

                  • 家园 谢谢支持

                    顺便推敲几个细节

                    1、十几层神经网络不是简单就是十几个滤波器,一层神经网络一般有几十或者几百个滤波器(一个核就是一个滤波器),十几层网络可能有几千上万个滤波器。不同层的滤波器干不同层次的任务,比如第一层,目前比较一致的观点是在做边缘提取,再上一层大概是在做类似于角点、交叉点检测的任务

                    2、不是很清楚你说的DCNN中图片模糊一下是什么意思,是数据增强吗?除此之外好像很少看到有这样先模糊一下的。其实现在深度学习对于参数已经越来越不敏感了,参数一般会对收敛速度有所影响,对训练的结果现在影响不大。黑科技trick应该存在,但可能不是在参数选择上面

                    3、关于机器到底知不知道猫是啥,这个问题很有意思。类似于“色盲悖论”,如果机器知道一个毛绒绒的动物长成这个样子,叫起来是喵喵的,喜欢吃鱼,能捉老鼠,我们称呼它为“猫”,发音叫做mao,英文是“cat”,那机器应该算是知道还是不知道猫是啥呢?这才是深度学习被当作“人工智能新未来”的原因,等有一天网络规模足够大,各种各样的学习任务都在这个神经网络上并行地运行,我们拭目以待“人工智能”会不会自动涌现出来

                • 家园 没写过神经网络的code

                  但我确实写过深度学习的code。。。

                  我是半路出家搞深度学习的,原来搞的是SVM方向,不是做NN的

                  至少从我的理解,一个深度学习的forward过程,就像我说的conv层、fc层就是y=<w,x>+b,ReLU层就是y=max{x,0},就是这些层的堆叠,简单函数的复合函数表达了极其复杂的函数

                  你有不同意见,就请说出来大家探讨,不要搞人身攻击

                  通宝推:普鲁托,
          • 家园 多谢回复

            其实陈云霁还是蛮实诚的。看这篇 http://www.csdn.net/article/2015-09-14/2825698

            观察者的报道有点浪了。

分页树展主题 · 全看首页 上页
/ 3
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河