西西河

主题:【原创】舌尖的视觉Tongue Vision -- 朝雨

共:💬19 🌺26 新:
分页树展主题 · 全看 下页
  • 家园 【原创】舌尖的视觉Tongue Vision

    刚刚从IEEE Spectrum 2007 January上看到一篇有趣的文章:Winners and Losers 2007- the best and worst tech projects。里面有一个project是和computer vision有关的,不过是失败的case。

    这个技术是用计算机视觉技术帮助有眼疾的人(不一定是盲人)。他们的idea很有意思:使用者的嘴里含一个10x10的电级,摄像头来的视觉信息转化成舌头上触觉刺激。这个公司的网页是www.wicab.us。

    这个技术被评为失败的原因是:一者,太贵5000-6000;二者,人类触觉的精确度有限,10x10实在不足以表达很精确的深度信息;三者,使用不方便,这套设备包括一个挂在身上的盒子,一条从盒子到嘴里的电缆,和一个立在身后的摄像头,盲人希望是“融入”主流社会,而不希望自己穿戴得像个电子人。

    不过我还是很喜欢这种用计算机视觉帮助盲人的技术。我觉得这是计算机视觉为社会服务的一个很好的应用。也许在不久的将来我们可以有一种集成了GPS,文字识别,物体与环境识别技术的设备帮助盲人日常生活,而且很可能现在就已经有了这种设备,只是还没有普及罢了。

    • 家园 搞计算机的不懂生物学,呵呵

      如果这个project事先征求过生物学家或者医生的意见,可能根本就不会继续下去

      帮助盲人重新获得一定的视觉,无论从理论还是技术上都有很大的障碍

      迄今为止最理想的进展好像是这样的:在志愿者的视皮层表面植入阵列电极,通过计算机控制

      给不同的电极通电刺激视皮层的特定部位,一定的组合可以让受试者‘看’到不同的物体形状,

      比如正方形,三角形等等。这个实验还有一个前提就是受试者一定是后天致盲的。

      视觉信息在视网膜就得到初步的处理,然后这个信息传导到初级视皮层,再经过处理之后到高级

      视皮层才能形成视觉。另外大脑对视觉信息的处理是先把现实图像抽象化成为线条,形状,颜色

      等等,这些信息经过不同的脑区处理,最后再综合,是一个非常非常复杂的过程。举个例子来说,

      人脑对于‘人脸’的识别是通过高级视皮层中的一个所谓的‘人脸识别区’来完成的,如果这个

      部位由于外伤或者中风受到损伤,那么这个人有完整的视觉,但就是不认得人。

      • 家园 什么“搞计算机的”,这个试验本来就是神经学家做的

        其最主要的意义恰恰是在生物学上。 至于大脑中植芯片等那是另一个学科了,两会子事。

        • 家园 在大脑中移植芯片

          最主要的还是要看神经科学基础研究的进展,等基础研究有突破了,技术上问题不大。

          现在就有在帕金森患者脑内植入电极,不停刺激纹状体,可以缓解症状

          • 家园 现在已经有一些在大脑中移植芯片的试验了

            几年前就有人在一个全身瘫痪的病人大脑皮层植入了一个螺栓大小的芯片,把检测到的脑电波转换成电信号,模拟人手的动作,可以在屏幕上移动鼠标并且画一些简单的图画。不知道现在进展到什么地步了。

        • 家园 IEEE

          the Institute of Electrical and Electronics Engineers

          这篇用舌头看东西的实验我不知道有没有神经学家参与,一眼看见是IEEE,所以直觉上是不可能

          不过的确有一个很有趣的发现,我去这个公司的网页看了一眼www.wicab.us

          在他们的publication里面发现有一篇04年在Nature Neuroscience上发表的文章

          Ptito, M., Moesgaard, S., Gjedde, A., Kupers, R. (2004). "Cross-modal plasticity revealed by electrotactile stimulation of the tongue in the congenitally blind." Nature Neuroscience (2004)

          去Nature网站搜索了一下没找到,再去pubmed终于找到了:

          外链出处

          原来是发表在2005年Brain上面的

          继续找这个公司的老板PAUL BACH-Y-RITA:

          Address for correspondence: Paul Bach-y-Rita, M.D., Professor, Departments of Orthopedics and Rehabilitation Medicine, and Biomedical Engineering, University of Wisconsin, Madison, WI 53705.Voice: 608-263-9359; fax: 608-265-3757

          以上信息来自于他04年在Ann. N.Y. Acad. Sci上的一篇综述:

          Tactile Sensory Substitution Studies

          这综述至今被引用4次,有两篇PNAS,其中一篇是这样引用的:

          To a certain extent, sensory substitution can compensate after the failure of a given sensory system.

          搜了这么多东西,的确有点想和您较真的意思,最后发现还是您说的对,他在69年就最先提出盲人

          的视觉可能被触觉替代的,而且还以letter的形式发表在Nature上。他好像毕生都在从事这方面

          的研究。但从学术角度来说,我还是不认同他的观点,而且认为他的这个研究思路是走不通的。

          神经科学的发展从80年代开始突飞猛进,大脑的奥秘一个一个被揭开的同时,也告诉人们哪些想法

          是不能实现的。

      • 家园 小拍一砖

        我反而觉得他们中间有专业的生物/神经学家。

        神经系统的信息处理方式是高度可塑的,有证据表明先天性盲人经过训练可以产生和常人一样的透视感。这背后的生物学基础是一个著名的假设:新皮层先天的二维结构其实是一张近似均匀的神经网,任何一部分都是几乎等价的,各个中枢的分化实际上是后天接受不同种类刺激后学习的结果。也就是说,如果用“视觉式”的刺激加到任何一种感觉上,长此以往,总会产生大同小异的视觉。

        不久以前听说过这个这个实验的结果,其中一条就是受试者确实产生了正常的空间感(虽然很粗糙),隐约就是瞄着这个新皮层的通用性去的。

        • 家园 新皮层的可塑性是有窗口期的

          如果本来计划是分给视觉的皮层,在出生之后没有受到刺激,那么这部分皮层就会去

          做别的事情。先天性盲人肯定是具有空间感的,即使没有视觉,触觉和听觉都会产生

          空间感,但这种三维空间感觉和视觉完全是两码事。

          你说的这个实验,有没有文献报道?

          • 家园 同意你的说法。

            据我所知,刚生下来的小狗,如果把眼睛封上,过上10几天之后再打开,它的视觉就永远丧失了,虽然实际上眼睛和视神经都没有损坏。

          • 家园 这个例子似乎以前河里讨论过

            恩,是内行,先花一朵,我看过的link是:

            外链出处

            没有去找过别的相关报道。我也不知道过了窗口期是不是就完全不行了,按说只要还有学习能力,就总是多多少少有点通用性吧,虽然肯定远不如小时候。

    • 家园 这个触觉代替视觉的意义是说人的感官

      在大脑皮层中的功能不是天生的,是可以替换的。 比如,什么是“绿”色,这个只是每人脑中的一种概念,如果没有用眼见到过绿色,靠文字语言描述是没有用的。 而对天生失明的人,“绿”对他不过是一种味觉,久而久之,“绿”的概念在脑海中行成,在这个角度上,人从生下来,开到绿色,并被别人教导什么是绿色,原理是一样的。

      据说这个试验达到了这样的效果,经过一段训练后, 被试验人可以“看到”走廊,看到门,并推门而过。 很有启发性吧?

    • 家园 看了你这个,我倒是想到另外一种方式:STEM CELL移植

      虽然盲人的触觉比较敏锐,但触觉的分辨率毕竟有限,如果只是希望知道“有”还是“没有”,这个技术也许有用,但是想要知道“看到”的细节,那就实在是太困难了。还不如把视觉识别后的表征,变成听觉刺激说不定还好很多。比如说看到一个绿色的什么东西,可以说“绿色的什么东西”,用触觉怎么表达啊。

      之前知道有个人,很是传奇,后来是通过 STEM CELL的技术,获得了一些比较粗糙的视觉能力。他的传奇是在于虽然他是一个盲人,却是速滑雪撬的高手,几十MPH啊。

分页树展主题 · 全看 下页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河