主题：【原创】舌尖的视觉Tongue Vision -- 朝雨

刚刚从IEEE Spectrum 2007 January上看到一篇有趣的文章：Winners and Losers 2007- the best and worst tech projects。里面有一个project是和computer vision有关的，不过是失败的case。

这个技术是用计算机视觉技术帮助有眼疾的人（不一定是盲人）。他们的idea很有意思：使用者的嘴里含一个10x10的电级，摄像头来的视觉信息转化成舌头上触觉刺激。这个公司的网页是www.wicab.us。

这个技术被评为失败的原因是：一者，太贵5000-6000；二者，人类触觉的精确度有限，10x10实在不足以表达很精确的深度信息；三者，使用不方便，这套设备包括一个挂在身上的盒子，一条从盒子到嘴里的电缆，和一个立在身后的摄像头，盲人希望是“融入”主流社会，而不希望自己穿戴得像个电子人。

不过我还是很喜欢这种用计算机视觉帮助盲人的技术。我觉得这是计算机视觉为社会服务的一个很好的应用。也许在不久的将来我们可以有一种集成了GPS，文字识别，物体与环境识别技术的设备帮助盲人日常生活，而且很可能现在就已经有了这种设备，只是还没有普及罢了。

虽然盲人的触觉比较敏锐，但触觉的分辨率毕竟有限，如果只是希望知道“有”还是“没有”，这个技术也许有用，但是想要知道“看到”的细节，那就实在是太困难了。还不如把视觉识别后的表征，变成听觉刺激说不定还好很多。比如说看到一个绿色的什么东西，可以说“绿色的什么东西”，用触觉怎么表达啊。

之前知道有个人，很是传奇，后来是通过 STEM CELL的技术，获得了一些比较粗糙的视觉能力。他的传奇是在于虽然他是一个盲人，却是速滑雪撬的高手，几十MPH啊。

stem cell真的这么神奇么？这是不是等于再造了一套视觉系统？还有这个滑雪高手太牛了。

弄得好的话，有望就像Matrix III里的neo那样，虽然眼睛瞎了但仍然可以看到眼前一片光芒 -- 虽然看到的景象和崔妮蹄所能看到的并非一模一样...

实际应用中最难的是differentiate到特定的组织细胞。

这个就要看运气了。

在大脑皮层中的功能不是天生的，是可以替换的。 比如，什么是“绿”色，这个只是每人脑中的一种概念，如果没有用眼见到过绿色，靠文字语言描述是没有用的。 而对天生失明的人，“绿”对他不过是一种味觉，久而久之，“绿”的概念在脑海中行成，在这个角度上，人从生下来，开到绿色，并被别人教导什么是绿色，原理是一样的。

据说这个试验达到了这样的效果，经过一段训练后， 被试验人可以“看到”走廊，看到门，并推门而过。 很有启发性吧？

如果这个project事先征求过生物学家或者医生的意见，可能根本就不会继续下去

帮助盲人重新获得一定的视觉，无论从理论还是技术上都有很大的障碍

迄今为止最理想的进展好像是这样的：在志愿者的视皮层表面植入阵列电极，通过计算机控制

给不同的电极通电刺激视皮层的特定部位，一定的组合可以让受试者‘看’到不同的物体形状，

比如正方形，三角形等等。这个实验还有一个前提就是受试者一定是后天致盲的。

视觉信息在视网膜就得到初步的处理，然后这个信息传导到初级视皮层，再经过处理之后到高级

视皮层才能形成视觉。另外大脑对视觉信息的处理是先把现实图像抽象化成为线条，形状，颜色

等等，这些信息经过不同的脑区处理，最后再综合，是一个非常非常复杂的过程。举个例子来说，

人脑对于‘人脸’的识别是通过高级视皮层中的一个所谓的‘人脸识别区’来完成的，如果这个

部位由于外伤或者中风受到损伤，那么这个人有完整的视觉，但就是不认得人。

不过据我所知，stem cell还没有临床应用，可能是我孤陋寡闻，呵呵

任何其他感官都不能代替视觉，如果说视觉的信息量是千兆网，那么其他感觉就是56k猫

我反而觉得他们中间有专业的生物/神经学家。

神经系统的信息处理方式是高度可塑的，有证据表明先天性盲人经过训练可以产生和常人一样的透视感。这背后的生物学基础是一个著名的假设：新皮层先天的二维结构其实是一张近似均匀的神经网，任何一部分都是几乎等价的，各个中枢的分化实际上是后天接受不同种类刺激后学习的结果。也就是说，如果用“视觉式”的刺激加到任何一种感觉上，长此以往，总会产生大同小异的视觉。

不久以前听说过这个这个实验的结果，其中一条就是受试者确实产生了正常的空间感（虽然很粗糙），隐约就是瞄着这个新皮层的通用性去的。

如果本来计划是分给视觉的皮层，在出生之后没有受到刺激，那么这部分皮层就会去

做别的事情。先天性盲人肯定是具有空间感的，即使没有视觉，触觉和听觉都会产生

空间感，但这种三维空间感觉和视觉完全是两码事。

你说的这个实验，有没有文献报道？

恩，是内行，先花一朵，我看过的link是：

外链出处

没有去找过别的相关报道。我也不知道过了窗口期是不是就完全不行了，按说只要还有学习能力，就总是多多少少有点通用性吧，虽然肯定远不如小时候。

其最主要的意义恰恰是在生物学上。 至于大脑中植芯片等那是另一个学科了，两会子事。

the Institute of Electrical and Electronics Engineers

这篇用舌头看东西的实验我不知道有没有神经学家参与，一眼看见是IEEE，所以直觉上是不可能

不过的确有一个很有趣的发现，我去这个公司的网页看了一眼www.wicab.us

在他们的publication里面发现有一篇04年在Nature Neuroscience上发表的文章：

Ptito, M., Moesgaard, S., Gjedde, A., Kupers, R. (2004). "Cross-modal plasticity revealed by electrotactile stimulation of the tongue in the congenitally blind." Nature Neuroscience (2004)

去Nature网站搜索了一下没找到，再去pubmed终于找到了：

外链出处

原来是发表在2005年Brain上面的

继续找这个公司的老板PAUL BACH-Y-RITA：

Address for correspondence: Paul Bach-y-Rita, M.D., Professor, Departments of Orthopedics and Rehabilitation Medicine, and Biomedical Engineering, University of Wisconsin, Madison, WI 53705.Voice: 608-263-9359; fax: 608-265-3757

以上信息来自于他04年在Ann. N.Y. Acad. Sci上的一篇综述：

Tactile Sensory Substitution Studies

这综述至今被引用4次，有两篇PNAS，其中一篇是这样引用的：

To a certain extent, sensory substitution can compensate after the failure of a given sensory system.

搜了这么多东西，的确有点想和您较真的意思，最后发现还是您说的对，他在69年就最先提出盲人

的视觉可能被触觉替代的，而且还以letter的形式发表在Nature上。他好像毕生都在从事这方面

的研究。但从学术角度来说，我还是不认同他的观点，而且认为他的这个研究思路是走不通的。

神经科学的发展从80年代开始突飞猛进，大脑的奥秘一个一个被揭开的同时，也告诉人们哪些想法

是不能实现的。