用眼睛倾听

用眼睛倾听

撰文 克里斯托夫·凯泽（Christoph Kayser）

翻译 秦韬

要全面感知世界，我们的五官必须在大脑中通力合作，并且，在某些情况下，它们似乎已经融为一体。

星期天晚上去嘉年华体验一下吧。在你左边的帐篷里传出歌曲《全天摇滚》（Rock aroundthe Clock），身后一群少年一边跟唱一边大笑，某个地方传来婴儿的哭声。霓虹招牌和闪光灯让人目不暇接。尽管你的感官已经超载，但如果手中没有一个冰淇淋，鼻子闻不到棉花糖和蜜香杏仁的味道，那也只是一次不完美的经历罢了。这样的场景生动地说明，在同一时段内环境向我们发出的信号数量之多，令人惊诧。然而，我们的大脑却能将所有刺激融为一体，并分辨出各种杂乱的运动和声音。大脑究竟是怎样做到这一切的？长期以来，我们并不知道答案。

尽管有如嘉年华那般丰富的感官刺激，但这并不能给研究大脑对五官的融合作用——感觉统合（Sensory Integration）提供任何帮助。大脑通常会自己骗自己，为周围事物提供一幅虚假的画面，这引发了研究者的兴趣。以腹语为例，观众会认为声音来自表演者膝上呆坐的木偶，尽管事实并非如此。同样，电影银幕上的人物的声音是通过喇叭传到观众耳中的。但大脑在观察到嘴唇随着话语的节奏运动时，就会认为嘴唇是声音的真正来源。换言之，我们的视听印象共同创造出了我们对周围事物的感知。

有时候，我们不仅会误解自己感觉印象的来源，还会把这个对象感知为其他完全不同的东西。20 世纪70 年代中期，英国萨里大学（Universityof Surrey） 的心理学家哈里·麦格克（HarryMcGurk） 和约翰·麦克唐纳（John MacDonald）发现了一个有趣的现象：在给自愿者放映的一部影片中，一个音节“ga”在配音时发作了“ba”，而自愿者称听到的音节是却是“da”。这样一来，视听信息联手创造出了第三种全新的声音，这个过程现在被叫做“麦格克效应”（McGurk effect）。视觉和触觉也能联手造成错觉。我们摩擦手掌时，通过感觉湿润程度和皮肤发出的声音，可以知道手有多湿润。如果听到强烈的沙沙声，说明皮肤很干燥——沙沙声越小，手掌越湿润。这样的错觉表明，大脑在不停地根据各个感官传递的信息“设计”出一个周围事物的形象，这个形象在一定程度上是正确的。摆在感知研究者面前的问题是：我们的各种感官是在何处进行功能融合？怎样进行？

有两种模式。要么各个感官各司其职，将信息输入大脑，再由大脑统一加工成为连贯的整体；要么各个感官一开始便通力合作，互为补充，相互影响。

想象一只狗在邻院狂吠的场景。

第一种模式中，各个感官系统独立分析自己接受的刺激，构建出当前环境。例如，视觉展示给我们的是，一只金色猎犬在白色栏杆后面狂吠，听觉为我们输入犬吠声和汽车开过的声音。大脑将两种感官印象结合得出结论：一只狗在街边狂吠。

第二种模式中，视觉系统可能首先探测到，在一片绿地中，有一个淡褐色的大小确定的物体，听觉系统同时接收到从那个物体发出的有节奏的重复声音。在听觉系统接收到声音时，视觉系统也随之改变。各个感官在1 秒钟内相互作用，直到呈现出完整的金色猎犬狂吠的印象。在这个模式中，感觉统合在信息加工的初级阶段就开始了。这两种情景是感觉统合可能存在的模式的极端例子，在两者之间还有无数个发展进程。

统合形象

20 世纪50 年代，心理学家首次检验了不同的感官联合对感知世界产生的影响，对各个感官之间的相互作用进行研究。他们量化了前面提到的麦格克效应和腹语术效应（ventriloquist effect），后者是在1966 年由伊恩·P·霍华德（Ian P.Howard）同W·B· 坦普尔顿（W.B.Templeton，当时任多伦多约克大学研究员）提出的。直到今天，心理学家仍在探索感官错觉，试图解释大脑怎样联合感官信息的各方面，这样的联合又将怎样增强我们处理多感官信息的能力。

感觉统合

◆大脑通过不同渠道接收各个感官发出的信息。只有将这些信息融合起来，即感觉统合，我们才能得到周围事物的整体图像。

◆根据研究显示，在神经元受到刺激的早期阶段，这种统合就开始发生了。即使是专门负责单个感官的大脑中心，也要使用其他感官接收到的信息。

20 世纪70 年代，正当心理学家从感知立场研究感觉统合时，一些来自古典生物学领域的科学家，开始研究对大脑同感官信息联合的神经元基础。但他们中的大多数人都致力于神经元与单个感官，如视觉和听觉路径的研究。直到最近，随着大脑成像技术的进步，人们才开始认识到，感官并非如想象的那样各司其职。

功能核磁共振成像（fMRI）技术表明，当大脑中的某个部分高速运转时，比其他邻近的部分更需要氧气，因此，汇聚的血量也会更充足。在强磁场中，氧气充足的血色素分子同不含氧的血色素分子相比，表现行为会有所不同，因此，功能核磁共振成像扫描仪可以探测出血液流动，并制造出大脑运转的图像。

回想一下邻家的吠犬：功能核磁共振成像扫描仪能够探测出这两种感觉统合模式的不同。如果第一种模式正确，感官信息被各个系统独立分析，然后再融合。大脑各部分都应该参与进来，每部分独立进行一个感知过程。如果信息一开始就被融合接收，只有其中一些特定的部分才能达到感知目的。

这几年，一系列关于成像的研究发现，当感觉数据融合时，大脑各部分会组成一个高度激活的复杂网络。我们已经知道，大脑皮层顶骨及前方的突出部分，也就是所谓的联想部位，负责加工处理在各个感官渠道中流动的信息。各个大脑部位只负责一种感官的想法已经被证明有误，事实上，大脑各个部位有更广泛的功能。2000 年，英国伦敦学院（University college of London）的乔恩· 德赖弗（Jon Driver）描述说，被测试者用眼睛的余光瞟到自己的左手或右手时，视觉皮层的活动会增加，正如手指能接触物体会产生刺激一样。然而，只有在视觉和触觉刺激在身体的同侧同时产生时，这种大脑活动才会发生。

心理学家了解到这种“多模式强化”（multimodalreinforcement）已经有相当长的时间了。例如，一个闪光点的光线越强，人们看起来就越困难；如果我们在闪光的同时听见一阵短促的爆裂声，感知的光亮将会是最弱的。但只有在光线和声音同步时，这种效应才能成立。

对语言的感知特别有意思。根据麦格克效应，话语不光是靠声音传达的，嘴唇运动也能开展重要的信息交流。2001 年，心理学家杰玛· 卡尔弗特（Gemma Calvert）观察到，说话时，如果视觉和听觉上同时感知到刺激，视听系统的活动就会增加。换言之，嘴唇运动的图像从一开始就影响着声音符号的加工处理。这种大脑视听部位的协作在以前被认为是大脑各个部位各司其职。即使是一个演讲者的无声图像，也足以刺激听觉皮层；当演讲者表达含混不清时，也是如此。这个现象很清楚地表明，听觉皮层对演讲者的图像反应很明显，感觉统合了听觉和视觉刺激，便于对演讲的处理。

在大脑中融合

这样看来，第二种模式要准确得多。我的工作小组在德国图宾根马斯普朗克生物控制论学会进行的研究也支持这一观点。2005 年，我们对恒河猴听觉皮层各个部位实施了高分辨率核磁共振测验。听觉皮层由多个二级单位组成。初级听觉皮层通过丘脑中的中介体，接收到内耳声波产生的电脉冲。然后向更高的部位传送，那些部位就像一条几毫米厚的带子，缠绕在初级听觉皮层四周。

感觉在这里合并：
感官刺激最初产生于内耳，然后经过丘脑到达初级听觉皮层，最后进入次级听觉皮层。
在这个区域中，听觉信号与其他感觉信息合并。

我们通过耳机对动物播放杂音，用刷子刺激它们的手掌或足底，测试了它们的听觉皮层的活动情况。当两种刺激同时进行时，次级听觉皮层后端受到的刺激尤为强烈。在2007 年初，我们改工处理在各个感官渠道中流动的信息。各个大脑部位只负责一种感官的想法已经被证明有误，事实上，大脑各个部位有更广泛的功能。2000 年，英国伦敦学院（University college of London）的乔恩· 德赖弗（Jon Driver）描述说，被测试者用眼睛的余光瞟到自己的左手或右手时，视觉皮层的活动会增加，正如手指能接触物体会产生刺激一样。然而，只有在视觉和触觉刺激在身体的同侧同时产生时，这种大脑活动才会发生。

心理学家了解到这种“多模式强化”（multimodalreinforcement）已经有相当长的时间了。例如，一个闪光点的光线越强，人们看起来就越困难；如果我们在闪光的同时听见一阵短促的爆裂声，感知的光亮将会是最弱的。但只有在光线和声音同步时，这种效应才能成立。

对语言的感知特别有意思。根据麦格克效应，话语不光是靠声音传达的，嘴唇运动也能开展重要的信息交流。2001 年，心理学家杰玛· 卡尔弗特（Gemma Calvert）观察到，说话时，如果视觉和听觉上同时感知到刺激，视听系统的活动就会增加。换言之，嘴唇运动的图像从一开始就影响着声音符号的加工处理。这种大脑视听部位的协作在以前被认为是大脑各个部位各司其职。

即使是一个演讲者的无声图像，也足以刺激听觉皮层；当演讲者表达含混不清时，也是如此。这个现象很清楚地表明，听觉皮层对演讲者的图像反应很明显，感觉统合了听觉和视觉刺激，便于对演讲的处理。

扩展阅读

The Handbook of Multisensory Processes. Edited byGemma A. Calvert, Charles Spence and Barry E. Stein.MIT Press, 2004.

Integration of Touch and Sound in Auditory Cortex.C. Kayser et al. in Neuron, Vol. 48, pages 373-384;October 20, 2005.

Multisensory Spatial Interactions: A Window ontoFunctional Integration in the Human Brain. EmilianoMacaluso and Jon Driver in Trends in Neurosciences,Vol. 28, No. 5, pages 264-271; 2005.

◆有一个关于这种“感官交叉”的好例子：高级听觉部位中的次级听皮层能对听觉和视觉刺激进行加工处理，也就是说，眼睛和手指都能帮助我们倾听声音。