多模态小品中 的 主体模态,胡壮麟 北京大学,1符号的多元性与多模态性,索绪尔: 语言符号是概念(concept)与音响意象(sound image)的任意关系。 他预示了语言学只是属于尚未出现的符号学的一个分支学科。 他试图将任意性理论应用于其他符号系统: 所指(signified)和能指(signifier)的术语 一个世纪过去了，当代系统功能语言学派和认知语言学派对语言学和符号学这们新兴学科提出了不少崭新的观点。 ,（1）语言语法不是在词语概念基础产上生正确句子的代码，不是规则的集合，而是产生意义的资源（Halliday， 1978：192）。 这意味着正确的符号观应关注意义是如何从符号资源中进行选择和被表达的。 它不是停留在概念和语音，或者所指和能指之间的任意的静态的层面。,（2）人们如何对符号进行选择来体现自己想表达的意义呢？ 有关符号应当实现的功能。 四大元功能，即概念的，逻辑的，人际的，和语篇的（Halliday，1985/1994)。这四大元功能就是符号资源（semiotic potential）。 用表达意义的符号与它的发送者、接受者、要表达的内容、发送方式或模态，以及与时空有关的情景和风格有密切的联系。 社会符号学由是应运而生。,（3）在一定语境下使用的词语必然出现在语篇之中。 同理，我们应当将话语或语篇的概念应用于符号学研究。 人类符号与一定语境下完成的语篇共现。,（4）系统功能语言学的研究者进一步发现符号既然存在于语篇之中，这就不难发现“所有的语篇都是多模态的”(Scollon & Levine, 2004）。 人们感知和认识大千世界有赖于触摸、视听、嗅闻、舔尝等多种感觉方式的运用。,有关这方面的研究，将我们引入多元符号学（multi-semiotics）和多模态性（multimodality）的领域。 索绪尔自会接受符号的多元性，但他有关语言符号的概念和音响意象的绝对任意关系的观点，是否接受符号的多模态性有待我们进一步审视。,多模态性的研究旨在说明人们在表达意义时对不同符号特性的掌握和运用，以及对不同符号体系之间相互关系的了解。 一种模态被另一种模态替代实际上是一种符号资源转入另一种符号资源的过程，也就是重新符号化（re-semiotization） 重新符号化的任务是分析： （1）一种符号资源是如何随着社会进程转成另一种符号资源的？ （2）为什么是这些符号资源而不是另一些符号资源在某个时期被动用来表达某种意义。,OHalloran （2008）: 现代的真正意义上的多模态性理论研究应数Michael OToole (1994)的展示艺术的语言和Gunather Kress 和 Theo van Leeuwen(1996) 合著的阅读的意象：视觉设计的语法。 我国尽管有图文并茂的实践传统，有关当代多模态性理论研究的综述和报道有李战子（2003），胡壮麟（2004a,b;2007），朱永生（2007），张德禄（2009，杨信彰（2009）等。对多模态语篇案例研究的有胡壮麟和董佳（2006），魏晓茹（2009）、李妙晴（2009）等。,doc, ppt， pps，eml，wmv等软件的技术支持. 有关文科内容的学术论文较多地采用文字模态，社会科学的文章有时文字与图表并用，理工科的研究报告除文字和图表外，时有实图为佐。 本文研究本世纪方流传的多模态小品。(举例:南非世界杯开幕式),所谓多模态小品，我借用了小品文的概念，即生动活泼的说理抒情的短小作品，但它是多模态的。 我在“多模态小品的问世和发展”（2010）一文中曾对1092个多模态小品进行分析.,多模态小品的模态组合 文字 图片 乐曲 自动翻页 ,多模态可包含不同模态的组合。 但对多模态组合的规律性和特征缺乏深入研究，特别是形成这些规律性和特征的原因和功能。 本文想具体讨论的是： （1）对同一语篇意义的表达可以采用不同模态。 （2）这些模态可以分别使用，也可以同步使用。 （3）在多种模态同步使用的情况下，我们一般可发现其中一至二种模态是主体的，其余模态起陪衬作用。,2以文字为主体的多模态小品,作为小品，既然强调的是生动活泼和说理抒情，文字形式的视觉模态不失为一个重要方式。 小品中的文字要求短小精干，诙谐幽默，寓理于情，以打动读者。 Friendship Bouquet （友谊花束）,共有17张幻灯片。片1引入上述标题。片2说明作者的意图，即他认为读者可能并不意识到他往下所说话语的正确性和重要性，但这是百分之百正确的、重要的，因而希望读者每天思考其中的某些内容。,片6 A smile from you can bring happiness to anyone, 你的微笑 可以给人以快乐， even if they do not like you. 即使他们很不喜欢你。 片 7 Every night, SOMEONE thinks about you. 每晚，有 人想 着你。 You mean the world to someone. 你是某些人的世界。 片8 You are special and unique. 你是特殊的，唯一的， Someone you dont even know loves you. 你甚至不知 道的人爱着你。 片9 When you make the biggest mistake ever, 当你犯了 从未 有过的大错误， something good comes from it. 随之而来的是某个 好事。,从这些文字不难发现，作者诚意地友好地向读者提供一个一个诤言，如为人应该笑颜常开，你并非孤独，坏事可以变成好事，等。 因此友谊花朵这个题目高度概括了作者期待你树立乐观向上的用意。这层意义无疑是通过文字传递给读者的。,The only reason that anyone would ever hate you, Is because they want to be just like you.,每张幻灯片上的都有一种花朵，有的含苞欲放，有的展瓣吐艳。 这抽象地表达了每一枝花朵就是作者馈赠读者的一个箴言。这才是美的感受，这才是真正的友情。 值得注意的是有些花朵中有蜜蜂驻足，其象征义是我们可以像蜜蜂那样，从这些花朵中获得精神的营养。,Music: Nightengale Serenade,Friendship Bouquet,在片1的下方有“Music：Nightingale Serenade”(音乐：夜莺小夜曲)三词。 小夜曲一般指黄昏或夜间在室外独奏或独唱的歌曲或器乐曲，其音乐缠绵委婉，典雅悠闲，常为年轻人，特别是男士在月夜徘徊于恋人窗前向恋人述说自己的内心爱慕，以打动对方。 这种形式渊源于欧洲中世纪骑士文学的一种爱情歌曲，在西班牙、意大利等国流行。,鉴于乐曲出现的时间较早，可以推断它不是专门为友谊花束配制的。因此只能说小品的作者只是选用它作为背景音乐。 本乐曲突出的是夜莺的啼声，抒情浪漫，但不能充分表达友谊花束的主题. 作者向读者提供一个又一个如何正确处理人生中的问题。 但小夜曲以情动人正好起到激发对方深入思考并接受自己的观点。,3。以乐曲为主体的多模态小品,One Day When We Were Young是三十年代美国拍摄的翠堤春晓(The Great Waltz)里的插曲。 施特劳斯爱上了一位女高音歌唱家卡拉唐娜，他们在一起时，经常含情脉脉地唱起这首歌。当卡拉得知施特劳斯的妻子波蒂深爱着他的丈夫时，她毅然斩断情丝，悄然离去。 施特劳斯追去码头，从船上隐约飘来女高音的歌声：“当我们年轻时光”。 影片最后，施特劳斯已是满头银丝，在千万个粉丝狂热的欢呼声中，他的耳边又响起了这首扣人心弦的歌曲：“当春之歌又唱，又回忆起五月早上”,One day when we were young,One Day When We Were Young,One day when we were young, 当我们年轻时光 one wonderful morning in May, 在美妙的五月早上 you told me you love me 你曾说你爱我 when we were young one day. 当我们年轻时光 Sweet songs of spring were sung, 唱起了春之歌 and music was never so gay. 那音乐是多么动人 you told me you love me, 你曾说你爱我 when we were young one day. 当我们年轻时光,You told me you love me, 你对我多钟情 and held me close to your heart. 啊,我们心心相印 We laughed then,we cried then, 我们欢笑,我们喊叫 then came the time to part. 但离别时候来到 When songs of spring are sung， 当春之歌又唱起， remember that morning in may. 回忆起五月那个早上， Remember, you loved me 别忘了,你爱我 when we were young one day 当我们年轻时光。,虽然在这首多模态小品中，我们也可从幻灯片上找到每一句歌词，但那种浪漫的思念之情更多地来自缠绵动人的歌曲和歌曲中女高音的唱词。 用言语表达的唱词，不是用文字表达的歌词。 在表达意义时，乐曲和唱词的模态组合起到主要作用。,供视觉欣赏有14 张幻灯片。 这些幻灯片色彩时浓时淡，一草一木，均能传神。,图1（片2） 通过两只鸟在春意盎然的花枝上相互偎依 象征两个年青人在五月的一个美妙早晨情意萌生，难分难舎。 One day when we were young, one wonderful morning in May,One day when we were young,one wonderful morning in May,图2（片7）则通过孤鸟徘徊示意离别的时候来临，景色灰蒙蒙地给人以黯然神伤之感。 We laughed then, we cried then, Then came the time to part.,we laughed then, we cried then,then came the time to part.,这些图片作为多模态的交相映辉是成功的，但恋人间忆旧怀念之情的主题更多地依赖歌曲的魅力。 如果我们只是朗诵经过汉默斯顿改写的歌词，其感染力将大为逊色。,4。以图象为主体的多模态小品,有一些多模态小品主要依靠幻灯片中的图像来表达意义。 如在多模态小品“曼谷”中，作者将最能代表泰国首都曼谷的建筑、社会生活和城市发展的图片在我们眼前展示，百闻不如一见， 尽管我们有的可能还没有去过曼谷，至少在图片上能够鉴赏曼谷的面貌。,30张幻灯片中的片7（图3）和片21（图4）。前者是泰国的大皇宫，后者是一所庙宇的外景。 前者代表泰国的王权，后者展现了这个国家的佛教传统。 比较: 中国故宫和寺庙。,BUDDHIST TEMPLE,GRAND PALACE,在这个小品中也使用了少量的文字，它提供了有关图片内容的一定信息，如Bankok Airport（曼谷机场，片3），Sky train （空中轻轨，片5）, Democrac