图像与语言

20 世纪初期，匈牙利电影理论家贝拉·巴拉兹就曾预言：“随着电影的出现，一种新的视觉文化将取代印刷文化。”时间流逝，100 年后的今天，我们日常生活的方方面面包括影视、广告、景观、建筑、照片、绘画、服饰等都与视觉息息相关，图像已经成为我们获取信息的最主要媒介，可以说，我们正生活在一个绝对典型的视觉时代中。而在人文和社会科学领域，视觉时代的到来“不仅标志着一种文化形态的转变和形成，而且意味着人类思维范式的一种转变”（《图像转向》，2002） 1，与 20世纪初的语言学转向相对应，如今在哲学、社会和文化等学科领域正在经历米歇尔称之为“图像转向”的变化，学者们纷纷开始以“视觉/图像”为中心建构方法论和理论框架。

于是，图像语言学、多模态话语分析等跨学科的研究领域得以开辟，交际被视为一种运用多种模态（如语言、文字、图像、音乐、动作等）共同完成意义建构的过程，除了有声语言 / 话语和文字外，其他交流渠道和媒介也在协同传递信息。其中，图像语言学主要研究图像如何进行信息传递、表达意义并建立沟通系统，关注图像作为符号的语法结构、语义内涵以及与社会文化的互动关系，例如米歇尔提出元图像的概念，即关于图像的图像，由此说明图像的自我指涉性。以斯坦伯格创作于1964 年的“新世界”系列之一《螺旋》为例，作品描绘一位身穿礼服的绅士在画一幅画，作画者画出来的图形是螺旋式的，他身处螺旋中央，外围是一片乡村景色，有树木、云、山顶和一间小屋。米歇尔指出，斯坦伯格将作品解读为对艺术家生命的映射是一种自我指涉，作品中画家持笔画出螺旋线，末端又指向作画的手本身，形成“创作行为与被创作物”的无限循环。2 与图像语言学重点关注图像和语言/文本的相互渗透关系不同，多模态话语分析进一步将关注范围扩展至图像、声音、手势、空间布局、颜色、字体等各种非语言模态如何共同参与意义的生成与传递，国内有学者曾分析《舌尖上的中国》如何通过多模态话语建构文化意义，发现它通过画面、旁白和字幕突出了中国饮食文化所蕴含的家园认同、“礼”性和谐、历史传承、多元共存等传统文化特征 3 。

由于图像和多模态话语解读在一定程度上带有主观性，如果要更系统、科学地研究信息传递中不同模态符号资源的协同规律，就需要足够数量并具有系统性的数据支撑，由此激发了各种多模态语料库的建立。所谓语料库，是指按照一定规则收集和存储的大规模真实语言数据的集合，早在 20 世纪 60 年代，美国的语言学家们就建立了世界上第一个语料库：布朗语料库，目前英文和中文语料库有当代美国英语语料库（COCA）、英国国家语料库（BNC）、北京大学现代汉语语料库（CCL）、北京语言大学 BCC 语料库等。语料库除了能够服务语言研究外，还能够在构建语言模型、开发自动化工具（如机器翻译、语音识别、文本分类）中发挥重要作用，比如国内多个品牌的翻译机之所以存在翻译准确率和翻译质量上的差别，与其内置的词库和语料库规模有直接关系，而近年来兴起的大语言模型（如DeepSeek、ChatGPT、豆包、星火大模型等）因为需要使用规模巨大的参数量（百亿到万亿级）和数据（数万亿 token）进行预训练，语料库的质量将会直接影响大模型的性能和输出结果。多模态语料库是指包含文本、语音、图像、视频等多种模态的语言数据集，本次特辑中摄影师曹梦芹参与建立的“中国传统吉祥寓意图像多模态语料库”就收录了各种中国传统叙事图像及双关谐音图像，并对图像的寓意主题、寓意构建机制和相关媒体信息、文献信息等进行了标注。多模态语料库的建立能够为多维度的文化、历史、语言和社会现象的研究提供重要的数据支持，尤其是在数字人文的发展背景下，它能够极大地推动文化遗产的数字化和多模态展示，为人文社会学科的跨学科研究提供便利，并进一步推进我们对语言/文本和图像关系的研究。

展望未来，可以预见的是，不仅在艺术领域，在语言、哲学、社会、思想诸领域，图像的价值都将进一步体现。在语言研究中，我们常常说“语言是思维的工具”，现在看来，图像对于思维的重要性或许并不亚于语言，或者说，图像与语言在未来将越来越紧密地联系在一起。

Tips

原来这些语言学家和文学家都是摄影师！

刘半农：《半农谈影》

新文化运动先驱、语言学家、文学家、教育家刘半农先生，也是中国第一本摄影艺术理论专著《半农谈影》的作者。1925年，他从法国巴黎大学毕业，获得法国国家文学博士学位，回国后任北京大学中文系教授，主持建立国内最早的语音学实验室“北京大学语音乐律实验室”。摄影，是刘半农十七八岁时的爱好，也是他留法期间缓解失眠调节心情的办法。1927 年，加入摄影团体“北京光社”，同年出版《半农谈影》和我国最早的摄影年鉴《北京光社年鉴》，刘半农的摄影之路，从追求“自己的快乐”逐渐变为表现“个性”和“中国人特有的情趣与韵调”。

赵元任：《好玩儿的大师》

与刘半农一样，著名语言学家赵元任也是一位爱好摄影的“斜杠青年”。他在美国留学期间，与同学一起买了一部照相机，从此迷上了摄影。赵元任先生逝世后，他的女儿赵新那和外孙黄家林将家中保存的上万张底片分类整理，用学术、家庭、风景、伯克利岁月四个篇章呈现这位知识分子的影像人生。2022 年，商务印书馆出版《好玩儿的大师：赵元任影记之学术篇》，后续篇章也将陆续面世。“好玩儿”是他对语言学、对学术研究的态度，也是对摄影乃至人生的好奇与热爱。

约翰·马克斯韦尔·库切：《天生异乡人》

1983 年、1999 年两度荣获布克奖，2003 年摘得诺贝尔文学奖的约翰·马克斯韦尔· 库切（John Maxwell Coetzee），其作品以“结构精致、对话隽永、思辨深邃”而著称。在文学创作和研究领域成就斐然的库切，儿时的梦想其实是成为一名摄影师，他的摄影与写作实践相互影响，共同塑造了他。库切曾言：“从一开始，摄影的痕迹就遍布于我的作品之中，直至所有作品。”《天生异乡人》是用“光影”来“写作”的一本图像自传，通过黑白摄影作品再现这位小说家的青春。

关于作者

张未然

北京大学、巴黎第七大学双校博士，中国传媒大学人文学院副教授、硕士生导师、青年拔尖人才，民盟盟员。主要研究领域为词汇学、话语分析、国际中文教育，近年来积极探索语言学的跨学科研究，包括多模态话语分析、语言国际传播研究等。出版专著《基于认知形态学的汉语类词缀构词研究》，在《现代传播》《华文教学与研究》《中国语言生活状况报告》等发表学术论文十余篇，两篇研究报告被政府部门采纳。曾获评“北京市第十七届哲学社会科学优秀成果奖”二等奖、中国传媒大学高水平专著、北京大学出版社“语言学前沿丛书年度博士论文”优秀论文奖。