艺术与技术：媒介融合背景下的音乐小说研究——兼论其文学审美特征与受众心理学实证
时间：2023-02-21 14:40:06 来源：千叶帆 本文已影响人
袁博聪 梅振宇 王 瑞
（江汉大学人文学院，湖北 武汉 430056）
媒介融合催生出“音乐＋小说”的新兴文学模式——音乐小说，其以原创文本为载体，辅之以符合文本情感调性的原创音乐，将文本中的场景、情感等元素与音乐融合，使阅读更立体、文本更具表现力。音乐小说不仅融合了不同符号信息，也融合了其所承载信息的媒介，读者可通过对文本与音乐的交互体验，充分发挥音乐文本的情绪带入功能、想象延伸功能与记忆触发功能。本文以音乐小说为研究对象，研究其在媒介融合视角下的创新模式，并基于本雅明的机械复制理论以及多模态话语下的多感官错觉体验，探究其审美特征，再对受众进行心理学实验，实证分析了文本阅读体验与背景音乐的关联性。
（一）媒介融合驱动文艺创新
科学技术和互联网信息技术的发展使承载信息的媒介越来越多元化，不同类型媒介呈现信息的差异化表现形式在媒介融合背景中得以深度聚合。麦克卢汉提出“媒介即是讯息”并指出“电子技术使人相互依存的新局面以地球村的现象重新塑造着世界。”［1］技术赋能正在慢慢改变传统主流媒体的媒介行动主体地位，让更多人能够使用技术叠加、跨屏互动等新型媒介融合手段进行内容创作，走出传统融媒体发展的“结构性障碍”［2］。反映在文学创作领域，当下快速发展的数字出版、跨屏阅读、有声阅读等新兴融合媒介体现形式，不同于热媒介高清晰度地延伸人体某一感觉器官，媒介融合产物更加符合凸显信息个性化、强化信息接收与联想的冷媒介。不仅反映着技术哲学和社会碎片化使大众不断追逐沉浸化、体验化、个性化、趣味化的信息场景，也体现出媒介融合正不断成为驱动文艺创新的重要发展路径［3］。
（二）光晕凋落与当代音乐小说的产生
本雅明提出传统艺术与当代艺术的本质区别在于“光晕”的有无。光晕如同环绕在艺术品身边的光辉，保持着神圣艺术与欣赏者间的距离。本雅明看到了机械复制时代的祛魅，肯定了光晕消散的积极面；
同时也看到了光晕对资本主义社会异化与工具理性膨胀的救赎可能，希望以此唤醒人们的内心，激发出深刻的革命斗志与批判欲望。
如今，“艺术的神圣光辉在物质与信息极大丰富中黯淡，艺术进入经典式微时代”［4］。技术与艺术的走向问题与光晕救赎问题成为当下创作者和欣赏者的共同论题。而技术的革新带给了媒介深度融合机会，使得不同的信息载体能够在同一时空中，通过刺激受众相应的感觉器官来丰富传播效果。音乐小说作为当代新兴文学形式，其特殊的文学表现模式展现出技术在艺术领域的运用与艺术在技术领域的规范，显示出了技术的科学性与艺术的审美性，构成了现代技术与现代艺术之间的美妙张力。在一定程度上实现了技术对人的异化状态下的“复魅”，使当代艺术重获“原真性”，同时也对艺术与技术的关系走向问题做出了诠释。
（一）不完全“惊颤”
机械复制时代的到来改变了大众与艺术作品“从最落后到最进步”的关系。而这一进步状态的标志则是“观赏、体验的乐趣”与“行家般的鉴赏态度”在观赏者身上的结合。
与传统鉴赏家对艺术品的凝神专注不同，大众对艺术品是消遣性的关注与欣赏，是“走神的评论家”。本雅明艺术理论中核心概念“惊颤”既是“外部世界过度能量”对人自身保护层构成威胁而产生的一种瞬间心理体验，又是自身无法容纳“过度能量”而产生的断裂心理体验［5］。此外，当人们不断对外部事物做出快速反应时，一个惊颤还未平息，另一个便随之而来，久而久之，钝化的感知只有通过不断的、更高频的惊颤被唤醒，如此一来光晕便在这种非连续的惊颤中分崩离析了。
惊颤作为人们对外部过度能量做出的反应，同时迫使人们以更加清醒冷静的态度去感受作品。现代惊颤艺术是与增强的生命风险相对应的艺术形式，是人对威胁着他的风险的适应。正是这种体验将威胁人类的因素剥离了剖析，还自我意识于个体，帮助个体跳出机械化的牢笼。
音乐小说对“惊颤”的把握是一种“不完全惊颤”：对应故事的音乐播放作为连续性的现实复制，是无法使人凝神倾听、沉浸联想的；
而小说文本作为印刷在纸张上的文化符号，读者是可以驻神观看、在凝神中走近艺术品的。但是，当音乐的播放与小说的阅读一同进行时，读者正意欲思索，可对应文本的音乐已变，便不得不快速反应听觉上的惊颤，以适应新的音乐片段，这种听觉上的惊颤同时又带动了视觉上的内容变化，从而达到一种“不完全惊颤”的效果。
这种“不完全惊颤”不仅保留了“惊颤”带给人的对外界风险威胁的镇定反应，同时也破除了其对艺术欣赏者凝神观看的影响，使得欣赏者既可以保有行家般的鉴赏态度，也可以拥有观赏体验的乐趣，丰富了欣赏者的心理体验。
（二）艺术费解的消散
随着现代摄影、留声技术的发展，机械复制技术的现代性特征愈发明显。摄影技术对瞬间性的无限追求导致现代摄影作品的意义较为晦涩。摄像艺术与图片处理技术的发展也使生活呈现出愈发细微与隐秘的一面。在此背景下，观众所产生的“惊颤”越发强烈，由此产生的心理断裂就越突然，观赏者因惊颤所产生的联想的停顿就越长久，如此，艺术费解便产生了。
此外，“留声技术对音乐的物化”［6］导致人们的听赏能力无限下降。放空状态下声音接收触发了瞬间惊颤，使声音所传达的信息变得晦涩，听众在被动进行这种放空式信息接收时往往不解其意，艺术费解悄然产生。
在承受这种艺术费解时，意识形态的入侵往往变得轻而易举。机械复制技术迎合了人们伪个性化虚假需求，此时文字变成了破解艺术费解的工具。因此，没有文字，摄影与声音的构造会显得模糊不清、无法下手。
音乐小说的“音乐＋小说”模式破除了由于惊颤所带来的艺术费解。音乐小说中的配图与配乐也可以很好地记录现实，但是，其瞬间性造成了现实复制的片段性，其解读的无语境性也就导致了意义的不确定乃至费解。而小说文字的出现破除了惊颤的突发与疏异，使配图与音乐的意义一目了然。同时，文学艺术的基础语言文字作为人为的符号，是人脑思维的产物，语言符号的模糊性与读者的主体性差异，产生了文字的多义性，不同主体对意义的不同阐释在一定程度上保留了艺术费解的良性效果，这也遵循了艺术费解作为现代艺术的典型特征规律。
（三）视觉接受与触觉接受下的多模态话语
多模态话语是指使用两种及以上交流的渠道和媒介 （包括语言、图像、音乐等符号）的话语形式［7］。音乐小说中音乐符号的融入将传统阅读形式中的单一视觉模态延伸为视觉、听觉的多模态形式。在文本阅读中，受众对文字意义与情景内涵的把握一般通过视觉接受和复杂的人内传播进行，但是文字这一非语言符号本身和阅读环境的变化，使得阅读者会倾向于进行主观判断而缺少客观反馈，从而给理解文本、沉浸于文本带来一定的障碍。而音乐小说引入符合文本段落情感调性的音乐赋予了读者来自客观环境的反馈，形成多感官错觉［8］相互刺激的伪反馈机制，能够帮助读者从阅读文字到沉浸情景，从而实现情感共鸣。
本雅明在 《论模仿能力》中提出感官经验与身体知觉。其中“模仿”指“一种涉及与感知和认知有关的感官、身体和触觉形式的接触世界的模式”［9］。其认为记忆既是意识性活动，也是身体感官对外界刺激做出的协调反应，这种复杂关系被韩国学者康在镐认为是一种多重身体感官感受，并将其概括为“分心的体验”［10］。本雅明以建筑艺术为例，认为建筑艺术以“通过使用和对它的感知”［9］的双重方式被接受。确切来说是“通过触觉和视觉的方式被接受”［9］，如同在建筑中信步遨游；
视觉接受即凝神专注 （的感受方式），即对建筑艺术的观察研究。触觉的闲散与视觉上的凝神专注绝不是对立的，触觉接受有时甚至决定了视觉接受，从而使这种视觉接受很少存在于一种紧张的专注中，而是存在于一种轻松的顺带性观赏中。
音乐小说的“音乐＋小说”模式将视触接受结合：大众在收听音乐小说中的音乐时，往往靠习惯通过一种非聚精会神的闲散方式来被动接受信息，是一种在艺术作品中寻求消遣的欣赏方式，他们超然于艺术作品而沉浸于自我之中。
音乐小说破除了以单纯的沉思冥想来感知艺术的方式，大众可以根据触觉接受的引导去完成艺术的鉴赏与思索。这样便打破了传统艺术光晕的距离感，同时又在一定程度保有了光晕艺术的神圣感，使观赏者也能够通过凝神专注的方式走向艺术品。
（四）“自律性”与“他律性”
无论是传统艺术、机械复制艺术还是数字信息艺术，对其艺术审美特征的探讨都无法逃脱现代性的语境。机械复制技术发展态势已不可逆转，艺术生产的“自律”与“他律”的二元对立也更能阐明传统艺术与现代性艺术的特性。
他律，即艺术生产不源于艺术的内在要求。康德说，“美的欣赏的愉快是唯一无利害关系的和自由的愉快。”［11］这也是现代艺术的核心观念，艺术与美是非功利的，“自律性或自主性是审美现代性的一个关键的特质”［12］。
文艺复兴后的艺术受宗教、政治等因素，自律性明显，功利、实用性式微。但是，随着19世纪机械复制技术的产生与发展，随着大众意义的增强与现代大众对缩短“物我之距”的强烈愿望，艺术再次脱离了依靠自身内在动力发展的规律，转而迎合大众的需求。不过在此期间产生了最早的“音乐小说”——《约翰克里斯朵夫》 （不过其在目前看来只是富有现代性与音乐性的小说作品，并非本文意义上所提到的音乐小说），其对音乐形象的塑造使此部艺术作品达到了精神宁静的崇高境界，是艺术自律的再现。
由此看出，艺术自律与光晕密不可分。传统艺术作为自律的艺术，其自律性消散了，光晕便荡然无存。对此，为实现光晕的复归，本雅明提出倡导艺术“自律”。但是，纵观世界艺术发展史，“自律”与“他律”都是艺术发展兴盛的必要因素，这也成为了当代艺术不可不谈的议题。
音乐小说的特殊模式及其构成，造成了其产生原动力的复杂性。语言符号的社会性导致了音乐小说自诞生起便打上了深刻的他律性，人民本位的文学观要求创作来源、服务于大众的，大众对此类艺术的需求也正是机械复制时代艺术作品他律性的根源。而其配乐创作的附带性出现，又使其呈现出自律性的特征：创作者为了美的欣赏所进行的一种自发的、无利害关系的艺术创作。可以说，音乐小说这种文学模式是智能技术时代自律与他律融合的产物，是迎合大众与遵从自我的调和。
（一）研究目的
有关音乐对文本阅读影响一直都是多学科研究应用重要议题，其中唤醒理论 （Arousal Theory）认为音乐能提供读者在文本阅读过程中一定程度唤醒水平，对阅读有积极作用［13］；
而国内学者李宁宁等在 《背景音乐对中学生阅读理解的影响》中以中学生为研究对象［14］，探究不同类型音乐对有无背景音乐偏好的被试的阅读理解成绩的显著性影响；
林瑜等以不同节奏、不同耳道接受方式为变量，并使用眼动追踪技术，探究其对阅读理解的影响［15］。为了从读者角度探究音乐小说中背景音乐与文本阅读模式的影响情况，笔者设置了在线问卷，通过改变背景音乐研究不同背景音乐条件对个体阅读理解的影响，并根据实验结果，讨论音乐小说中符合文本情感调性的背景音乐是否对文本阅读具有促进作用。
（二）工具和材料
1.被试
在江汉大学招募大学生被试180人，被试均无阅读障碍，听力正常，裸眼视力或矫正视力正常，且对阅读材料不熟悉，随机分成三组进行实验。
2.工具和材料
（1）工具
在线问卷编制系统。
（2）阅读理解材料
节选王希翀原创音乐小说 《我的时间里住过你》中某段文字材料作为阅读理解文本材料，共计1032字符，由专业人员编制相关试卷，根据文本设计的阅读理解题目分别为主旨大意题、文本细节题、句段情感题、选择标题。选取30名江汉大学学生进行初测，测得试卷难度为0.58。试卷有1篇阅读材料，共4道单项选择题，每题25分，满分100分。
（3）音乐材料
选择与阅读材料情感调性一致的音乐材料 《冰雪》为王希翀 《我的时间里住过你》中文字材料配乐；
与阅读材料情感调性不一致的音乐材料选择为陈致逸、刘敏 《新桃旧符》配乐。
3.实验设计
本实验采用单因素实验设计。自变量为背景音乐类型 （背景音乐与文本情感调性一致、背景音乐文本情感调性不一致、无音乐），因变量指标为阅读理解单项选择题的得分；
测试前需要调整系统音量不低于30%，测验时要戴上耳机，避免外界干扰，有背景音乐的组别在测试过程中将循环播放相应的音乐。文本阅读材料和题目采用分页设计，阅读材料一页、题目另选一页，音乐播放不受翻页影响；
测试限时5分钟，到达限定时间系统将直接提交试卷。
4.器材和程序
（1）器材
电脑30台，头戴式耳机30只。采用问卷编制系统编制在线问卷，基于网易云音乐iframe嵌入背景音乐并排除版权风险。进入问卷系统后自动播放音乐。
（2）程序
被试进入实验室做好准备后，需要填写一张知情表，表上标有姓名、年龄、性别、是否愿意参加实验等项目，调整系统音量不低于30%，并保持全程播放，随时可以退出实验。被试需公示实验结果和指导语：这是一项背景音乐与阅读理解的关系研究，实验结果仅供研究使用，成绩不会公开，请你认真作答。每张试卷中有1篇阅读理解，时间为5分钟 （请放心，5分钟完全可以做完）。音乐响起后开始答题，达到限定时间系统将自动提交试卷。
实验开始，被试进入问卷系统，戴上耳机，开始答题。
阅读理解试卷完成后，被试离开实验室。主试检查系统后台。
（三）数据分析
对音乐与文本情感调性一致实验组和情感调性不一致实验组的试卷得分情况和情感类题目进行可视化表征 （图1），背景音乐与文本情感一致实验组得分情况高于不一致组；
且情感类题目得分情况受背景音乐的影响较大。
图1 情感类题目得分情况
通过对音乐与文本情感一致实验组 （有音乐）、音乐与文本情感不一致实验组 （有音乐）和无音乐实验组这三个组别的试卷得分进行整理并导入SPSS数据分析软件进行分析得出描述性统计，可得表1：
表1 被试在3种背景下的阅读理解分数的描述性统计
根据统计结果可知：在背景音乐与文本情感一致实验组的答题分数均值 （M＝72.08）大于无背景音乐实验组的答题分数均值 （M＝70.00），背景音乐与文本情感不一致实验组答题分数均值 （M＝62.08）。
为了得出不同组别中不同实验条件得分差距的显著性，对所收集的数据在SPSS数据分析软件中进行方差分析，得出表2：
表2 被试在3种背景下的阅读理解分数的方差分析
根据方差分析结果可以看出：背景音乐主效应显著 （F（2，42） ＝3.853，p〈0.05），即背景音乐与文本内容一致时的阅读成绩好于无背景音乐时的阅读成绩和背景音乐与文本内容不一致时的阅读成绩，且具有显著差异。由此可知，个体在阅读时，聆听与文本内容情感调性一致的音乐能够提高个体的阅读理解水平，增强阅读体验。因此，从受众角度出发，音乐小说这种融合音乐、文本等多种符号以及承载相应信息媒介的新型传播模式，在一定程度上增加了受众阅读体验，能够促进受众理解文本内容并把握其情感走向。
随着现代化进程的不断推进与信息技术的飞速发展，当代艺术受技术推动日渐呈现出数字化、智能化的特征，而技术也受到艺术规律的制约呈现出审美化与个性化的特点。
音乐小说这种艺术形式作为具有传播功能的碎片化的现实缩影，不能只传达人们的理性表达，更要传达“神旨”。音乐小说作为新兴的文学模式，突破了传统单一信息符号与单一承载媒介的局限，在顺应信息技术发展的同时，实现了传统艺术与现代技术的有机融合。技术性的引导孕育了其独特形式，打破了传统文学艺术与音乐艺术的局限性；
而其艺术性的审美又指引着技术向纵深融合与造福大众的方向发展。至此，艺术与技术的张力关系也会走向平和，光晕的“距离感的再现”便成了归途。
