阿爾特曼在“電影/聲音”專輯的序言中指出，電影本來就是“視覺的”這種假定，其實深植于我們談論電影時的習慣之中。用來指涉電影的特有名稱——movie、motion pictures、cinema——都強調對于看得見的影像的記錄，所指稱的是觀眾“觀看”一部電影，而不是“聆聽”一部電影。23這種接受上的視覺中心主義，使對電影音樂的關注和研討滯后于視覺，并使音樂通常被認為是附屬于視覺的。事實上，電影音樂作為一種模態(tài)信息和語義信息，時刻與電影內容建立著密切而復雜的關系;借助電影音樂，在接受者之間能夠產生可預測的超個體關聯(lián)(supra-individual association)。

    本次研究以電影音樂的懸疑效果為焦點，從跨模態(tài)視聽互動與意義/情感建構兩個維度，探究電影音樂在觀影認知過程中發(fā)揮的具體作用與效果。通過fMRI實驗與主觀問卷測試的數(shù)據(jù)分析，本研究生成以下結論。

    (一)作為模態(tài)信息的電影音樂:“同步整合”與“概念共鳴”

    首先，從縱向視、聽覺的跨模態(tài)視角來看，電影音樂被視作與視覺畫面并行的模態(tài)信息。本次研究的相關腦數(shù)據(jù)顯示，與視覺畫面同步展開的電影音樂，會強化并引導觀眾感官層面的認知，促進其注意力、記憶、情感加工等方面的腦活動。在特定情況下，音樂的加入還會促進腦部對當前視覺信息的加工，幫助強化畫面屬性、質感的視覺接受效果，視聽模態(tài)信息之間存在互相作用，并非彼此隔絕。音樂與畫面在屬性、質感上越相符，其對視覺、情感、注意力、記憶等腦認知活動的促進作用就越顯著。

    上述結論，從實證的角度佐證了希翁的“同步整合”理論。此種視、聽覺間同時發(fā)生且不可抗拒的心理融合，是內在于觀影者感官系統(tǒng)中的。在后續(xù)論述中，希翁進一步提出“概念共鳴”(conceptual resonance) 24，用以突出電影聲畫結合的重要性——音樂影響觀眾對影像內容的接受，對影像的認知也會為聲音接受帶去新的模態(tài)信息和相關屬性，這一視聽互動效應同樣被腦活動數(shù)據(jù)證明是切實存在的。在電影剪輯制作方面，視覺與聽覺是兩條各自獨立的軌道，但人類的感官認知，卻能夠完成二者的一體化過程，通過復雜的腦機制進行視聽間互促，進而生成更高級的認知結果。誠如希翁所指出的，許多觀眾以為自己用眼看到的畫面中，事實上也有聲音建構的幻覺存在。

    (二)作為語義信息的電影音樂：圖式激活與“增值”

    從情感/意義建構維度來看，電影音樂被加入到畫面中，除了對特定氛圍進行渲染、烘托外，還有重要的語義學作用，從而可指向敘事性。音樂不僅會增強觀影的沉浸感，更深度參與觀眾對畫面意義的感知、建構與詮釋，為敘事電影展示事件提供來自聲學的信息增量。研究結果指出，不同意義屬性的音樂加入，會顯著扭轉觀眾對視覺畫面意義屬性的理解，與畫面意義屬性相同的音樂加入后，則整體上達成了“1+1>2”的認知效果。

    在此，希翁的“增值”概念得到實證性的佐證。音樂自身在情感、意義上的信息值，會附著于視覺畫面，成為觀影者認知接受過程中的增量。作為語義信息，音樂與畫面屬性的一致性引起正向增值，對視覺意義認知產生加性，而音、畫間在語義信息上的對立，則引起音樂對畫面的負增值，已有視覺信息會受到聲音信息的干擾、削弱，甚至被扭轉。舊有主流觀點中，音樂曾一度被認為不具有敘事屬性而僅充當畫面的附屬，但事實上，觀影過程中音樂的語義作用，對電影敘事的認知建構有重大影響。

    圖式激活效應(schema-activating effect)為電影音樂的增值提供了另一種闡釋路徑。音樂所攜帶的情感和意義屬性，會觸發(fā)、喚起觀眾積極或消極的心理圖式，以自上而下的方式影響甚至引導觀眾理解當前的畫面。25由于圖式將人類的知覺與情感經(jīng)驗組成一個連貫、共通的結構性整體，故而同樣有理由相信，音樂的圖式激活效應，在某種程度上是超個體的與可預測的，這構成了電影音樂手法使用的認知主義前提。盡管電影創(chuàng)作界已在相當長的時間內遵循并踐行了上述規(guī)律，但從理論和實證方面對其予以論證，依然是必要的。

    (三)音畫綜合下的電影認知與創(chuàng)作

    縱向和橫向的研究數(shù)據(jù)結果均顯示，音畫一致時，音樂對畫面的感官加工和意義理解都有強化和突出作用，而當音畫不一致時，音樂往往會對電影內容及視聽特性進行調整和修改。諾埃爾·卡羅爾將這種調整和修改描述為一種“修飾語”(modifier)，能改變觀眾對電影意義、情感及特質的感知。26

    通過同步整合與增值、圖式激活，電影音樂的屬性直接影響敘事電影的流暢度、現(xiàn)實感及感染力。當音畫一致時，音樂強化觀眾的認知，音畫不一致時，則調整、修改觀眾的認知。延伸至創(chuàng)作領域，對上述規(guī)律較為常見的運用，便是商業(yè)電影多使用與特定場景屬性相吻合的音樂，以強化觀眾對人物情緒和事件進程的認同，進而深化其對敘事的沉浸作用;藝術電影中，也常見以音畫分離、對位的手段制造間離性或建構特定表達的手法。但不論怎樣，這些音樂上的設計能夠發(fā)揮作用，始終前提性地仰賴于人類復雜的感官機制和意識活動，后者為音畫間的配合賦予了認知端的多種可能性。更多時候，是觀眾“以耳看”“用眼聽”，將電影的視聽編碼信息盡數(shù)納入已有經(jīng)驗和主觀意識流動內部，才在真正意義上成就了一部完整、立體的電影，此種思路在認知主義與電影學的碰撞中，已屬主流。

    在神經(jīng)美學(neuroaesthetics)領域，有這樣的說法，稱藝術之美存在于觀看者的神經(jīng)系統(tǒng)之中27，或許神經(jīng)電影學可以對此稍作修改:真正的電影銀幕，存在于觀眾的眼、耳、心中。德勒茲意義上的“大腦即銀幕”28，正在神經(jīng)電影學視域下立體化、清晰化，逐步走向可見。