ピアノ演奏の動作と音響による感情マガーク効果の検証 Investigation on an emotional McGurk effect for motion and audio on the piano performance 山口翔也，西森佑実，三浦雅展 Syoya YAMAGUCHI Yumi NISHIMORI and Masanobu MIURA 龍谷大学理工学部情報メディア学科 Department of Media Informatics, Faculty of Science and Technology, Ryukoku University t130524@mail.ryukoku.ac.jp 内容梗概：音声知覚において，音声からの聴覚情報だけでなく，唇の動きのような視覚情報からも影響を受ける「マガーク効果」という現象が知られている．視覚と聴覚に融合が音声言語では生じることが知られているものの，楽器演奏においても同様の現象が生じるかは未検討である．ここではピアノ演奏を対象に，ある感情が表現されたピアノの演奏音に別の感情が表現されたピアノの演奏動作を合成し，感情を表現した楽器演奏における感情マガーク効果の存在の有無を検証している．その結果，演奏音と動作の感情とは異なる別の感情が得られる事例が報告されている． Key Words: ピアノ，モーションキャプチャ，マガーク効果，感情評価 1 はじめに人が歌唱や楽器を演奏する場合，演奏音や演奏動作を通して感情を表現することができる．演奏における感情の表出に関する先行研究[1]では，歌手が感情を表現して歌った際に，歌手の声のみを聴いた場合と，歌手の声に加えて顔の表情も併せて視聴した場合とでは，感情の認知に差異が見られることが報告されている．そもそも，視覚と聴覚の間には様々な交互作用があり，古典的な知見として，音声知覚において，音声からの聴覚情報だけでなく，唇の動きのような視覚情報からも影響を受ける「マガーク効果」という現象が確認されている[2]．例えば音を/ba/の音声，唇の動きを/ga/ とした映像を組み合わせると，聴取者はその音声を/da/ と知覚する．このように音声と映像の交互作用によって「第三の知覚」が発生するとされており，その要因は言語理解における視覚優位によるモーダル間での不一を用いる．ある感情が表現されたピアノの演奏音に，別の感情が表現されたピアノの演奏動作を合成した刺激を用いて，感情マガーク効果を検証する．演奏音は音響信号による録音および MIDI による記録を行ない，演奏動作は光学式モーションキャプチャシステムを用いて記録する．調査手順として，まず，感情を表現したピアノの演奏音を音響信号と MIDI で記録し，記録された演奏音と演奏動作（以降，演奏データ）に対して感情の再現性を実験的に検証する．その結果より，奏者がピアノ演奏に対して表現した感情が，奏者と聴取者の間で相違なく知覚されるかが明らかになる．ここで得られた奏者と聴取者の間で相違ない感情が知覚された演奏を，より顕著な感情が表現されている演奏データとして用い，感情マガーク効果の検証に用いる． 3 演奏データの記録実験奏者が感情を表現したピアノの演奏データを得るた致であると論じられている．しかし，ここでは研究対象め，演奏記録を実施した．が言語のみであり，演奏の感情理解におけるモーダ 3.1 記録環境ルの不一致による影響については未検討である．そこ記録は本学の防音室内で行なった．演奏音の記録で本研究では，先行研究[1,2]の傾向が感情を表現し環境を Table 1，演奏動作の記録環境を Table 2 にそれた楽器演奏においても生じるのか，すなわち感情を表ぞれ示す．光学式モーションキャプチャシステムで用現した楽器演奏におけるマガーク効果（以降，感情マいる赤外線カメラは，奏者の手元と正面から見た身体ガーク効果）が存在するのかについて検証する．の上半身を記録するために 6 台，背面から見た身体の 2 調査概要上半身を記録するために 2 台の合計 8 台を用いた．赤本調査では，感情を表現しやすい楽器としてピアノ外線カメラから放射される赤外線を反射するマーカーを，奏者の両手に42個，上半身に19個の合計61個を人体の骨格情報に基づき装着した．奏者に装着したマーカー配置を Fig.1 に示す． Table 1 演奏音の記録環境 44100[Hz] サンプリング周波数 16[bit] 量子化ビット数使用ピアノ自動演奏機能付 C3 （YAMAHA 社製） QUAD-CAPTURE オーディオインターフェース（Roland 社製） NT2-A コンデンサーマイク（低音用）（RODE 社製） SM58 ダイナミックマイク（高音用）（SHURE 社製） Pro Tools ソフトウェア（Avid Technology 社製） Fig.3 Juslin の感情平面 3.2 実験概要奏者はピアノ歴15 年の女性1 名とし，演奏課題には「エリーゼのために」から抜粋したフレーズを採用した．演奏課題の譜面を Fig.2 に示す．奏者には Fig.3 に示す Juslin の感情平面[3]における 5 種類の基本感情 Table 2 演奏動作の記録環境フレームレート解像度赤外線カメラソフトウェア 60[fps] 1280×1024[dpi] Flex13（OptiTrack 社製） 8台 Motive（OptiTrack 社製）（「怒り」，「喜び」，「悲しみ」，「優しさ」，「恐れ」）に「無感情」を加えた計 6 種類の感情を主観的に表現した演奏を行なわせ，6（感情）×5（回分）計 30 通りの記録を行なった．また，打鍵ミスや欠落音があった場合は記録を中断し，再度記録し直した． 4 記録された演奏に対する感情評価 4.1 実験刺激の作成記録実験により得られた，演奏で表現された感情が，聴取者によって相違なく知覚されるかを確認する必要がある．そのため，記録した演奏を様々な手段で提示し，被験者にその感情を答えさせ，その一致度を確認する必要がある．作成した実験刺激は，演奏音のみの「音刺激」，演奏動作のみの「動作刺激」，奏者がある感情を表現した演奏音と同じ感情を表現した演奏動作を合成した「合成刺激」の 3 種類の刺激パタンとした． Fig.1 骨格情報に基づくマーカー配置そのため，実験刺激が 90 通り（3 パタン×6 感情×5 回分）となった．音刺激は，Pro Tools 上で記録された WAVE ファイルとした．また，動作刺激は光学式モーションキャプチャシステムで記録されたピアノの演奏動作から作成されるワイヤフレーム動画とした． 4.2 被験者被験者は本学学生 5 名（男性 4 名，女性 1 名，平均年齢=23.2 歳）である．うち 3 名が 3 年以上の音楽経験を持つ．なお，被験者の中に記録された演奏データの奏者は含まれていない． 4.3 実験方法 Fig.2 「エリーゼのために」から抜粋した譜面 4.1にて作成した90通りの実験刺激を，ランダムに並び替えたプレイリストを用意した．プレイリストの再生ソフトウェアにはVLC media playerを使用し，実験刺激の視聴にはヘッドホン（SONY社製MDR-CD900ST）を使用した．被験者には，提示した実験刺激に対して主観的に知覚する感情を 6 つの感情から 1 つ答えさせた． 4.4 実験結果および考察本実験の結果，音刺激に対する正答率，動作刺激に対する正答率，合成刺激に対する正答率，および刺激パタンごとの正答率を Fig.4 (a)～(d)にそれぞれ示す． Fig.4(a)～(c)の横軸は怒り（ANG：Anger），喜び（HAP： (a) 音刺激に対する正答率 Happiness），悲しみ（SAD：Sadness），優しさ（TEN： Tenderness），恐れ（FEA：Fear）および無感情（NEU： Neutral）における刺激 ID を表し，刺激 ID は ANG_1 （感情_ID）のように表す．𝑛を被験者数，𝑐1 を各刺激に対する正答数とし，正答率 𝑝(𝑛)の算出式を式（１）に示す． 𝑝(𝑛) = 𝑐1 × 100 [%] 𝑛 （１） Fig.4(a)～(c)より，全刺激パタンの感情においても少な (b) 動作刺激に対する正答率くとも 1 つは正答率が 60%以上の刺激が存在するので，ピアノ演奏に表現された感情は知覚が可能であると考える．また Fig.4(d)より，合成刺激の正答率が音刺激，動作刺激よりも高いことから，感情を知覚する際に視覚は聴覚に影響を及ぼしているといえる．今回，正答率が 60％を超える刺激を，より顕著な感情が表現されている刺激として扱った． 5 タイムストレッチ処理を施した演奏音に対する感情評価実験 (c) 合成刺激に対する正答率 5.1 実験概要ある感情を表現したピアノの演奏音に，異なる感情を表現したピアノの演奏動作を合成した刺激を作成する．その際，異なる演奏データの演奏音と演奏動作を用いて，演奏音と演奏動作の打鍵時刻などの時刻情報を同期させる．よって 4.4 で求めた，より顕著な感情が表現されている音刺激に対して，他の感情が表現された動作刺激に同期させるためのタイムストレッチ処理を実施する．そして感情評価実験により，タイムストレッチ処理前後の音刺激に対して感情変化の有無を調査する．そのため，4.4 のような正答は設けず，被験者の回答により処理後の音刺激の感情を決定する． (d) 刺激パタンごとの正答率 Fig.4 記録した演奏データに対する感情評価実験の結果 5.2 タイムストレッチ処理による実験刺激の作成ピアノ演奏の記録時に MIDI から打鍵時刻が得ることができる．そこで，合成する音刺激における打鍵時刻を，合成する動作刺激に対応した打鍵時刻に変換することで，感情の異なる演奏データから合成映像が作成できる．4.4 における音刺激と動作刺激の結果より用いる刺激は ANG_3，HAP_5，TEN_3，FEA_3， NEU_5，動作刺激は ANG_3，HAP_5，SAD_1， TEN_3，FEA_1，NEU_5 とした．これら音刺激に対して， Table 3 感情評価実験において回答が集中した刺激音刺激とは異なる感情が表現された動作刺激と同期す処理前における音刺激の感情動作刺激の感情処理後における音刺激の感情 ANG ANG ANG HAP HAP SAD SAD FEA FEA FEA NEU NEU HAP TEN NEU ANG SAD HAP TEN HAP SAD NEU ANG HAP HAP SAD ANG NEU SAD HAP SAD HAP SAD FEA TEN HAP るためタイムストレッチ処理を実施した．その結果，タイムストレッチ処理後の音刺激を 30 通り（元感情の音刺激6 通り×打鍵時刻を同期する他の感情5 通り）作成した． 5.3 被験者被験者は本学学生10 名（男性8 名，女性2 名，平均年齢=22.2 歳）を対象に行なった．このうち，6 名が 3 年以上の音楽経験を持つ．なお，被験者の中に記録された演奏データの奏者は含まれていない． 5.4 実験方法被験者に 5.2 にて作成した 30 通りの音刺激を，ランダムに並び替えたプレイリストを用意した．実験環境は 4.3 と同様に，被験者には提示された音刺激に対して主観的に知覚する感情を6 つの感情から 1 つ答えさせた． 5.5 実験結果および考察本実験では，ある音刺激における被験者による一致率が 60％以上集中した感情をその音刺激の感情とした．𝑛を被験者数，𝑐2 を各音刺激に対して最も回答数 (a) ANG_TEN (b) ANG_NEU (c) HAP_ANG (d) SAD_TEN (e) FEA_NEU (f) NEU_ANG が多い感情の回答数とし，一致率 𝑞(𝑛)の算出式を式（２）に示す． 𝑟(𝑛) = 𝑐2 × 100 [%] 𝑛 （２）一致率が 60%以上 1 つの感情に集中した音刺激は 30 通り中12 通りである．感情評価実験において回答が集中した 12 通りの実験結果を Table 3 に示す．またこの 12通りのうち，さらに6通りは動作刺激の感情とタイムストレッチ処理後における音刺激の感情が一致している．これは後の，異なる感情の演奏音と演奏動作を用いた感情評価実験で扱う刺激には適さない（例えば，HAP の音刺激と HAP の動作刺激を合成する場合）．よって本実験の結果による適切な実験刺激は ANG_TEN（タイムストレッチ処理前における音刺激の感情_動作刺激の感情）， ANG_NEU ， HAP_ANG ， SAD_TEN ， FEA_NEU，NEU_ANG の 6 通りとなった．上記 6 通りに対する実験結果を Fig.5 に示す． 6 ピアノ演奏における感情マガーク効果の検証 6.1 実験概要ある感情を表現したピアノの演奏音と，別の感情を表現したピアノの演奏動作から作成される実験刺激を用い，ピアノ演奏における感情マガーク効果の検証を Fig.5 適切な実験刺激における一致率 Table 4 合成刺激とその対応関係音刺激（感情）動作刺激 ANG_TEN（SAD） TEN_3 ANG_NEU（ANG） NEU_5 HAP_ANG（NEU） ANG_3 TEN_3 SAD_TEN（SAD） NEU_5 FEA_NEU（FEA） ANG_3 NEU_ANG（TEN）合成刺激の名称 Synthesis_1 Synthesis_2 Synthesis_3 Synthesis_4 Synthesis_5 Synthesis_6 目的とする．演奏動作は，4.4において感情評価実験よ効果が発生する傾向がどの刺激においてもみられ，そり得られた顕著な感情が表現されている動作刺激を用のうち Synthesis_3，Synthesis_6 において顕著にみられいる．また演奏音は，4.4 において感情評価実験を行た．Synthesis_3 は「無感情」が知覚された音刺激に，ない，より顕著な感情が表現されているとした音刺激に「怒り」が知覚された動作刺激を合成したものであり，対して，5.5 において動作刺激の打鍵時刻に合わせた 30％の一致率で「恐れ」と知覚された．これは動作が激タイムストレッチ処理を実施し，その後感情評価実験をしいとされる「怒り」の演奏に対して，動作を「無感情」行なった音刺激を用いる．これらから作成される合成にすることで発生したと考えられる．また，Synthesis_6 刺激に対して感情評価実験を行なう．は「優しさ」が知覚された音刺激に，「怒り」が知覚され 6.2 実験刺激の作成た動作刺激を合成したものであり，実験刺激6 通りの中実験刺激は 5.5 より得られた 6 通りの音刺激で唯一全感情に回答が分散した．これは Juslin の感情（ANG_TEN，ANG_NEU，HAP_ANG，SAD_TEN，平面上で正反対に位置する「優しさ」と「怒り」を組み合 FEA_NEU，NEU_ANG）と，音刺激に対応する 4.4 でわせたことが関与しているのかもしれない．得られた動作刺激（ANG_3，TEN_3，NEU_5）を合成次に感情平面に着目する．Fig.7(b)，(e)より，「無感情」することで作成した．作成した合成刺激を Table 4 に示が知覚された動作刺激を用いた合成刺激の分布図にす．おいて被験者による回答が「無感情」に集中した．これ 6.3 被験者は演奏動作に対して感情を知覚する場合に「無感情」被験者は本学学生10 名（男性8 名，女性2 名，平均は強い感情を持つと考えられる．同様に Fig.7(d)より，年齢=22.5 歳）を対象に行なった．このうち，4 名が 3 年「悲しみ」は演奏音に対して感情を知覚する場合に強以上の音楽経験を持つ．なお，被験者の中に記録されい感情を持つと考えられる．また Fig.7(c)より，感情マガた演奏データの奏者は含まれていない．ーク効果が発生している傾向がみられる合成刺激 6.4 実験方法 Synthesis_3 に対する回答の分布では，「無感情」と「怒 6.2 にて作成した 6 通りの実験刺激をランダムに並び替えたプレイリストを用意した．実験環境は 4.3 と同様り」を結ぶ点線の付近で第三の知覚とみられる感情が発生している．に，被験者には提示された実験刺激に対して主観的に知覚することができる感情を 6 つの感情から 1 つ答えさせた．なお，被験者には演奏音と演奏動作の両方に着目し答えるように指示した． 6.5 実験結果および考察実験の結果，Synthesis_1～6 に対する一致率を Fig.6(a)～(f)にそれぞれ示す．これらはある感情の音 (a) Synthesis_1 (b) Synthesis_2 (c) Synthesis_3 (d) Synthesis_4 刺激と，異なる感情の動作刺激から作成される合成刺激を視聴したときに知覚される感情の一致率を表す．図中の「audio-ori」はタイムストレッチ処理前における音刺激に知覚された感情，「audio-str」はタイムストレッチ処理後における音刺激に知覚された感情，「motion」は動作刺激に知覚された感情をそれぞれ示している．また，実験刺激ごとの被験者による回答の分布を Juslin の感情平面上に表したものを Fig.7(a)～(f)に示す．図中の黒丸は音刺激の感情であり，矢印の前後でタイムストレッチ処理による感情変化を表す．灰色の丸は動作刺激の感情を表し，点線によりそれらを合成したことを表している．その他記号は被験者による回答を表す． Fig.6 の一致率に着目すると，音刺激の感情でも動作刺激の感情でもない感情が知覚される感情マガーク (e) Synthesis_5 (f) Synthesis_6 Fig.6 合成刺激における一致率 (e) Synthesis_5 (a) Synthesis_1 (f) Synthesis_6 Fig.7 感情平面上における合成刺激に対する回答分布 (b) Synthesis_2 7 まとめと今後の課題感情を表現したピアノ演奏において，視覚と聴覚の相互作用から発生する感情マガーク効果を検証した．ピアノ演奏の記録実験を実施し，記録した演奏データに対して感情評価実験を行なった．その結果から実験刺激を選定し，ある感情の音刺激と，異なる感情の動作刺激から作成される合成刺激を用いて感情評価実験を行なった．実験結果より，合成刺激 6 通り中 1 通りで感情マガーク効果と考えられる現象の発生が確認された．今後は合成刺激における感情の組み合わせの (c) Synthesis_3 増加を目的とし，実験刺激の拡充を行ない感情マガークの検証を進める．また，Juslin の感情平面上での演奏音と演奏動作の関係を検証する．謝辞本研究の一部は，科研費（15H02882）の援助を受けた． (d) Synthesis_4 参考文献 [1]Ohgushi.K. & Hattori.M., “Emotional communication in performance of vocal music”, Proceedings of the Fourth International Conference on Music Perception and Cognition, pp.269-274, 1996 [2]McGurk.H. & MacDonald.J., “Hearing lips and seeing voices.”, Nature 264, pp.746-748,1976 [3]Patrik N.Juslin & John A.Sloboda, “音楽と感情の心理学”，誠信書房，2008