Transcript 意味的調和

音と映像の相互作用
に関する研究２
系統的研究
岩宮 眞一郎
音楽要素が映像作品の印象に与える影響
同一の視覚条件に聴覚条件を系統的に変化
視覚刺激：スノーマン、聴覚刺激：アバロン
伴奏パターン：クラシック、ジャズ、ロック
テンポ： 100, 150, 200 bpm
調性：長調、短調
→印象評定実験
明暗、力動感、空間性
聴覚→視覚（共鳴現象）
clasMaj150
陽気な
明暗
悲しい
明暗：調性（＋伴奏）
白熱した
力動感
淡々とした
陽気な
明暗
悲しい
力動感：テンポ（＋伴奏）
白熱した
力動感
淡々とした
白熱した
力動感
淡々とした
空間性：伴奏（＋調性）
拡がりの
ある
空間性
拡がりの
ない
映像の印象と音楽の印象の
対応関係（相関係数）
空間性 0.91 ←拡がりのある 拡がりのない→
力動性 0.76 ←淡々とした
白熱した→
明暗 0.86 ←陽気な
悲しい→
統計的に有意（危険率0.0001以下）
音楽の印象→映像作品の印象
音が
場面の状況，登場人物の
心情を語る
スタッカート，レガート表現（＋テンポ）が
映像素材の印象に及ぼす影響
１音の長さを，
１／４（スタッカート），５／４（レガート）
（４分音符の長さを７１０ｍｓとして）
←軽やか　重々しい→
80bpm(中国)
160bpm(中国)
80bpm(かば)
160bpm(かば)
1.5
1
0.5
0
-0.5
-1
-1.5
gt1/4
1音の長さ
スタッカート
gt1
gt5/4
レガート
音
印象
物語
解釈
映像
音は笑いを強調する
音のユーモラス効果
黄緑
緑
黄
水色
色彩が音楽の印象
に及ぼす影響
視覚→聴覚
赤
紫
青
青紫
黄緑
緑
黄
水色
Ｍ１
Ｍ２
Ｍ３
Ｍ４
Ｍ５
Ｍ６
Ｍ７
Ｍ８
赤
紫
革命
ハンガリー舞曲第１番
黒鍵
ピアノソナタ
ミスティ
スカイラーク
亡き王女のためのパバーヌ
グノシェンヌ第１番
青
青紫
迫力のある→
赤
2.0
Musical factor score of potency
黄
黄緑
1.0
緑
水色
青
0.0
←迫力のない
青紫
紫
-1.0
-2.0
min
min
fast
Maj
Maj
Maj
Maj
Maj
slow
min
迫力
色彩連想
色彩から想起される様々なイメージ.
赤→血、口紅
情熱、興奮、
激しい
→迫力感を増大
明るい→
赤
黄：明朗
快活
2.0
黄緑
緑：さわやか
若さ
1.0
平和
水色
0.0
青：静寂
←暗い
冷たい
悲しみ
-1.0
青紫
紫
min
min
fast
Maj
Maj
Maj
Maj
slow
Maj
min
明暗
情緒ある→
赤
2.0
黄
黄緑
緑
1.0
水色
青
青紫
←情緒のない
0.0
紫：高尚
優雅
-1.0
min
min
fast
Maj
Maj
Maj
Maj
slow
Maj
min
情緒
音と映像の調和
構造的調和
音と映像の時間パターンの一致
意味的調和
音と映像の印象の類似
音と映像の変化パターンの調和
どんな変化パターン間で調和？
音と映像の同期
ミッキーマウシング
映像の動き
とリズム
の同期
→強調
音と映像の
アクセン
トが一致
調和した
S１：同期
Original
S4:非同期
テロップ・パターンと効果音の調和
（オリジナルと入れ替え）
調和した
S1:非同期
S4:同期
Original
テロップ・パターンと効果音の調和
（オリジナルと入れ替え）
実験の目的
• 音楽と映像のアクセントの同期
→ 構造的調和
• 音楽のテンポと映像速度のバランス
→ 意味的調和
映像刺激
視点が移動
視覚的アクセント: 映像のカット切替
聴覚的アクセント: 拍節構造
実験変量：同期、速度、テンポ
→印象評定実験
調和した→
主観的調和感
構造的調和 視聴覚アクセントの同期
意味的調和 視聴覚速度のバランス
1
0
-1
1
2
3
4
5
6
7
8
音楽
遅
遅
遅
遅
速
速
速
速
映像
遅
遅
速
速
遅
遅
速
速
同期
非
同
非
同
同
非
同
非
実験変量→意味的調和（視聴覚の印象の類似）
映像：対象の密度、速度（右→左：１、10秒）
音楽：調性（長調、短調） 、テンポ（６段階）
低密度条件（1-2） 高密度条件（8-10）
低密度、低速度、遅テンポ、短調
高密度、高速度、速テンポ、長調
調和している→
30
20
10
0
-10
-20
-30
60
音と映像
の調和
90
120
180
240
300
テンポ
速い
速い
速い
速い
高密度
高密度
低密度
低密度
長調
短調
長調
短調
音楽と映像の調和
遅い
遅い
遅い
遅い
高密度
高密度
低密度
低密度
長調
短調
長調
短調
同様の効果（印象）を持つ
音楽要素と映像要素の
組み合せが調和感を向上
→意味的調和
色彩と音楽の調和
• 音楽が持つ意味を助長する機能を有する
色彩が音楽と調和する
→意味的調和
調和している→
赤
黄
黄緑
4.00
緑
水色
←調和していない
青
青紫
3.00
紫
音と映像
の調和
2.00
min
min
fast
Maj
Maj
Maj
Maj
Maj
slow
min
音と映像の調和
構造的調和
:視聴覚アクセントの同期
意味的調和
：視聴覚の印象の類似
＋変化パターンの調和
：視聴覚の変化パターン間の調和
（成立する条件？）
各種の切り替えパターン 緑→青
上昇
音高の変化パターン
下降
上昇
調和感→
5
4
下降
3
切り替えパターンと効果音の調和
上昇と拡大、下降と縮小
→変化パターンの調和
ドップラー効果イリュージョンの連想
○ドップラー効果：音を発生する物体が近づ
いてくるとき周波数が上昇（ただし一定）
○ところが，近接する物体から高さが上昇す
る様子が感じられる
上昇と右方向、下降と左方向
→変化パターンの調和
エネルギーレベルの連想
○音高の上昇→エネルギーレベルの上昇
○右方向の運動→エネルギーレベルの上昇
（ボリュームなど）
6
調和している→
5
上昇
4
3
2
1
0
下降
↑映像の変化方向↓
映像作品における
視聴覚コミュニケーション
• 視聴覚の処理レベルに応じた相互作用
感覚の感受性の変化、共鳴現象、協合
• 音と映像の調和
構造的調和
意味的調和
変化パターンの一致