Transcript 音と映像の相互作用3

音と映像の変化パターン
の調和がもたらす効果
岩宮 眞一郎
音と映像の調和
構造的調和
:視聴覚アクセントの同期
意味的調和
：視聴覚の印象の類似
＋変化パターンの調和
：視聴覚の変化パターン間の調和
（成立する条件？）
映像の切り替えパターン
と効果音の調和
6
調和している→
5
上昇
4
3
2
1
0
下降
↑映像の変化方向↓
各種の切り替えパターン 緑→青
上昇
音高の変化パターン
下降
上昇
調和感→
5
4
下降
3
切り替えパターンと効果音の調和
上昇と拡大、下降と縮小
→変化パターンの調和
ドップラー効果イリュージョンの連想
○ドップラー効果：音を発生する物体が近づ
いてくるとき周波数が上昇（ただし一定）
○ところが，近接する物体から高さが上昇す
る様子が感じられる
上昇
調和感→
5
4
下降
3
切り替えパターンと効果音の調和
上昇と右方向、下降と左方向
→変化パターンの調和
エネルギーレベルの連想
○音高の上昇→エネルギーレベルの上昇
○右方向の運動→エネルギーレベルの上昇
（ボリュームなど）
斜め方向の切り替えパターン
音高の
上昇パターン 下降パターン
斜め方向＝垂直方向＋水平方向
平均調和度
1.5
1
0.5
0
-0.5
-1
斜め方向の切り替えパターンに対しては，
垂直方向の変化と調和する音高パターン
が調和する
回転する切り替わり映像と音に対する調和感
上下左右からの切り替え
上昇，下降，上下，下上の音高変化
切り替わり
開始位置
垂直方向変化の一致（特に前半）
低← 調和感の評定値 →高
5
4.5
4
上
右
下
左
3.5
3
2.5
2
1.5
1
0.5
0
回転による切り替えパターン
垂直方向の変化と調和する
音高パターンが調和する
上昇
下降
上下
音
下上
回転する運動の映像について，
映像と音との周期のずれによる影響について
上下方向の一致を基礎に
6
低←
調和感
→高
5
4
時計回り
3
反時計回
り
2
1
0
1.2
1.15
1.1
1.05
1.025
1
0.975
0.95
0.9
0.85
音先行← 音（映像との周期の比） →音後行
映像と音高の上下方向の同期した一致
多少音高の変化が遅れても影響少
0.8
←
面
白
い
→
面
白
く
な
い
0,5
0,0
起点
-0,5
0.5
1
1.5
2
笑いの起点からの遅れ時間（秒）→
「オチ」としての音楽の挿入位置と面白さの関係
少し「間」があった方が面白い
映像作品における
視聴覚コミュニケーション
• 視聴覚の処理レベルに応じた相互作用
感覚の感受性の変化、共鳴現象、協合
• 音と映像の調和
構造的調和
意味的調和
変化パターンの一致