Transcript 意味的調和

音と映像の調和
に関する研究
岩宮 眞一郎
音と映像の調和
構造的調和
音と映像の時間パターンの一致
意味的調和
音と映像の印象の類似
音と映像の変化パターンの調和
どんな変化パターン間で調和？
音と映像の同期
ミッキーマウシング
映像の動きとリズムの同期
→強調
音と映像のアクセントが一致
1
0.8
0.6
0.4
調 0.2
和 0
度 -0.2 0
-0.4
-0.6
-0.8
-1
30
同期
時間
1
0.8
0.6
0.4
調 0.2
0
和
60 度
-0.2 0
-0.4
-0.6
-0.8
-1
アクセントの
同期⇔非同期
調和感の連続測定
映像周期的
30
60
時間
1
0.8
0.6
0.4
調 0.2
0
和
度 -0.2 0
-0.4
-0.6
-0.8
-1
音周期的
30
時間
60
1
0.8
0.6
0.4
調 0.2
0
和
度 -0.2 0
-0.4
-0.6
-0.8
-1
30
60
同期
1
0.8
0.6
0.4
調 0.2
0
和
度 -0.2 0
-0.4
-0.6
-0.8
-1
60
位相ずれ
時間
時間
アクセントの
同期⇔非同期
調和感の連続測定
30
1
0.8
0.6
0.4
調 0.2
0
和
度 -0.2 0
-0.4
-0.6
-0.8
-1
30
60
同期回数少（１／３）
時間
調和した
S１：同期
Original
S4:非同期
テロップ・パターンと効果音の調和
（オリジナルと入れ替え）
調和した
S1:非同期
S4:同期
Original
テロップ・パターンと効果音の調和
（オリジナルと入れ替え）
• 音楽と映像のアクセントの同期
→ 構造的調和
• 音楽のテンポと映像速度のバランス
→ 意味的調和
映像刺激
視点が移動
視覚的アクセント: 映像のカット切替
聴覚的アクセント: 拍節構造
実験変量：同期、速度、テンポ
→印象評定実験
調和した→
主観的調和感
構造的調和 視聴覚アクセントの同期
意味的調和 視聴覚速度のバランス
1
0
-1
1
2
3
4
5
6
7
8
音楽
遅
遅
遅
遅
速
速
速
速
映像
遅
遅
速
速
遅
遅
速
速
同期
非
同
非
同
同
非
同
非
実験変量→意味的調和（視聴覚の印象の類似）
映像：対象の密度、速度（右→左：１、10秒）
音楽：調性（長調、短調） 、テンポ（６段階）
低密度条件（1-2） 高密度条件（8-10）
低密度、低速度、遅テンポ、短調
高密度、高速度、速テンポ、長調
調和している→
30
20
10
0
-10
-20
-30
60
音と映像
の調和
90
120
180
240
300
テンポ
速い
速い
速い
速い
高密度
高密度
低密度
低密度
長調
短調
長調
短調
音楽と映像の調和
遅い
遅い
遅い
遅い
高密度
高密度
低密度
低密度
長調
短調
長調
短調
同様の効果（印象）を持つ
音楽要素と映像要素の
組み合せが調和感を向上
→意味的調和
色彩と音楽の調和
• 音楽が持つ意味を助長する機能を有する
色彩が音楽と調和する
→意味的調和
調和している→
赤
黄
黄緑
4.00
緑
水色
←調和していない
青
青紫
3.00
紫
音と映像
の調和
2.00
min
min
fast
Maj
Maj
Maj
Maj
Maj
slow
min
色彩と音楽の調和
• 音楽が持つ意味を助長する色彩が
音楽と調和する
→意味的調和
音と映像の調和
構造的調和
音と映像の変化パターンの一致
意味的調和
音と映像の印象の類似
形成過程←連続測定
聴覚アクセント
○
○
○
○
○
同期検知
●
●
構造的調和
●
視覚アクセント
音
処理過程
の違い
聴覚的印象
比較
映像
視覚的印象
意味的調和
←していない 調和 している→
1
構造的調和が形成
0
-1
0
30
60
時間（秒）
同期条件
←していない 調和 している→
1
非同期条件
時間（秒）
0
-1
0
30
60
×構造的調和が形成
短三＋泣き顔
1
0
0
30
60
時間（秒）
-1
90
←していない 調和 している→
←していない 調和 している→
長三＋笑顔
1
0
0
30
60
時間（秒）
-1
明明条件
暗暗条件
意味的調和が形成
90
短三＋笑顔
1
時間（秒）
0
0
30
60
90
←していない 調和 している→
←していない 調和 している→
長三＋泣き顔
1
0
時間（秒）
0
30
-1
-1
明暗条件
明暗条件
×意味的調和が形成
60
90
調和感形成に要する時間
1
調和 している→
同期
短三＋泣き顔
長三＋笑顔
0
０00
10
10
時間（ 秒）
20
20
時間（秒）
構造的調和＜意味的調和
30
聴覚アクセント
○
○
○
○
○
同期検知
●
●
構造的調和
●
視覚アクセント
音
処理過程
の違い
聴覚的印象
比較
映像
短時間で形成
視覚的印象
意味的調和
より長い時間
が必要
音と映像の調和
映像作品での時々刻々の状況？
（調和感の変化）
制作者の意図は？
→調和感の連続測定
累積的
に上昇
高い
↑
調和
感
↓
低い
制作者は
意図して
調和を形成
時間→
オリジナルM1P1＞入れ替えM2P1
音と映像の調和度（連続測定）
１ 威風堂々（エルガー）
２ 禿げ山の一夜（ムソルグスキー）
累積的
に上昇
高い
↑
調和
感
↓
低い
制作者は
意図して
調和を形成
時間→
オリジナルM2P2＞入れ替えM1P2
音と映像の調和度（連続測定）
１ 威風堂々（エルガー）
２ 禿げ山の一夜（ムソルグスキー）
調和している→
←調和していない
1
前から
M2P2
後半
0
-81
前から
0
時間（秒）
79
呈示直後の調和度は低いが，その後上昇
-1
調和感 呈示直後＜ある程度の時間経過後
禿げ山の一夜（ムソルグスキー）
160
黒澤明 音と画の対位法 野良犬
黒澤監督は「劇と音楽の対位法的な処理」と
呼んでいた。後に評論家の西村雄一郎がこ
の手法のことを「音と画の対位法」と称してそ
の効果を論じている。
西村雄一郎, 黒澤明 音と映像 (立風書房, 東
京, 1998),
「黒澤監督は，音と画の対位法によって，映
像または音だけではできない，また，映像と
音楽が調和しているだけでもできない，新た
な心理空間を映像作品に創造した」
黒澤明
音と画の
対位法
野良犬
の
調和度
(AV)
1
調
和
度
対位法
対位法
0.5
0
0
-0.5
-1
100
200
時間→
300
400
黒澤明
音と画の
対位法
野良犬
の
調和度
を逆転
（AV’)
1
調0.5 対位法
和0 0
-0.5
度
-1
時間→
100
200
300
400
良さ（総合的な評価）
平
均
評
定
値
6
5 まとまりはないが，複雑で，面白い
4
3
2
1
オリジナル
0
AV
A'V
AV-high AV-low
6
良さ（総合的な評価）
対位法を成立させる要因
平
均
評
定
値
音源あり
3
音源無し
オリジナル
0
AV
A‘V
AV-high AV-low