Transcript (15)の映像+

印象評定実験に基づく
音と映像の相互作用
に関する研究
映像作品を用いた印象評定実験
１．音楽の印象評定実験（音楽のみ）
２．映像の印象評定実験（映像のみ）
３．音楽の印象評定実験（音楽＋映像）
４．映像の印象評定実験（音楽＋映像）
↓
音と映像の相互作用
［オリジナル素材］
(1)Earth, Wind & Fire/Let‘s Groove
(2)Simon and Garfunkel/The Boxer
(3)Michael Jackson/Thriller
(4)Madonna/La Isla Bonita
(5)Jimmy Cliff/The Harder They Come
(6)久保田 利伸/Missing
(7)小比類巻 かほる/On the Loose
(8)矢野 顕子/きょうのわたくし
(9)David Sanborn/Straight to the Heart
(10)Miles Davis/One Phone Call
(11)Horowitz/Chopin:Polonaise in A Flat
(12)Bernstein/Beethoven:Symphonie Nr.9
(13)スペイン幻想Ⅱ/鳥の歌
(14)Windham Hill/Piece of Mind
(15)京都 秋・冬/六声のリチェルカーレ
(16)Max Almy/Perfect Leader
(17)一滴の水滴の中の宇宙
(18)Rolling in the Sky/サラの犯罪
(19)The Snowmanより「家路」
(20)AKIRA/芸能山城組：眠れ
［組合せ素材］
(21) (14)の映像+(15)の音
(22) (13)の映像+(18)の音
(23) (14)の映像+(16)の音
(24) (13)の映像+(19)の音
(25) (15)の映像+(6)の音
(26) (16)の映像+(2)の音
(27) (15)の映像+(5)の音
(28) (16)の映像+(4)の音
(29) (17)の映像+(11)の音
(30) (18)の映像+(14)の音
(31) (17)の映像+(20)の音
(32) (18)の映像+(10)の音
(33) (19)の映像+(3)の音
(34) (20)の映像+(13)の音
(35) (19)の映像+(9)の音
(36) (20)の映像+(1)の音
(37) (8)の同期ずらし
(38) (12)の同期ずらし
(39) (7)の同期ずらし
(40) (2)の同期ずらし
印象評定実験（ＳＤ法）
１．音楽の印象評定実験（音楽のみ）
２．映像の印象評定実験（映像のみ）
３．音楽の印象評定実験（音楽＋映像）
音と映像の調和度
４．映像の印象評定実験（音楽＋映像）
音と映像の調和度
楽しい｜－－｜－－｜－－｜－－｜－－｜－－｜つまらない
１
２
３
４
５
６
７
音と映像の調和度 平均（標準偏差）
［オリジナル素材］
6.1(1.1)［組合せ素材］
(1)Earth, Wind & Fire
6.6(0.6) (21) (14)の映像+(15)の音
(2)Simon and Garfunkel
6.6(0.7) (22) (13)の映像+(18)の音
(3)Michael Jackson
6.5(0.6) (23) (14)の映像+(16)の音
(4)Madonna
6.7(0.4) (24) (13)の映像+(19)の音
(5)Jimmy Cliff
6.7(0.4) (25) (15)の映像+(6)の音
(6)久保田利伸
6.4(0.8) (26) (16)の映像+(2)の音
(7)小比類巻かほる
6.4(0.8) (27) (15)の映像+(5)の音
(8)矢野顕子
6.4(0.8) (28) (16)の映像+(4)の音
(9)David Sanborn
6.3(0.7) (29) (17)の映像+(11)の音
(10)Miles Davis
6.7(0.5) (30) (18)の映像+(14)の音
(11)Horowitz
6.6(0.5) (31) (17)の映像+(20)の音
(12)Bernstein
6.3(0.7) (32) (18)の映像+(10)の音
(13)スペイン幻想Ⅱ
5.2(1.3) (33) (19)の映像+(3)の音
(14)Windham Hill
5.7(1.0) (34) (20)の映像+(13)の音
(15)京都 秋・冬
5.8(0.6) (35) (19)の映像+(9)の音
(16)Max Almy
5.8(1.0) (36) (20)の映像+(1)の音
(17)一滴の水滴の中の宇宙 4.7(1.3) (37) (8)の同期ずらし
(18)Rolling in the Sky
4.9(1.1) (38) (12)の同期ずらし
(19)The Snowman
6.3(0.7) (39) (7)の同期ずらし
(20)AKIRA
5.3(1.0) (40) (2)の同期ずらし
3.9(2.0)
5.2(1.3)
4.4(1.5)
1.3(0.4)
5.4(0.8)
3.1(1.6)
1.6(1.1)
1.2(0.4)
2.3(1.4)
4.3(1.9)
4.0(1.2)
4.2(1.5)
4.8(1.1)
3.0(2.0)
4.4(1.5)
3.8(1.5)
2.2(1.1)
5.7(0.9)
5.9(0.9)
5.7(1.1)
5.9(0.5)
映像の
印象
単独呈示から両方呈示への
映像の印象の変化＝相互作用
両方提示
音楽の印象の変化
単独提示
音楽の印象
明るい音が
視覚的「明るさ」
を強調
共鳴 視聴覚に
共通する心理質
(通様相性)が同
じ方向に変化す
る現象
明暗因子におい
ては音と映像の
調和と関わりなく
共鳴現象が生起
引き締ま
り因子に
おいては
音と映像
の調和が
ないと共
鳴現象が
生じない
音と映像の調和
視聴覚情報の統合過程
評価
評価
協合
引締
引締
通様相性
美的
明
聴
共鳴
美的
明
暗
覚
視
感覚の感受性の
変化
覚
暗
協合 音と映像
が一体となって
両者の効果を高
め合う
組合せ素材では
協合は生じない
↓
音と映像の調和
音と映像の調和
視聴覚情報の統合過程
評価
評価
協合
引締
美的
明
聴
通様相性
共鳴
引締
美的
明
暗
覚
視
暗
覚
感覚の感受性の
変化？ ←品質の異なる再生系
帯域制限フィルタの特性
帯域制限
によって
貧弱な音
↓
音質劣化
音質補償
↑
映像
によって
豊かな音
音だけ提示したときと、音と映像を同時に提示したときの
音楽再生音の印象の差
帯域制限に
よる音質劣化
豊かに
視覚情報に
よる音質補償
貧弱に
感覚の感受性の変化に表れる相互作用
音と映像の調和
視聴覚情報の統合過程
評価
評価
協合
引締
美的
明
聴
引締
通様相性
共鳴
美的
明
暗
覚
視
感覚の感受性の
変化
覚
暗
音と映像の調和
映像作品での時々刻々の状況？
（調和感の変化）
制作者の意図は？
→調和感の連続測定
累積的
高い
↑
調和
感
↓
低い
時間→
オリジナルM1P1＞入れ替えM2P1
音と映像の調和度（連続測定）
１ 威風堂々（エルガー）
２ 禿げ山の一夜（ムソルグスキー）
累積的
高い
↑
調和
感
↓
低い
時間→
オリジナルM2P2＞入れ替えM1P2
音と映像の調和度（連続測定）
１ 威風堂々（エルガー）
２ 禿げ山の一夜（ムソルグスキー）
調和している→
←調和していない
1
前から
M2P2
後半
0
-81
前から
0
時間（秒）
79
呈示直後の調和度は低いが，その後上昇
-1
調和感 呈示直後＜ある程度の時間経過後
禿げ山の一夜（ムソルグスキー）
160