Transcript 視覚と聴覚の相互作用
異系感性相互作用 感覚の感度（感受性）の変化 ある感覚の感度が別の感覚への刺激で変化 通様相性における相互作用 異なる感覚に共通した心理的性質 共感覚 一つの刺激が複数の感覚を生ずる 協合（協応，融合） 複数の感覚が一つの独自の感覚を形成 感覚の感受性（感度）の変化 光に対する感度に及ぼす音の影響 光滲（こうしん） エコーの検知限に対する視覚情報の影響 視覚系の時間分解能に及ぼす音の効果 光に対する感度に及ぼす音の影響 280ミリ秒の光＋音刺激 →音が光の閾値に及ぼす影響 ＋：閾値下降 見やすく 感度上昇 促進 ー：閾値上昇 見えにくく 感度下降 抑制 高音では促進 促進 （閾値下降） 感度上昇 ↑ ↓ 抑制 （閾値上昇） 感度下降 低音では抑制 光に対する感度に及ぼす音の影響 280ミリ秒の光＋音刺激→音が光の閾値に及ぼ す影響 高音では促進作用；3から1kHzあたりが最も効果 が大 1kHzから周波数を下げるに従って促進作用は弱 くなり，やがて，音の影響が現れなくなる（無影 響） さらに周波数を下げると，効果が反転→抑制 （逆転周波数は，500Hzから100Hz） 視野の中心部で は，音呈示の直 後に閾値の変化 がみられ，やがて 効果は減衰 視野が周辺に移 るに従い，音の効 果は，遅れて現 れる （周辺視野40度で は，音提示２秒後 に効果が最大に） 呈示する音が大きいほど，促進，抑制の効果 は増大 左右の耳に音を与えたとき，音は，反対側の 半視野の光覚域に影響 （同側の視野には無影響） 光滲（こうしん） 白地に黒の四角が２ 個：２つの間隔が，狭く なってくると，１つにしか 見えない。 どこまで差が小さくなっ たら１つに融合していま うかという境目＝閾値 光滲（こうしん） 白地に黒の四角が２個：２つの間隔が，狭く なってくると，１つにしか見えない。 どこまで差が小さくなったら１つに融合していま うかという境目＝閾値 2.1kHzの音を聞かせたところ，無音のときより 閾値が小さくなる→音が視力を良くした 黒地に白の四角が２つある条件で同じ実験： 音を聞かせたほうが閾値が大→音が視力が悪く 音は，白く見える部分の 興奮を高める →白の面積が広がるよう に作用 白地に黒の条件では境 目が広がり，小さな差でも よく分かる。 黒地に白の条件では差 が狭まるので，境目が分 かりにくくなる。 音は，白く見える部分の興奮を高める →白の面積が広がるように作用 白地に黒の条件では境目が広がり，小さな差 でもよく分かる。 黒地に白の条件では差が狭まるので，境目 が分かりにくくなる。 白が黒の領域に光がにじみ（滲み）出るという 意味あいで，光滲と呼ばれている。 エコーの検知限に対する視覚情報の影響 ホールなどの空間で音を聞くとき，妨害要素とし て働く「エコー」が，視覚情報によって聞こえにくく なる？ 直接音と同一レベルの単一反射音を用いて，反 射音が直接音と分離してエコーとして聞こえる最 短の遅れ時間 ＝エコー検知限 視聴覚素材：リコーダ演奏，スピーチ 実験結果：映像の方向が直接音と一致し，反 射音の方向と異なる場合，映像の付加により， エコーの検知限が５ミリ秒程度長くなる 視覚情報により，聴覚のエコーに対する感度 が鈍くなり，エコーの存在が分かりにくくなる 視覚系の時間分解能に及ぼす音の効果 視点の上下に発光ダイオードによって光を呈 示し，被験者に光の呈示順序（上下どちらの 光が先に光ったか）を回答する ● VV条件：視覚刺激のみ ○ AVVA条件：光の前後に音 VAAV条件：光の間に音 AVV条件：光の前に音 VVA条件：光の後に音 順番を正しく認識できる時間差（弁別限）は， AVVA条件で最も小さく，VAAV条件で最も大きく なる 音で光を挟むと，視覚の時間分解能が向上し， 短い時間間隔でも光刺激の順序が分かる 間に音が入ると， 時間分解能が低下し，光刺激 の時間差を大きくしないと順番が分からない VV条件，AVV条件，VVA条件で差がない：この 効果が注意喚起によるものではない 通様相性 様相（モダリティ）：１つの感覚の印象を他の感覚 の印象から区別する性質（聴覚，視覚・・・） 通様相（インターモダリティ）：別の感覚間に共通し た 通様相性現象：感覚のある種の心理質が（様相間 に）共通して認められる現象 明るさ：視覚にも聴覚にも共通して存在する 感覚を表現する形容詞 「澄んだ」 「濁った」 「広がりのある」 「柔らかい」 「固い」 「はっきりした」 「ぼんやりした」 視覚と聴覚で，ほとんど重複し，触覚のように他 の感覚と共通するものも 共鳴現象：聴覚による明るさが視覚の明るさを 強調するというように，共通する心理質が同じ 方向に変化する現象 共鳴現象は， 両感覚の明るさが同じ程度で，どこで音がなっ ているのか，どこに明りがあるのかが不確かな 状態で生じやすい 面色（空のよう）＞表面色，音が大＞小 共感覚：１つの刺激が複数の感覚を生じさせる 色聴：音を聴くと色が見えるという現象 音視：色や形を見ると音が聞こえるという現象 ＊何の予備知識もなく，音を聴いて自発的に色 が見えるといった現象。極めて特殊な能力。 ×過去の経験に基づく連想によるもの どんな音を聴いたときどんな色が見えるのかに ついても個人差が大：詳細はよく分かっていない ＊味覚がかかわる場合も 共感覚の特徴（ Cytowic ） 共感覚は不随意的だが，誘発される 共感覚が勝手に起こる。意志の力ではない。 共感覚は投影される 「心の眼」とかではなく，体の外で知覚される 共感覚の知覚は持続的，個別的，総称的である 持続的：共感覚者の感覚の結合が一生続く 個別的：音と色とかの組合せに対し，１か２，３種 類が対応 総称的：共感覚に具体性はない：色，線，渦巻き， 格子 共感覚は記憶に残る 「彼女の名前は緑色だったわ。エセルかヴィヴィ アンか忘れちゃったけど」 共感覚は情動的，認識的である 共感覚者にとって，自分の知覚にゆるぎない確 信を持っている 共感覚は，大脳辺縁系（大脳辺縁系は，旧哺乳 類の脳とも言われ，情動に関与する）の活動に 基づく 共感覚は誰でもが持っている正常な脳機能だが， その働きが意識にのぼる人が一握りしかいない →通常意識にのぼらないプロセスが意識される とき，共感覚が生ずる？ 協合現象 複数の感覚が，単なる寄せ集めとしてではな く，独自の経験を生じる 味：味覚と臭覚が結び付いて生ずると言われ ている（もともと味覚と臭覚は未分化な感覚）。 見た目の美しさや，音も，重要な要素になって いる。 協合現象 マガーク効果 ２重フラッシュ錯覚 音が多義的視覚情報の解釈に及ぼす影響 腹話術効果 日常生活での視覚と聴覚のむすびつき マガーク効果 「バ」という声とあわせて「ガ」と発音をしている人 の映像を見せられると，「ダ」と聴き誤ってしまう 音の情報と唇の動きの情報が融合して，このよう な聞こえ方をする →言葉を聞き取るのに，唇の動きが重要な働き マガーク 効果 音の情報 と唇の動き の情報が 融合して， このような 聞こえ方を する マガーク効果 声：バ＋口：ガ＝聴：ダ 音の情報と唇の動きの情報が融合して，このよう な聞こえ方をする →言葉を聞き取るのに，唇の動きが重要な働き まわりがうるさかったりして言葉が聞き取りにくい 状態では，視覚の影響はかなり大 日本人では，マガーク効果の影響が小 話をするときあまり相手の顔をマジマジと見る習 慣がない →視覚と聴覚の情報を分離して受け取る傾向？ ２重フラッシュ 錯覚 単一の視覚的フ ラッシュに複数の ビープ音が伴うと， あたかも複数の フラッシュが見え たように知覚 視覚と聴覚が結 びつき，１つの現 象として理解 多義的に受け取られる可能性のある視覚情報 に対して，音がその答えを導いてくれる場合も ２つの全く同じ視覚的刺激が左右両端から交差 して運動する 「衝突して反発」or「まっすぐ交差して動く」 両方の可能性（多くの人は，交差を知覚） ２つの視覚刺激が交差する瞬間に短い音がす ると，衝突して反発したように知覚する傾向が高 くなる 多義的運動パターン 「衝突して反発」or「まっすぐ交差して動く」 交差する瞬間に短い音→反発 ＊この現象は，視覚刺激の交差と音が出る時 点が同期しているときに顕著 •日常生活において，目と耳で何かが衝突する という事象を何度も経験し，視覚と聴覚の２つの モダリティ間に連合学習が生じている •連合学習によってこのような現象が生じている 音像の定位に現れる 視覚と聴覚の相互作用 音源と視覚情報の方向に食い違いがあると き，一つの対象として認識するために，音源の 方向を視覚情報よりに認識してしまう 腹話術効果 口を閉ざし，声色を変えて喋ってるだけなのだが， 人形が口をパクパク動かすと，あたかも人形が 喋っているように，人形の口から声が聞こえる （音源と視覚情報の方向に食い違いがあるとき， 一つの対象として認識するために，音源の方向を 視覚情報よりに認識する） 腹話術効果を実証した実験 時間的一致が重要：ずれると視覚の影響が低下 視覚刺激と聴覚刺激の一体感が必要：人形に人 間らしさが必要 目と鼻のあるなしよりも，音と口の動きの同期 Klemmの実験（１９０９） 被験者の左右両側に電話機を置き，一方を被 験者に見せ，もう一方を被験者からは隠す。 隠した方の電話機を鳴らす 見えている側の電話機から音が聞こえる 被験者から，両方の電話機への角度が12度 以内が，見えている電話（鳴っていない）から 音が聞こえる範囲であった。 Pickらの実験（１９６９）：左右11度の方向に配置さ れた音声のみの聴覚像と人物のみの視覚像 Ａ：音声なしで話者の方向（角度） Ｂ：目隠しをして話者の声の方向（角度） Ｃ：話者を見ながら話者の声の方向（角度） Ｄ：音声を聞きながら話者の方向（角度） を判断させた 音声のみ 人物のみ Ａ：音声なしで話者の方向（角度） Ｂ：目隠しをして話者の声の方向（角度） Ｃ：話者を見ながら話者の声の方向（角度） Ｄ：音声を聞きながら話者の方向（角度） 聴覚に対する視覚のバイアス（視覚の影響で音 の方向がずれた量）（Ｂ－Ｃ）／（Ｂ－Ａ）＝ 48％ 視覚に対する聴覚のバイアス（聴覚の影響で人 物の方向がずれた量）（Ａ－Ｄ）／（Ａ－Ｂ）＝１％ 視覚像の影響で聴覚像の方向が明らかに変化している のに対して，視覚像の方向はほとんど聴覚像の影響を 受けていない→視覚優位の傾向 話者が発する 音声と口の動きの一致と タイミングの一致 （藤井ら） タイミングは一致してるが異なる単語を呈示 口の動きと音声が一致している →腹話術効果は，口の動きと音声が一致してい る場合の方が大 音が300ミリ秒遅延させた場合においても 腹話術効果 音と映像の情報が対応 →多少同期がずれても，腹話術効果 音声と発話動作に共通に含まれる時間変化のパ ターンが手がかり？ 300ミリ秒の遅延条件では，ほとんどの被験者は 音と映像が同期していないことを自覚していた。 （それでも，腹話術効果） ＮＨＫの実験：アナウンサーが喋っている映像と音 の左右方向の食い違いがどう知覚されるか？ 映像の支配領域：映像に対して音像が0から10度 程度ずれた範囲は，音は映像に引き寄せられる。 ５度程度音がずれても，アナウンサーから音が聞 こえる。 映像音像競合領域：10から20度にかけては，映 像に引き付けられたり，実際の音像に引き付けら れたりする。判断のばらつきが最も大きい。 音像の独立領域：20度以上では，音像は映像の 影響から開放されて，実際の方向から聞こえる。 映像の影響が大きい領 域では，音が映像に引き 付けられる力は，画面が 大きくなるほど強くなる 上下方向の定位に関 しても，音像は映像に 引かれる 実際の音は動かなく ても，映像が上下す ることによって，同じ 方向に音が上下に 移動して知覚される ことが示されている 音が映像の方向に引き付けら れる影響力は，映像への注目 度によっても変化 喋っている人が同性の場合， あまり影響されないが，異性の 場合には，随分影響力が強い 映像に対する着目度は，まばたき回数により チェック 対象に対して，着目度が強いほど，まばたき の回数が少なくなる。 異性の映像を見ている場合の方が，まばたき 回数が少なかった。 音の定位における視覚優位の傾向 音がどこから聞こえるかという，音像定位に関す る実験では，いずれも，視覚優位 聴覚と視覚が矛盾した情報を受け取ったとき，中 枢系は，１つの事象としてなんとかつじつまをあ わせようとする。 このとき，「視覚が基準系」となりがち 異なる感覚の矛盾する情報を統合しようとする能 力は，かなり，レベルの高い処理 せいぜい，サルぐらいまでの高等動物に限られる。