計画研究班【Ａ０１】

　人＝人インタラクションにおいて，人がどのような状況でどのような他者モデルをもち，それにしたがってどのようにインタラクションを行っているのか，またインタラクション中に他者モデルがどのように学習，変更されるのかを，特に成人間のインタラクションに絞って認知科学的に分析する．その際，人＝人インタラクションの根幹となっている記号的側面ばかりでなく，非言語的側面にも焦点を当てる．

　この目的のために，総括班と協力して，発話時の複数話者のジェスチャなどの動作と顔方向を計測・分析するための，Kinectを用いた三次元会話計測システムを開発する．さらに，発話に含まれる韻律特徴を分析するためのツールをそれに組み込み，インタラクション時の会話計測のための技術的基盤を確立する．その上で，(1)対面販売や交渉場面における，インタラクション時の非言語情報から対話相手の意図推定を可能にする他者モデルの分析，(2)非母語コミュニケーションを対象とした訛りに起因するミス・コミュニケーションの分析と訛りに対する選好度の自動計測，(3)視線・顔方向や相対的な位置関係からの，発話者同士の関係性の分析を実施する．

これまでの主要な研究成果 概要

研究1：コミュニケーション場の成立に関わる他者の情動状態推定の過程に関する研究 （竹内勇剛）

　この研究では，相手に対する情動的な内部状態に基づく主体間の距離と位置関係の動的な変化を伴う原初的なインタラクションに注目し，各主体のコミュニケーション場の成立欲求を推定するための認知モデルを構築する．平成26年度には，そのための，インタラクションの主体の視覚的情報（外見），言語や身ぶり，ポスチャー等のシンボリックな情報を排除し，可能な限りミニマムなインタラクションを行える実験環境（下図を参照）を構築し，データの計測方法を確立した．さらに平成27年度には，構築した実験環境を用いて，関係性が構築されていない2者が他者を互いに有意味な存在として認知し合うのに必要なインタラクション過程を明らかにするための実験を実施した．その結果，コミュニケーション欲求が高い人物は，相手の振る舞いに対して同期的に行動することで，自分がコミュニケーション可能な存在であることを意図的に表示するのに対して，欲求が低い人物は，追従的に行動することで，相手が自分に関心を有しているのかどうかを検証している可能性が示唆された．この成果により，相手をどのような存在（友好的／敵対的）と捉えるかという，コミュニケーションにとって原初的な，コミュニケーション場の成立に関わる他者の情動状態推定過程の一端が明らかにできた．

研究2-1：対面販売状況における顧客の意図推定を可能にする他者モデルの分析 （植田一博・大本義正）

　この研究では，旅行代理店の店員が客の要望を聞き出してプランを提案する際の対話を分析し，客の潜在的な欲求や意図の推定を可能にしている店員側の他者モデルを解明する．平成26年度には，このようなデータ取得が可能な環境（店員と客役がテーブルを挟んで向かい合って座り， 両者の姿勢と顔方向計測ならびに韻律計測が可能な環境）およびそのための計測ツールを構築し，簡単な予備実験を行った．また，実際の店員と客の対話を分析対象とするために複数の企業と交渉し，共同研究相手となる旅行代理店（株式会社JTB総合研究所ならびに株式会社ジェイティービー）を決定した．平成27年度には，共同研究相手の旅行代理店から店員と顧客を派遣してもらい，旅行代理店の顧客が店員に対面で旅行相談を行うというできるだけ現実場面に近い状況での実験を実施し（実験風景を下図に示す），顧客の表出するどのような非言語情報からその顧客の潜在的な欲求を推定できるのかを分析した．具体的には，顧客の非言語行動と旅行プランに対する顧客の選好との関係を回帰分析により調べた．その結果，体勢や頷きから顧客の内的状態（選好）が首尾よく推定でき，またこのような非言語行動は店員の言語行動から引き出されやすいことが明らかになり，顧客の選好形成プロセスにおける言語・非言語行動の影響を明らかにできた．

研究2-2：非母語コミュニケーションを対象とした訛りに起因するミス・コミュニケーションの分析と訛りに対する嫌悪度の自動計測 （峯松信明）

　この研究では，非母語コミュニケーションを対象とした訛りに起因するミス・コミュニケーションを分析し，その結果を利用して，母語話者と非母語話者間のコミュニケーションにおける話者の訛りに対する嫌悪度を自動計測し，コミュニケーションギャップが生じているかどうかを検出する手法を確立する．これまでの2年間は，非母語コミュニケーションを対象とした訛りに起因するミス・コミュニケーションの分析に焦点を当てて研究を進めてきた．平成26年度には，まず，日本人と遭遇したことがない米国人150名を対象にした大規模な日本人英語書き取り実験結果を用いて，どのような発音をすると聞き取ってもらえないのかについて分析を行った．さらに，日本人が英語を読み上げる（話す）場合に，どの部分が聞き取り難くなってしまうのかを自動予測する技術を開発した．平成27年度には，聞き取りやすい日本語を話すための韻律指導法に基づき，任意の日本語文を共通語として読み上げる場合に必要な韻律制御を分かり易く可視化し，合成音声を提供するシステムを構築した（下図）．システム利用による発声の自然性向上を，80名の中国人学習者を対象に実験的に確認した．また，世界各地で様々な訛りと共に使われている世界諸英語の話者を単位としたクラスタリングを目標に，雑音耐性の向上と予測すべき対象となる参照発音距離の計算方法の精度向上を実現した．

※本研究の最新情報・講習会情報は，facebookページでもご確認いただけます．

【公募研究】

1.     直感的デバイスを用いたコミュニケーション・システムの設計と理論（池上・C01公募班飯塚）

　仮想空間内での触覚を使ったコミュニケーション（触覚交差実験）において，どの触覚刺激が相手のものであるかの主観的な「気づき」の強さと，時系列解析から客観的に判別できる受動的・能動的知覚とを関係づけることができた．

2.     肝腫瘍切除手術における3D印刷された肝臓モデルの利用に関する検討（三輪）

　　　人命に関わる高難度外科手術の現場で利用される3D印刷された人体臓器モデルが，医師個人，および医師間の認知的活動に与える影響について検討を行った（下図）．本研究は，人類の道具史上に出現した新たな人工物が，高度エキスパート間のインタラクションをどのように変化させるかを明らかにしようとする，挑戦的取り組みである．

これまでに発表された研究業績については，こちらをご覧ください．

Last update: 2016/09/19