背景と目的

本研究の目的は、非接触で機械計測された非言語情報を利用して、比較的自由度の高いコミュニケーション(以下、高自由度コミュニケーション)中に現れる嘘を自動判別するシステムを作成するための手がかりを得ることである。

企業の内部監査や犯罪の初期捜査など様々な調査をする上で、人間に話を聞くことは有用であることが多い。たとえば、近年頻発している企業の不祥事を防ぐためにコンプライアンスの必要性が叫ばれているが、コンプライアンス違反を検知するためには、人間に対する聞き取り調査が不可欠である。しかしながら、このような調査では、嘘による事実の隠蔽・歪曲によって調査の手を逃れようとする試みが、往々にして行われる。

嘘を検知する方法は古くから研究されてきているが、犯罪捜査のような状況を想定し、統制された環境での嘘を対象にしているため、統制した質問に答えてもらったり、調査対象者に様々なセンサーをつけたりすることが可能である。人間に対する調査では、相手を疑っていることがわからないように雑談に見せかけた高自由度コミュニケーションを通じた調査が行われることが多く、嘘を検知するために先行研究のようなことをするわけにはいかないという困難がある。こうした調査で人間が嘘を検知することは難しいため、高自由度コミュニケーション中に現れる嘘を、機械的に自動判別する手法が望まれている。

統制された環境の嘘を判別する場合とは異なり、高自由度コミュニケーション中の嘘を判別するには、1)内容が自由で自発的な発話が許される、2)嘘をうまくつくために相手の知識などを考慮する必要がある、3)お互いにだまし合う可能性がある、4)嘘をつく人の置かれている状況が変化する、といった特徴を考慮する必要がある。このような特徴によって、嘘の判別がさらに困難になること、また、嘘をつく際に表出される非言語情報が変化すること、などが予想される。これらの特徴を持つ高自由度コミュニケーション中の嘘を判別する研究は、先行研究では行われていない。

本研究では、高自由度コミュニケーション中に嘘を見破らなくてはならない状況を想定し、このような状況での嘘を、非接触で機械計測された非言語情報を利用して判別できるか否か、また、その方法が有用であるか否かを実験的に検討した。具体的に行ったのは、以下の2つである。

1)高自由度コミュニケーションの中で嘘をつくことができる環境を設定し、非接触計測された非言語情報を利用して嘘を判別できることを示す実験を行った。

これによって、非接触計測された非言語情報を利用して、高自由度コミュニケーション中の嘘を、機械的に判別できるか否かを検討した。

2)1)の実験の様子を記録したビデオを人間に見せて、ビデオの中の発話が、a)嘘か嘘ではないか、b)発話を判別する際に注目した非言語情報は何か、といったことをアンケートで調査する実験を行った。

これによって、人間が高自由度コミュニケーション中の嘘をどの程度判別できるのかを確かめ、1)の方法の有用性について検討した。

非言語情報による嘘の判別(実験1)

実験概要

コミュニケーションの中で繰り返し嘘をついてもらうために、実験にはインディアンポーカーを改変して利用した。インディアンポーカー中に現れる嘘は、本研究で対象とする嘘の特徴を良く表している。このゲームの参加者が表出する非言語情報を計測し、それを利用して嘘を判別できるかどうかを検討した。

計測する非言語情報は、先行研究の知見と予備実験から、視線、韻律、表情(作り笑い)を選んだ。注目した非言語情報を、コミュニケーションを阻害せずに計測できるシステムが容易には入手できなかったため、計測システムを自作した。自作した計測システムは、ある程度の精度と簡便性を両立させた上で、顔特徴と視線の同時計測を行うことができる点が、既存の同様のシステムに比べて優れていた。

1回の実験には、互いに知り合いの学生2人と実験者の3人が参加した。実験者が参加した理由は、円滑なゲーム進行のためであり、また、嘘を見破る能力が高いと考えられる人が参加することで、参加者に嘘を見破られる不安や緊張をもってもらうためである。1ヶ月程度の間隔を開けて、同一の実験参加者に対して2回の実験を行った。実験に参加した23組(男性13組、女性10組)のうち、18人(男性9人女性9人)に対して分析を行った。それ以外の参加者は、嘘をつかなかったり、非言語情報を計測できなかったりしたので、分析から除外した。

実験の結果と考察

計測した非言語情報を独立変数、「嘘の発話」か「嘘以外の発話」かを従属変数として、判別分析を行った。

全体の発話に対して判別分析を行った結果、平均で70%近く判別でき、クロスバリデーションの結果もほとんど変わらない判別関数が存在することが確認できた。先行研究の自動判別システムでは、高自由度コミュニケーション中の嘘を扱っておらず、どの発話が嘘かを判別できない上、クロスバリデーションの値も低い結果しか得られていなかった。また、統制された環境の発話を、訓練された人間でも70%程度しか正しく判別できないという知見がある。これらのことから、非接触計測された非言語情報を利用して、高自由度コミュニケーション中の嘘を十分に高い判別率で機械的に判別できることが示唆された。また、先行研究で役に立たないといわれていた「発話相手から目をそらす」という行動が、嘘の判別に役立った。このことから、高自由度コミュニケーション中に嘘をつく時に表出される非言語情報は、統制された環境で嘘をつく場合とは異なっていることが確認された。

個人ごとの発話に対して判別分析を行った結果、判別率は70~85%程度まで改善した。判別関数に利用されていた変数は、個人ごとに異なる組み合わせだった。また、実験ごとの発話に対して判別分析を行ったところ、同様の結果が得られた。このことから、注目すべき非言語情報は、個人ごと、状況ごとに異なり、同一人物であっても変化することが示唆された。

個人ごとの発話について、視線と韻律の変数だけで別々に判別分析を行ったところ、嘘と嘘以外の発話の判別率が両方とも高い判別関数は、36例中4例しか見つからなかった。このことから、嘘を判別するには、視線と韻律のように、異なる非言語情報を複数利用することが望ましいことが示唆された。

以上から、高自由度コミュニケーション中の嘘は、先行研究で対象とされていた嘘とは異なる特徴を持つことが確認され、そのような嘘であっても、非接触計測された複数の非言語情報を利用することで、機械的に判別できることが示唆された。

人間による嘘の判別(実験2)

実験概要

実験1のビデオ(男女1組ずつ)を実験2の参加者に見せ、ビデオ中の指定した発話が、a)嘘か嘘ではないか、b)判断する時に注目した非言語情報は何か、についてアンケートを回答してもらう実験を行った。

実験ではビデオを最初から順に見せ、判断させる発話を通り過ぎた直後に一度ビデオを止めて、アンケートに回答させた。ビデオは一度しか再生されなかった。回答させた発話は、男性39個、女性41個の計80個であった。

この実験を、a)嘘の判別の訓練をしていない第三者、b)職業上、嘘の判別に慣れている人、c)ビデオに登場した人の友人・知人、の3群に対して行った。a群の実験参加者は、ビデオのみで判別する群(a-1群)と、計測された非言語情報のデータおよび判別に役立つ非言語情報を提示する群(a-2群)に分けられた。実験参加者は、a-1群が9名(男性3名、女性6名)、a-2群が9名(男性3名、女性6名)、b群が5名(男性4名、女性1名)、c群が2名(共に男性)であった。

実験参加者に男性と女性で偏りがあるが、先行研究によれば、男女の間で嘘の判別能力に違いはないとされているため、特に問題はないと考えられる。

実験の結果と考察

実験の結果、発話の判別率の平均は、a-1群で42%、b群で50%、c群で50%であった。先行研究では、訓練されていない人の判別率は54%程度と報告されている。これらのことから、統制された環境の嘘よりも、高自由度コミュニケーション中の嘘の方が判別が難しいことが示唆された。さらに、実験1の判別結果よりも低い判別率であることから、機械的な判別システムが有用なことも示された。

a-2群は、平均で53%の判別率を示し、a-1群と比較して有意に高かった。このことから、人間に計測データとデータの見方を簡単に示すことで判別率が改善することが示唆された。また、他の群と異なり、b群は発話を判別する際に発言内容を重点的に注目していた。これらのことから、非言語情報を利用した嘘の判別システムは、人間の能力と相互に補完しあい有効に働く可能性が示唆された。

以上より、非言語情報を利用した嘘の自動判別システムは、訓練されていない人にとっても、嘘の判別に慣れている人にとっても、有用なことが示唆された。

結論

本研究は、先行研究と比較して、以下の4点で独創性があると考えられる。

1)先行研究において対象とされてこなかった、高自由度コミュニケーション中に現れる嘘を対象とし、それを実験的に検討する実験環境と方法を提案した。

2)高自由度コミュニケーション中の嘘は、人間にとって判別が困難であり、統制された環境での嘘とは異なる非言語情報の表出を伴う、といった特徴を持つことを確認した。

3)判別が困難な高自由度コミュニケーション中の嘘を、非接触計測された複数の非言語情報を利用することで、訓練されていない人のみならず、嘘の判別に慣れている人よりも高い判別率で判別できることを示した。

4)非言語情報による嘘の判別システムがサポートすることで、先行研究で難しいとされていた人間の判別能力の向上を、簡便に達成できる可能性を示した。

以上のことから、非接触計測された非言語情報を利用して、高自由度コミュニケーション中の嘘を判別する方法と、その有用性を実験的に検討し、嘘を自動判別できるシステムを作成するための手がかりを得ることができたといえる。

本研究の成果は、たとえば、テレビ会議を用いた遠隔地からコンプライアンス調査を行う場合の補助などに利用できると考えられる。非言語情報の計測や分析の自動化や運用の問題、本提案手法のドメイン依存性に関する調査など、実際に自動判別システムを作成するには解決すべき点も多い。これらについてはこれからの研究課題であるが、本研究の知見は、高自由度コミュニケーション中に現れる嘘や欺瞞の自動判別システムの実現の一助となることが期待される。

本論文は,非接触の条件下で機械計測した非言語情報を利用して,比較的自由度の高いコミュニケーション(以下,高自由度コミュニケーション)中に現れる嘘を自動判別するシステムの作成に向けた実験研究について述べたものである。

企業の内部監査や犯罪の初期捜査など様々な調査をする上で,人間に話を聞くことは有用なことが多い。例えば,近年頻発している企業のコンプライアンス違反を検知するには,人間に対する聞き取り調査が不可欠だと言われている。この際,雑談に見せかけた高自由度コミュニケーションを通じて,相手に疑いをもっていることが知られないように調査することが多い。こうした調査で調査対象者がつく嘘を人間が見破るのは難しいため,高自由度コミュニケーション中の嘘を機械的に自動判別できるシステムが望まれている。ところが,これまでは,統制された環境下でつかれる嘘を,生理情報や非言語情報を用いて自動判別できることを示した研究は数多く存在するものの,高自由度コミュニケーション中に現れる嘘の判別可能性を実験的に検討した研究は存在しない。そこで本論文では,高自由度コミュニケーション中に現れる嘘を,しかも非接触計測した非言語情報を利用することで自動判別可能かどうかを,そして可能な場合に,そのような自動判別システムが人間にとって有用かどうかを実験的に検討している。

第1章では,上記のような社会的背景と学術的背景,ならびに研究目的について説明している。

第2章では,高自由度コミュニケーション中の嘘を,非接触条件下で機械計測した非言語情報を利用して判別できることを示す実験(実験1)および,実験1の様子を記録したビデオを嘘の判別の訓練を受けていない人と職業上嘘を見破ることに慣れている人に見せたときの,嘘の判別率と判別の際に注目した非言語情報を調べることで,自動判別システムの有用性を示す実験(実験2),の二つを行うという研究方針を説明している。

第3章では,実験1を説明している。具体的には,勝つには嘘をつき合うことが必須となるゲームであるインディアンポーカーを利用することで,高自由度コミュニケーション中で自然に嘘をつける実験環境を独自に編み出している。そして,実験に参加してもらった大学生23組46名の発話時に表出される非言語情報を自作の計測システムで非接触計測し,その情報から,発話が嘘か嘘でないかをどの程度判別可能かを判別分析を用いて検討している。その結果,高自由度コミュニケーション中の嘘が先行研究で対象とされた嘘とは異なる特徴を持つことと,複数の非言語情報を利用することで,そのような特徴を持つ嘘を70%程度判別可能なことが示されている。高自由度コミュニケーション中の嘘の特徴と,その特徴を持つ嘘の判別可能性を実験的に検討した研究はこれまでに存在せず,インディアンポーカーを利用することでこれを可能にしたことは高く評価される。また実験で用いた自作の計測システムは,一定の精度と簡便性を両立させた上で,顔特徴と視線を同時に計測できるという利点を有しており,その点で従来の同様のシステムと比べて優れていると評価できる。

第4章では,実験2を説明している。具体的には,実験1の様子を記録したビデオを,嘘の判別の訓練を受けていない人と職業上嘘を見破ることに慣れている人に見せ,これらの判別率と実験1で得られた自動判別システムによる判別率の関係を議論している。実験の結果,先行研究で対象とされた嘘よりも高自由度コミュニケーション中の嘘の方が判別が難しく,職業上嘘を見破っている人であっても実験1の結果よりかなり低い確率(50%前後)でしか判別できないことが示されている。また,先行研究では人間の嘘の判別能力を向上させることは難しいとされているが,計測された非言語情報を提示することで,嘘の判別の訓練を受けていない人であっても,判別能力が向上することも示されている。これらのことから,嘘の自動判別システムが多くの人にとって有用なことを議論している。高自由度コミュニケーション中の嘘を人間がどの程度判別できるかを初めて明らかにした上に,これまでは容易ではないとされてきた人間の嘘の判別能力の向上が難しい訓練なしに可能なことを示した点で,本章の成果は示唆に富んでいる。

第5章では,以上の結果をまとめた上で,先行研究と比較して嘘の判別課題が難しくなっているにもかかわらず,複数の非言語情報に注目したことで高い自動判別率を達成できたこと,本研究の成果をコンプライアンス違反の検知などに実際に利用する上で必要な工夫,ならびに汎用的な自動判別システムを作成する上での問題点を議論している。

以上のように,本論文は,1)これまで議論されてこなかった,高自由度コミュニケーション中の嘘の特徴とその判別可能性を,インディアンポーカーを利用することで実験的に検討した点,2)高自由度コミュニケーション中の嘘を人間がどの程度判別できるかに関する初のデータを示した点,3)これまでは容易ではないとされてきた人間の嘘の判別能力の向上が難しい訓練なしに可能なことを示した点,において高く評価できる。したがって,本審査委員会は博士(学術)の学位を授与するにふさわしいものと認定する。