本論文の目的は、医師の診療行動を理解し提示内容・タイミング判断を行ない、経過観察に必要な情報を診療中に自動提示するシステムを実現することにある。

　本研究の特徴は、1)診療行動の自由度・多様性への対処方法を示し、その対処方法に基づいた行動表現方法を実現する点、2)診療行動をありのままに診療中にオンライン理解し、医師の行動に対して実時間でフィードバックをかけ、提示を行なう処理を実現する点、3)診療行動理解が医師の行動記録を自動作成する支援につながる重要な観点であることを指摘し、行動記録の自動作成と蓄積、その提示による利用を一貫して行なうシステムを示す点にある。

　本論文では、耳鼻咽喉科診療の実際の診療データを収集し、診療の構造、人間行動としての特徴について分析を行ない、分析結果をもとに、診療行動を理解するための診療行動表現を作成し、その行動表現の特徴、一般性について考察する。そして、診療行動を視覚・音声を用いて観察・記述し計算機入力する処理、作成した診療行動表現を用いて医師の診療行動を実時間理解する処理、理解結果をもとに提示内容・タイミングを判断し、診療場面に合わせて経過観察に必要な患者情報を提示する処理を実現し、理解・提示システムとして実験室の疑似診療環境において統合を行なう。また、実際の診療データをもとにシステムが動作することを示す。

　耳鼻咽喉科のように患部をみて直接アプローチすることが診療方法の原則となる診療科では、患部へのアプローチの最中に患部画像、行為実行歴、検査結果などを閲覧することが経過観察に最も効果的である。しかし、紙のカルテや現状の電子カルテシステムでは、患部ヘアプローチ中に患者情報を検索・閲覧する手段を衛生的な理由から提供できていない。本論文では、医師が患部ヘアプローチする最中に、患者情報を閲覧可能なように提示してサポートする支援を情報提示支援と呼ぶことにする。このとき、支援システムが診療状況を理解し、提示内容・タイミングを判断し必要な患者情報を自動提示することができれば、医師が明示的にシステムに指示する繁雑さは低減され、患者とのコミュニケーションに精力を傾けることができると期待される。

　本論文では、前述した支援の重要性、支援方法の考え方をふまえ、医師の診療行動を理解し、提示内容・タイミング判断を行ない必要な情報を診療中に自動提示するシステムを診療行動の理解・提示システムと呼び、その実現を目指す。ただし、診療行動理解が医師の行動記録を自動作成する支援につながる重要な観点であること、および作成した記録が提示情報として利用可能であることから、診療行動の理解・支援・蓄積を一貫して行なうことを可能とするシステムとして処理を実現する。

　医師の診療行動を実時間理解し支援を行なうための診療行動表現を診療分析を通して作成する。

3.2診療行動構造記述木の作成

　分析結果をもとに、行為コンポーネントに病名を最上位目標とした目標・手段の階層と順序性・適用性の関係を付与した表現として診療行動構造記述木を作成した。具体的には、代表的な診療例として耳の14病名について記述木を作成した。一例として図1に滲出性中耳炎の記述木を示す。診療行動構造記述木は病名をもとに診療行動の多様性を整理したこと、行為をもとに診療の進行、医師の意図が表現されている点に特徴がある。

図1:滲出性中耳炎診療についての記述木

　また、作成した記述木は特定の場所で特定の医師によって行なわれる診療行動の表現となっている。そのため、他の診療現場での診療データの収集と分析を通して記述木を作成し比較を行なった。その結果、階層、順序性・適用性についての記述木の構造は異るが、病名に基づいた行為コンポーネントが2病院でほぼ共通であることがわかった。これによって、診療行動構造記述木の行為コンポーネントと行為同士の関係を記述する方法の再利用可能性が示された。具体的には、診療現場での機器や道具の配置などの場の資源や、医師個人のフィロソフィーに基づいて、記述木の要素を組みかえることによって各現場固有の診療行動を表現することができる。

　実験室に実際の診療現場で使用される診療台、道具を設置した疑似診療環境において、作成した14病名の記述木を用いた理解・提示システムを構築した。以下にシステムの内容を示す。

4.1診療行為シンボル化処理の実現

　本論文では、診療台を真上からCCDカメラを用いて計測し、耳鼻科診療で行う診療台上の器具・薬などの道具を用いた患者の身体に接触する13パターンの行為をシンボル化する処理を実現した。これらの行為は医師による道具の使用を認識することでシンボル化可能である。図2に視覚処理によるシンボル化の一例を示す。図左では画面内の357点のオプティカルフロー演算結果をもとに小さい○で示す手の領域と大きい○で示す手の静止位置を検出し、図右に示す使用道具認識プロセスへ報告した。このプロセスでは画面内の16個の道具近傍画像のテンプレートマッチングによる相関値の時間変化と、手の静止位置報告結果の双方を統合し、□で示す「のどを直視する器具(ThroatMirror)を握った(Grip)」ことを認識し、「のどの直視行為」のシンボルを作成した。

図2:のどを直視するための器具の使用の認識(左)手の位置検出と報告、(右)道具の使用の認識

　また、問診、処置、検査および投薬の指示を示す医師の発話中の単語を、音声によるシンボル化対象とし、医師の発話から単語を抽出する処理を実現した。具体的には、ヘッドウォンマイクを用いて医師の発話を計測し、日本語連続発話を対象とした市販の音声認識エンジンを用い、医師の発話をディクテーションし、得られた文からシンボルマッチングによって単語を抽出し、シンボルを作成した。

　構築した理解・提示システムを用いて、被験者による診療試演を入力とした実験、実際の診療データをもとに被験者が診療の内容・タイミングまでも再現した診療再現を入力とした実験、診療現場の実映像をシステム入力として用いた実験を行なった。図3に実験の状況を示す。4分割されたビデオ画面の右上には再現の様子、左上にはシンボル化処理、左下には理解処理の書き込み状況を示すGUI、右下には提示支援画面が示されている。

図3:理解・提示実験状況

　これらの実験の結果、システムが実際の診療データをもとに動作可能であることを確認した。具体的には、診療試演実験では作成したシステムがノイズやセンサの時間的ゆらぎのある実世界にあっても14病名の診療を分離理解し、提示が可能であることがわかった。診療再現実験では、実際の医師の診療行動の内容・タイミングに則してシステムが動作可能であることを確認した。また、実診療画像を用いた実験では、診療現場での医師の実際の診療行動に則してシステムが動作可能であることを確認した。以上のことより、作成したシステムの実用可能性が示されたといえる。

　本論文では、一般病院での70例の耳鼻咽喉科の診療の分析を通して、診療行動の多様性を、病名に基づいたコンポーネントと規則性を用いて記述可能であることを明らかにした。具体的には、病名を最上位目標とした目標・手段の階層と順序性・適用性の関係を付与した表現により、診療行動構造記述木を作成して示した。そして、他の病院での診療の分析と記述木の作成を通して2つの診療現場の記述木を比較し、記述木の階層、順序性・適用性についての構造は現場によって異なるが、病名に基づいたコンポーネントや関係の記述法が再利用可能であることを明らかにした。本記述木の要素を組みかえることによってさまざまな診療を記述できるといえる。

　さらに本論文では作成した記述木を用いて実験室の疑似診療環境で理解・提示システムを構築した。そして、システムが実際の診療データをもとに動作することを実験を通して確認した。具体的には、実現した視覚および音声を用いたシンボル化処理が実世界で動作することがわかった。そして、行為シンボルと病名を核としたモデルとのマッチングによる病名しぼり込み方法が、医師の病名推定の追跡ならびに診療行動の理解手法として有効であることがわかった。さらに、記述木の目標の階層をもとに、時系列での医師の意図の発生と終了を読み取って、提示内容・タイミングを判断する方法が有効に動作することを明らかにした。また、記述木を用いた診療行動記録作成および蓄積についての可能性についても示された。