学位論文要旨



No 118741
著者(漢字) 張,一平
著者(英字)
著者(カナ) チョウ,イッペイ
標題(和) 確信度付与法による項目反応モデル
標題(洋)
報告番号 118741
報告番号 甲18741
学位授与日 2004.03.25
学位種別 課程博士
学位種類 博士(教育学)
学位記番号 博教育第101号
研究科 教育学研究科
専攻 総合教育科学専攻
論文審査委員 主査: 東京大学 教授 渡部,洋
 東京大学 教授 市川,伸一
 東京大学 教授 南風原,朝和
 東京大学 教授 矢野,眞和
 東京大学 教授 山本,義春
内容要旨 要旨を表示する

最近とみにコンピュータ・テスト (Computer Based Testing : CBT) に関する研究やその実用化が盛んであるが、このコンピュータ・テストには多肢選択式項目 (Multiple Choice) がよく利用され、その応答方式は正答選択式 (Make One Alternative) が一般的である。本論文では、多肢選択形式CBTの測定効率と妥当性をCBTの自動採点機能を生かしなから更に向上させるために、紙筆式テストでは実施することが困難な確信度付与法 (Probability Testing) についてその特質を数学的に明らかにし、その優れていることをもって正答選択法の代わりに導入することを提案する。そして、確信度付与法によって得られる確信度データを用いて被験者を順位づけるための連続型項目反応モデルを提示し、さらに、提示されたモデルにおける被験者の特性値と項目パラメタの推定方法、情報関数の導出、項目バンクの作り方、項目バンクから項目を抽出する方法などについて、理論的な整備を行う。

第1章「序論」では、多肢選択形式CBTに利用可能な諸応答法、コンピュータ・テストの発展状況、および、これまでの学力テストにおいて活用された項目反応モデルについて概観した。また、確信度付与法を多肢選択形式CBTに適用するための項目反応モデルについての理論的な整備の必要性を明確にした。

第2章「確信度の観点からみた多肢選択式項目の諸応答法」では、離散データを与える応答法である正答選択法、減点法(Correction for Guessing)、排除法(Elimination Scoring)、順序付与法 (Ordering Method)、また、連続データを与える応答法である確信度付与法、の5つの応答法の基本型について、確信度の観点から検討を行った。まず、混乱区間(正答肢に対する確信度と得点の順序関係が逆転する危険性のある正答確信度区間)という全く新たな概念を数学的に定義することによって、5種類の応答法を比較検討した。

各応答法における混乱区間の大きさは、rを選択肢の数、P*を境界確率(被験者にとってある選択肢が正答であるという主観的確信度が、この値以上でなければ、選択することは利益にならない)として、正答選択法:〓P*<0.5の場合の減点法:〓P*>0.5の場合の減点法:〓排除法:〓順序付与法:〓となる。確信度付与法の混乱区間はrの値に関わらず常にOであることも証明され、確信度付与法が優れた方法であることが数学的に明確にされた。

第3章「確信度付与法のための項目反応モデルの提案」では、確信度付与法によって得られる確信度データを利用するために、新たな連続型項目反応モデルを提案した。提案されたモデルは、〓〓と書くことができる。ただし、Zは項目の確信度得点Sから変換した標準正規得点であり、項目の解答にかかわる能力の高さを表すものである。Φ-1は累積標準正規分布関数の逆関数である。Is(p,q)は得点S以下の被験者の割合を示す不完全ベータ関数比であり、pとqはベータ分布のパラメタである。θはテストの全ての項目に共通する潜在特性である能力変量である。pはZとθの相関である。

これはベータ分布で表される確信度分布上のパーセンタイルを正規分布上のパーセンタイルに単調変換することによって、確信度データと共通潜在特性θとを一意的に対応させるモデルを意味している。なお、このモデルは共通能力として1因子を仮定したモデルであるということもできる。

本論文で提案した連続型項目反応モデルは、各項目によって測られる能力について正規分布を仮定しており、これまでの項目反応モデルと比べてモデル自体が簡潔で、わかり易いという特徴がある。特性値を推定することも容易で、推定の精度も得られた最尤推定値の密度分布から直接求めることができる。また、ベイズ推定法を使用する場合も、各密度分布がすべて正規分布であるため、複雑な近似計算を行う必要がなく、容易に特性値θの事後平均と推定の精度を求めることができる。さらに、これまでの項目反応モデルには必ず存在していた項目困難度パラメタがこの反応モデルでは存在しない。代わりに使用した項目得点の分布のパラメタも、最初の得点変換のときにのみ利用して、特性値の推定式には含まれない。よって、特性値θのレベルに関係なく、すべての被験者に対して同じ精度で測定することができる。項目情報量が特性値に依存せず常に項目の識別力の平方に等しいことは、連続型反応モデルの最大の利点である。理論上、提案した連続型項目反応モデルを確信度データに用いる場合の項目情報量は、2値データに2PLモデル (Two-Parameter Logistic Model) を用いる場合の項目情報関数の最大値 (0.7225α2j) より3割以上も大きいことが判明した。また、2値データに2PLモデルを用いる場合、コンピュータ・適応型テストを利用しても、被験者に実施したすべての項目に対して最大情報を満足させることは極めて困難である。さらに、他のモデルを用いる場合には、2PLモデルよりも推定精度はさらに低くなる。これらのことを考えると、確信度データに対して提案された連続型項目反応モデルを用いることの情報量に与える効果は大きい。

第4章「連続型項目反応モデルについての検討」では、確信度データに対して提案された連続型項目反応モデルを用いる場合の効果を確認するために、シミュレーション実験を行った。各シミュレーション実験では、すべての項目は各々4つの選択肢をもつものと仮定された。4.1節では、2値データに現在最も多く適用される2PLモデルを用いる場合の最大推定精度と比べ、確信度データに連続型項目反応モデルを用いる場合の推定精度が、どの程度向上するかについての比較検討を行った。同じ特性値θ=0を持つ10000人の人工データセットを用いて、連続型項目反応モデルと2PLモデルのそれぞれのもとでの最尤推定値とベイズ推定値を求めた。その結果、2値データに2PLモデルを用いて推定値を求める場合に最大の項目情報量が得られるような条件下でも、確信度データを利用する場合の方が明らかに高い推定精度が得られることが判明した。使用した項目数が多いほど、2つの推定精度の差は小さくなるが、推定値のRMSE (Root Mean Square Error) 値の比率は、0.85を超えることがない。4.2節では、コンピュータ・適応型テスト形式を利用する場合において、2値データに2PLモデルを用いる場合と、確信度データに提案された連続型項目反応モデルを用いる場合のそれぞれの推定精度について比較検討を行った。その結果、2値データと対応する確信度データを項目の確信度得点の分布の15パーセンタイルと85パーセンタイルに固定した不利な条件下でも、確信度データからの推定情報量は2値データからの推定情報量より大きいという結果が得られた。また、情報量の理論値に近いように確信度データを調整したデータセットの結果から見ると、項目数が少ない場合を除けば、確信度データからの推定情報量は2値データからの情報量の約1.5倍となることが示された。また、2値データによる推定の場合、たとえ適応型テストを使用しても、被験者に提示されるすべての項目に最大情報をもたせるのは明らかに困難であることも考えあわせるならば、現実にはシミュレーションの結果より確信度データの利用の効果はさらに大きいものであると考えられる。

第5章「確信度付与法と連続型項目反応モデルの応用について」では、確信度付与法を使用する多肢選択形式CBTの授業や個人指導などへの応用、項目内容と項目バンクの作り方、項目バンクから項目を抽出する方法など、正答選択法を使用する場合と異なる点について理論的考察を行った。

第6章「まとめ」では、論文の総括的結論について述べた。本論文では、多肢選択形式CBTにとって最適な応答法であると考えられる確信度付与法による確信度データを利用するための連続型項目反応モデルを提案したが、今後、理論的な整備に加え、実際に適用する上でのインターフェイスを工夫する必要があることが論じられた。

審査要旨 要旨を表示する

本論文は、多肢選択型の客観テストにおいて、被験者に解答させる際に各選択肢に対してその正しさについての主観確率(すなわち確信度)を答えさせることによって、従来用いられてきた方法よりもより効率的に情報を収集できるテスト法を提案しようとするものである。各選択肢に正しさについての主観確率を回答させ、正答選択肢に対して与えられた主観確率の値をもって得点とするこの方法は、ここでは確信度付与法とよばれている。

本論文で提案されているこの確信度付与法は、そのはじめての幾何学的な考察が1965年に主観確率論で著名なイタリアの数学者De Finettiによって非常に限定された条件のもとでかつ近似的な形でなされた方法であるが、その後理論上大きな進展が見られなかったものである。本論文ではその数学的考察を大きく発展させ、多肢選択型テストにおける方法として知られている正答選択法、減点法、排除法、及び順序付与法を比較対照し、混乱区間という非常にオリジナルな数学的概念を用いてその方法上の特質を明確にし、混乱区間が存在しない方法はこれらのテスト法のうちでも確信度付与法のみであることを証明した。本論文では、これらの数学的考察のもとに、モデル上潜在特性の存在を前提とした新たなテストのモデルも提案された。連続型項目反応モデルと呼ばれるそのモデルは、いわゆる項目反応理論とよばれるテスト理論を踏まえて提案されたものであるが、確信度データをベータ分布として捉え、それを正規分布に従う潜在特性にパーセンタイル変換を行なおうとするもので、ここにおいてもモデルの独創性を認め得るものである。なお今後ますますテストのコンピュータ化が進むであろう予測のもとに、従来の方法を活用するよりもこの確信度付与法を用いた連続型項目反応モデルを適用することが教育現場においても大きな利益をもたらすであろうことも示唆されている。

本論文は6章から成る。第1章は序論であり、第2章で確信度付与法からみた他のテスト法とその比較が行なわれ、確信度付与法がすぐれていることが数学的に証明されている。第3章では確信度付与法のための新たなモデルとして、連続型項目反応モデルが提案され、提案されたモデルのもとでの特性値や項目パラメタ等の推定か法が述べられている。第4章では、この新たに提案された連続型項目反応モデルについてシミュレーションによって検討を行ない、その情報収集能力が高いことが例証されている。第5章では、確信度付与法のもとでの連続型項目反応モデルの応用可能性について議論されており、第6章は以上の各章のまとめである。以上のように本論文は、教育測定の道具としてのテストについて独創的な分析と新たな提案を示したものであり、今後の教育測定の発展に基礎的な貢献をなすものと考えられる。このことによって、本論文は博士(教育学)の学位論文として優れたものであると判断された。

UTokyo Repositoryリンク