学位論文要旨



No 115716
著者(漢字) 廣瀬,英子
著者(英字)
著者(カナ) ヒロセ,エイコ
標題(和) 確認的再答法による新評価法の研究
標題(洋)
報告番号 115716
報告番号 甲15716
学位授与日 2000.10.18
学位種別 課程博士
学位種類 博士(教育学)
学位記番号 博教育第71号
研究科 教育学研究科
専攻
論文審査委員 主査: 東京大学 教授 渡部,洋
 東京大学 教授 市川,伸一
 東京大学 教授 苅谷,剛彦
 東京大学 教授 山本,義春
 東京大学 助教授 南風原,朝和
内容要旨 要旨を表示する

 コンピュータが社会に広く普及してきたことにより,これまで紙筆式(Paper&Pencil Test)の形で行われてきた適性テストや学力テストをコンピュータ式(Coputerized Test)で行うことが,技術的に可能となってきた.コンピュータ・テストについては,いくつかの視点から研究が積み重ねられ,実用化に向けての提言がなされてきている.

 コンピュータ・テストの特徴のひとつに,被験者が答えをコンピュータに直接入力することがあげられる.本研究は,コンピュータと被験者の間で行われる情報交換の双方向性と即時性を生かして,被験者の反応をテスト中に採点・評価し,必要に応じてただちにコンピュータから確認の問いかけを行い,被験者がそれをうけて自らの考えを確認しながら再答する,という一種の対話型評価法のモデルを提案した.これは,紙筆式テストでは実現が難しく,テストのコンピュータ化によって可能となる独特のテスト改善法といえる.

 心理・教育測定の中で扱われるテストは,大きく分けると,被験者特性の最高値(Maximum Perfomance)を観測するためのテストと,被験者の典型反応(Typical Performance)を観測するためのテストの2種類に分類できる.本論文ではその両方を取り上げそれぞれのテストで考えられる確認的再答法について個別に検討した.本論文は,項目反応理論の多値型モデルを理論的基盤として展開されている.

 本論文の第1章では,コンピュータ・テストに関するこれまでの研究動向を概括し,確認的再答法の研究の必要性を明らかにした.

 第2章では,被験者の典型反応を観測する心理測定尺度における確認的再答法について取り上げた項目反応理論にもとづいて作成されている尺度では,あらかじめ定められたモデルに従うように項目が精選されており,項目パラメタの値も求められている.そのようなテストを実施した場合,すべての被験者が必ずしもモデルが期待するような回答をするとは限らない.その原因としては,テストを受験する際の被験者自身の動機づけが乏しく,真剣に回答しないといった受験態度要因(Test Faultiness)や,被験者の持つ特性が,本来その尺度が測定しようと考えている特性に適合しないという本態性要因(Traitedness)があり得る.本研究では,その尺度への回答としてモデルが予想する回答パタンに従わない回答パタンが発見された場合に,それをモデルに対する不適合回答(Aberrant Response)としてとらえ,被験者に再度回答してもらうという手続きを提案した.不注意等の受験態度要因からくる回答が,新しい答えに置き換えられた場合には,不適合回答パタンの一部が解消され,不適合のまま機械的に算出された値で評価してしまう危険を防ぐことができると考えられる.また,再回答の結果,それでも回答パタンがモデルに適合しない場合については,その尺度を使用して被験者の特性を測定することが不適当であると考え,その被験者にふさわしいと考えられる別の方法による測定に切り替える手がかりとすることができる.仮定されたモデルにその尺度が適合しており,かつ,項目パラメタも適切に推定されているという前提条件を伴うものの,確認的再答法は,より正確な診断につながり,教育的にも大きな意味を持つと考えられる.

 従って第2章では,まず不適合回答パタンを検出するために定義された適合度指標lzを多値型の項目反応モデル(評定尺度モデル:Muraki,1990)に適用する場合の統計的性質を検討した。項目パラメタ,項目数,選択カテゴリ数を変えた項目セットを用意してlz値を算出し,lz値の大きさと項目パラメタ,項目数,選択カテゴリ数の関係をまとめた.その結果,識別力の大きい項目が,項目の位置が広範囲に散らばるように配置されると不適合回答パタンが検出されやすいこと,項目数もカテゴリ数も多い方が良いことが示された.ここで,不適合解答パタンのなかの特に不適合な項目を見いだすための項目単位の適合度指標lz-iを提案した.このlz-iについても,不適合項目の検出に必要な項目パラメタの条件を検討した.その結果,位置パラメタが両端に近い項目ほど,lz-iの最大値と最小値の開きが大きくなることなどが示された.なお,適合度指標lzにせよlz-iにせよ,尤度に基づく指標であるので,求められた値は適合度の大きさを相対的に示すものであるという限界をともなう.

 第3章では,実際の尺度を用いて不適合回答パタンの検出と,回答の修正プロセスを検討した・具体例として用いた尺度は,大学への適応問題について自己効力の観点から捉えるために著者らが開発した「大学への進路適応に対する自己効力測定尺度」(College Adjustment Self-EfficacyScale)である.尺度構成後に新規に得られた3,670件のデ一タから不適合回答パタンを検出し,不適合の原因と考えられる項目を選び出し,被験者の実際の場面での反応として想定される再回答パタンをシミュレーションし,最終的に不適合回答パタンがなくなるまで回答の修正を試みた.その結果,尺度に含まれる項目群のうち2項目修正することで,不適合回答パタンはほとんど見られなくなった.また,識別力パラメタの大きい項目は,lz-iが極端な負の値になりやすく,不適合項目として検出されやすいなど,効果的な尺度作成の指針が得られた.

 第4章では,被験者の最高値を観測するテストの中で代表的な多肢選択式テストにおける確認的再答法について取り上げた.多肢選択式テストでは,普通,ひとつの項目につき正答候補の選択肢が数個提示されており,その中で,問題に対する答えとして最適な選択肢が正答とされ,他の選択肢は誤答として扱われる.しかし,被験者の選んだ選択肢が誤答の場合には再度答えさせ,正答に達するまで解答を続けさせる方法も考えられる.紙筆式では実施することが難しいこの達成式解答法(Answer-Until-Correct)も,コンピュータ・テストでは可能である.最初の解答が正答でなかったなら,その時どの選択肢を選んでいたのか、2回目の試みでどの選択肢に考えを改めたのか、といった正答にたどりつくまでの選択の道筋は,被験者の学力に関する貴重な付加情報となり得る.これは,すべての選択肢から得られる情報を最大限に利用することになり,より精度の高い被験者パラメタの推定を期待できる.被験者にとっても,個々の課題について考えたその場で正答を確認できれば,内容に対する理解が深まり.教育的にも好ましい効果が期待できる.

 そこで従来の項目反応モデルを拡張し,被験者パラメタを推定するための「達成式項目反応モデル」を提案した.ここでは被験者は正答に達するまでに,すでに選んだ誤答選択肢は再度選ばないものとし,項目パラメタの値は選択によって変化せず,また,被験者の能力値も,先行する項目への解答行動によって大幅には変化しないものとする.これらの限定条件を入れることにより,従来の名義項目反応モデルを拡張し,各選択肢の解答経路情報ごとにその特性関数,情報関数の一般式を求めることができた.

 第5章では,達成式項目反応モデルの持つ効果を確認するために,3つのシミュレーション実験を行った.[研究1]では,項目パラメタが既知である3肢選択項目のテストを,項目数を変えて5種類用意し(9,11,13,17,21個),生成された解答パタンに対して達成式項目反応モデルの場合と,名義反応モデルの場合とそれぞれについて被験者パラメタの推定を行い,達成式解答法を用いれば,1回限りの解答によるテストより高い精度の推定,また同じ精度なら項目数を減らすことによって同等の推定が可能であることが確認された.[研究2]では,21項目の3肢選択項目で構成されるテストへの10,000件の人工データに対して,達成式項目反応モデルをあてはめた場合と,正答に達するまでの5通りの解答を5つのカテゴリとみなして従来の名義反応モデルをあてはめた場合とで比較を行った.その結果,達成式項目反応モデルで推定された項目パラメタから得られる最大項目情報量は,5カテゴリの名義反応モデルの場合よりも多いか、もしくは同程度であることが示された.項目の選択肢数が増えると,推定する項目パラメタ数が急速に増えるが,達成式項目反応モデルでは,それが少なくて済むという利点がある.[研究3]では,4肢選択項目,10,000件の人工データについて,解答回数に制限のある場合について,達成式項目反応モデルによる被験者パラメタの推定を行った.そして,解答回数に制限のある場合の推定値は,完全に正答に達するまで解答する場合の推定値と,使用した項目数が21項目と少ないにも関わらず0.9以上の相関があり,誤差の増加も効果比にして6%程度で,近似として十分役立つことが確かめられた.また,1回限りの解答情報を利用した名義反応モデルや2-パラメタ・ロジスティックモデルによる推定値さらに,古典的な採点法で正答数から導かれる得点とも比較の結果、それらの値より推定精度が高く,解答回数が制限されても達成式解答法が優位であることが確認された.

 第6章では,再回答情報を取り入れた場合の被験者パラメタの推定に関する総括的結論をまとめた.本論文は,心理測定尺度における再回答の手続きの提案と,多肢選択式テストにおける達成式項目反応モデルの提案を行い,その測定論的有効性を示した.ただ,モデル自身に含まれている前述の仮定条件が,実際の適用状況においてどの程度無理なく働くかという点については,今後,実施環境が整ったときに検討していきたい.

審査要旨 要旨を表示する

 コンピュータの昨今の急激な発達と普及は、テストについてもその形式、実施形態、利用法、用途等々さまざまな側面に渡って大きな影響を及ぼしつつあるが、なかでもコンピュータのもつ即時性と双方向性は予期以上の大きなインパクトをもたらす可能性がある。

 本論文は、このコンピュータのもつ即時性と双方向性というものを積極的に活用し,被験者に再度応答を求めることによって従来の紙筆テストの枠を超えた2つの実際的な技術を、質問紙法による性格検査で代表されるような客観式典型反応測定型テストと多肢選択法による能力テストで代表されるような客観式最高値測定型テストとの2つの客観テスト領域において提案するものである。

 まず、前者の典型反応測定型テストにおいては、被験者の反応に整合的でないものを発見した場合に、その被験者に再度解答を要請することによって反応の再確認を図ろうとすることを考える。性格検査等では、しばしば不注意や質問文の読み違い等が発生していることが疑われるが、本論文ではそれをモデルから推定された被験者の特性値等から見て尤もらしくない項目反応を見い出すことによって、応答を再確認できる技術が提案されている。従来より、典型反応測定型テストにおける不整合反応パターンを検出するための議論は活発になされていたが、本論文で提案された指標は不整合反応がテストの中のどの特定の項目で発生しているかを検出するもので、その点において独創性が認められる。

 後者の最高値測定型テストにおいては、ある問題項目に対する解答として選ばれた選択肢が誤答であった場合に、そのことを被験者に知らせ、新たに別の選択肢を選ばせることによって、被験者の能力に関する情報をより正確に収集すると同時に、被験者の理解や知識を誤ったままにしておくのではなく、正解に至るまで考えさせるというフィードバック効果をもたらすであろう技術が本論文では提案されている。解答が誤っている場合に、そのことを被験者に知らせ再度挑戦させるという方法は「達成式解答法」と呼ばれすでにある程度の研究成果は蓄積されてはきたが、即時的に正誤情報をフィードバックするということにおける技術的困難が未解決であったため議論の進展が阻害されていた。しかし、コンピュータの発達普及によりこの方面における研究の急激な進展が期待されている現在、本論文で提案された新たなモデルと技術は十分にその教育学的意義をもつものと思われる。

 本論文は以上2つの新たな提案とその提案の妥当性をシュミレーションによって吟味した結果を含んでおり、今後の教育測定や教育評価の発展に寄与するものと考えられる。よって本論文は博士論文の水準を満たすものと認められた。

UTokyo Repositoryリンク