アメリカ合衆国における試験のコンピュータ化と建築家登録試験（その1）

　(財)建築技術教育普及センター建築技術者教育研究所主任研究員　渡辺光明

「QUA　クウェイ」NO.10(1999年)より

　アメリカ合衆国の建築家登録試験（ARE）は、一昨年2月よりコンピュータ化されたARE（C／ARE）に全面的に切り替えられています。この新しい試験の内容、申込みから結果の通知までの一連の流れについては、クウェイNo.4の「アメリカ合衆国におけるコンピュータ化された建築家登録試験について」で紹介しました。
　C／AREに限らず、試験のコンピュータ化は、アメリカ合衆国では一般的となりつつありますが、我が国ではまだ本格実施に至ったものはなく、一般にはあまり知られていないように思います。
　そこで、アメリカ合衆国における試験のコンピュータ化の動向、コンピュータ化された試験（CBT：Computer-Based Testing）と従来の紙と鉛筆による試験（PPT：Paper-and-Pencil Test）との違い、開発過程とその基礎となる考え方について、AREを中心に今回と次回の2回に分けて紹介します。

　C／AREの開発は、全米建築家登録委員会協議会（NCARB）とその依頼を受けたETS（注1）との協力によって行われましたが、ETSでは、既に1986年から、大学生の能力別クラス編成用のテストとして、CBTを実施していました。それ以後、1992年秋には教員採用のための能力判定試験、1994年にはGRE（大学院受験用の学力試験）で本格実施に至っており、1998年では、C／AREに加え、次の試験がコンピュータ化されています。

• GMAT（ビジネススクール入学用試験）
• TOEFL（英語能力検定試験）
• 看護婦資格試験
• 医師資格試験
• 弁護士資格試験
• 財務専門家試験
• 建設法規検査官試験 等

　また、資格試験だけではなく、国防省式職業適性検査（ASVAB）、アメリカ合衆国連邦政府の移民調査官、国境警備官等の採用試験でも、CBTが用いられています。
　C／AREの運営・管理は、Chauncey社（注2）によって行われていますが、試験場としてはシルバン学習システム社のテストセンターが使用されています。シルバン社は、1993年以来、ETSの担当するCBTの独占的試験実施機関となっており、北アメリカに約250ヶ所のテストセンターを有し、全世界の約380ヶ所のテストセンターとネットワークを結んでいます。C／AREは、このテストセンターでなければ受験できませんが、一般に、ETSの実施するCBTは、ETSの地域事務所、指定大学等でも受験できる他、ラップトップコンピュータによる移動式のテストセンターも随時開設されています。
　日本でも、GRE及びGMATについては東京をはじめとする全国数ヶ所のテストセンターで受験することができます。また、TOEFLも、日本では2000年から全面的にCBTに切り替えられる予定です。（注3）
　C／AREの構想から実施に至るまでに10年以上を要したように、CBTの開発には、多額の費用と年月を要します。にもかかわらず、このように、1980年代から始められた試験のコンピュータ化は、90年代に入り大きく進展してきています。これには、CBTがPPTに比べてより多くの利点を有するとの社会認識があること、そして、アメリカ社会全体の情報化が進む中、コンピュータ化に必要なインフラが整備されていることが、その大きな要因となっていると考えられます。

　コンピュータ化の一つの大きな利点として、音や画像を用いたり、添付された参考資料や図表を参照したり、計算機を使用することも可能なことから、出題形式が広がり、実務に近い形の試験の開発が考えられます。
　出題形式の拡大は、試験問題と実務との距離を縮め、より妥当性を高めることに寄与します。例えば、Chaunceyでは、歯科衛生士用の試験を開発中ですが、これには、X線写真による診断、歯を叩いて感じ方を検査すること等が含まれ、実務での行為（パフォーマンス）と思考過程を分析、採点するものです。
　さらに、自由解答形式（論文試験や設計・製図試験等）の自動採点が可能であれば、採点基準の統一による試験の精度の向上に加え、採点者の負担軽減や合格発表までの時間の短縮という試験の効率性の向上も期待されます。

　試験における最も単純なコンピュータの利用法は、従来のPPTをそのままコンピュータを使って実施するものです。これは、これまでと同様に、全ての受験者に同一の試験問題が提示されることから、試験は同一日時に一斉に実施され、コンピュータも受験者と同じ数が必要となります。
　これに対して、コンピュータを用いることにより試験の精度と効率性の向上に寄与するものが、コンピュータ適応型テスト（CAT）です。これは、項目反応理論（IRT）という考え方に基づくもので、従来のテストとは異なり、ある一組の試験問題の正解数を得点とするのではなく、正解した問題の難易度によって受験者の能力を評価しようとするものです。
　CATでは、すべての試験問題はプレテストによってその特性が知られ、各問題は、その内容と難易度によって分けられます。
　受験者にはまず中程度の難易度の問題が出題され、これに正解するとさらに難しい問題が出題され、逆に不正解だともっと易しい問題が出題されます。この過程を繰り返していき、受験者の能力測定値が一定の信頼性をもって得られたところで試験終了となります。したがって、問題数は受験者によって異なり、各受験者には原則として異なった問題が出題されますが、この点は従来の試験との大きな違いです。
　このように、受験者によって提示される問題が異なること、相対的な順位の測定ではなく、受験者固有の能力値の測定であることから、受験日時や場所が固定されず、どこの試験センターでも随時に受験することができます。また、受験者個人の能力に焦点を当てているため、易しすぎたり難しすぎたりする問題もなく、従来よりも少ない問題数で必要な情報を得ることができ、試験の精度が高まると同時に試験時間は短くなります。
　反面、全ての問題をプレテストしておかなければならないこと、数多くの問題（数千題）を用意し問題バンクとして蓄積しておかなければならないことなど、システムの構築に多くの労力が必要です。
　実際、GREがコンピュータ化された1994年の12月、ワシントン・ポスト紙にGREの問題が予測可能であるとの記事が載り、GREが一時停止されるということがありました。問題バンクの大きさは明らかにされませんでしたが、ETSでは、バンクの問題数を増やして翌年春先に再開しています。

　CATの基礎となるのが、項目反応理論です。
　通常、ある問題に正解するかどうかは受験者の能力だけで決まるのではなく、難しさ等の問題の特性にもよると考えられます。IRTでは、問題に正解する確率を受験者の能力値の関数と考え、問題の特性をパラメータとして、その関係が具体的にどのようなものであるかを推測しようとするものです。この関数のモデルとしては、一般に能力値が上がれば正解する確率もあがると考えられることから、単調増加する関数が用いられ、中でもロジスティック関数が用いられることが多いようです。
　C／AREの学科試験の場合、どのような関数がモデルとして用いられているかは明らかではありませんが、パラメータとしては、問題の特性である困難度（難しさ）と識別力及び当て推量の3つが採用されているということです。

　CATを用いる場合、入学試験のように受験者の相対的な順位を決定する試験や、英語の能力判定試験のように各受験者の能力値を判定する試験では、様々な能力段階にある受験者の能力に合った問題を用意しなければならず、相当多くの問題を準備しておかねばなりません。しかしながら、資格試験では、合格点付近における受験者の能力値を正確に把握することが目的であり、合格点から離れた能力測定の信頼性はあまり問題になりません。
　そこで、C／AREの学科試験（多肢選択式試験）では、CATの考え方を合格点付近の能力測定に限定したコンピュータ化が行なわれました。この方法はコンピュータによる習熟度試験（CMT：Computerized Mastery Testing）と呼ばれています。
　CATでは、試験問題が試験の各分野毎に小テストともいうべき試験問題の集まり（テストレット）に分けられ、このテストレットを単位として出題されます。各テストレットの問題の難易度は同じになっており、このようなテストレットがいくつも用意されています。
　受験者は、まず、2つのテストレットを受け、その結果合否が明確である場合にはそこで試験が終了します。合否が絞れない場合には、さらに新たなテストレットを受けることになり、合否が確定するまで、最大で4段階この過程が繰り返されることになります。
　したがって、CATと同様に、出題数は受験者によって変化しますが、その変化の単位はCATとは異なり、テストレットとしてまとめられた問題数となります。
　また、CMTにおいても、事前に問題の特性を把握し、問題バンクを作るためのプレテストが不可欠です。そこで、C／AREでは、各受験者に15題のプレテストが行われています。プレテスト問題は採点対象とはならず、また、どの問題がそうであるかはわからないように出題されています。
　なお、このCMTの手法は、ETSの特許となっています。

• 米国に見るCBTの現状と実用化に至るまでの課題　1998/7/22　立教大学名誉教授 池田央
• ETSホームページ　http://www.ETS.org/
• Chauncey Group ホームページ　http://www.chauncey.com/
• Computerized Mastery Testing NCARB　APRIL 1995
• アメリカ政府職員の募集から採用試験まで　渡辺光明　人事試験研究 No．156　1995.9

(注1) Educational Testing Service
　教育、調査、測定の領域における非営利団体として、1947年、アメリカ教育協議会、カーネギー財団、大学入試委員会によって設立された。本部は、ニュージャージー州のプリンストンにある。新しい試験方法の開発はその主要な業務の一つである。年間予算は350百万ドル、約200の分野で2,600人が働いている（1994年度）。
(注2) The Chauncey Group International
　1996年に設立されたETSの子会社。C／ARE以外にもコンピュータ化された試験として建設法規検査官試験やガラス業者認定試験等を、コンピュータ化されていない試験として景観建築家登録試験、全米水道技術者協会認定試験等を担当している。
(注3) GMAT、GRE及びTOEFLは繰り返し受験可能であるが、受験できる回数は月1回に制限されている。