(財)建築技術教育普及センター建築技術者教育研究所主任研究員 渡辺光明
「QUA クウェイ」NO.11(1999年)より
全米建築家登録委員会協議会（NCARB）では、建築家登録試験（ARE）をコンピュータ化するにあたり、試験の精度の向上に加え、受験機会の増加、結果処理の迅速化、そして、設計製図試験の採点に要する労力と費用の削減を望んでいました。そのためには、多肢選択式の学科試験のコンピュータ化とともに、設計製図試験のコンピュータによる自動採点システムを作ることが不可欠でした。
多肢選択式の試験については、既に1980年代にコンピュータ化されたテストが実用化されており、NCARBから開発を依頼されたテスト開発機関（ETS）には、ノウハウの蓄積がありました。しかし、設計製図試験の自動採点化は、ETSにとっても初めての試みであり、AREがコンピュータ化できるかどうかは、このシステムの開発にかかっていました。
1985年からNCARBとETSでは、設計製図試験のコンピュータ化に向けての検討を開始しました。これは、設計製図試験において何がどのように評価されるのかというアルゴリズムを導くことであり、一種のエキスパート・システムを構築することを意味していました。そのため、開発は、建築家、ソフトウェア・デザイン、コンピュータ・グラフィック、人工知能、心理測定の専門家等の密接な協力のもと行われましたが、開発にあたって担当者には、次のような認識がありました。
従来の設計製図試験の採点基準は、各問題について、専門家である採点委員会が考えたもので、合格最低ラインの解答、評価段階（4段階で、下2段階が不合格）とその段階の解答の特徴について定められていました。
一般的に言って、問題には、空間的な特性が大きな役割を演じる問題と、機能的な特性が評価の基礎となる問題とがあります。採点者が行う評価は、形と機能の双方によって決定されますが、設計製図の解答は本質的に形の表現であり、形の記述から機能的な属性についても判断可能でなければなりません。したがって、製図上の線の意味や重要性は人の解釈を必要とするものであるとしても、それは形から判断されるものであると考えられました。
ただし、解答は様々な要素によって構成されています。そこで、自動採点システムの開発は、解答の形の中から、設計ポイント（the design feature）と称する採点に影響する要素を抽出し、これがあるかないかで解答の適否を判断するシステムの構築に向けられました。
1988年、新しい設計製図試験のプロトタイプとしてヴィネット（Vignettes）と呼ぶ小テストが開発され、この小テストのコンピュータ化の研究が始められました。
この試験では、設計製図試験の3つの区分は、いくつかのヴィネットによって構成され（例えば、敷地設計区分には6つのヴィネットがあります）、また、各ヴィネットには、それぞれいくつかの設計ポイントがあります。
設計ポイントには、採点委員会によってウエートが付けられ、その評価は、多くの場合、承認、不承認、未決定の3件法で行われます。
ヴィネットの評価は、それに含まれる設計ポイントの評価の組合わせによってなされ、適否の2件法で判断されます。各ヴィネットにもウエートが付けられ、適であるヴィネットのウエートの合計でその試験区分の合否が判定されます。
このようにヴィネット試験の特徴は、設計ポイントの有無と、設計ポイントのウエート及び評価の組合わせ等の採点規則による採点システムにあります。また、評価対象とする設計ポイントや採点規則は、各ヴィネット毎にNCARBの採点委員会によって作成されますが、設計ポイントと採点規則が同じであれば、そのヴィネットは同質と考えられ、これによって外観は異なるが内容的には同質な問題ができるという点からも、ヴィネット試験の開発は重要でした。
解答がグラフィックな形式で表現されるのに対して、設計ポイントや採点規則は一般化された論理的な形式で表現されます。そこで、設計をグラフィックな形式から論理的な形式へ、また、その逆へと変換するある種の文法が必要になります。研究の第一段階は、設計の解答を基本的な設計要素で定義し、論理的な形式にすることから始められました。
最も基本的な設計要素には、点、線分、円及び弧があり、線分は座標上の二つの点で示され、円は中心の座標と半径で示されます。このような基本的な要素によって、長方形や家というより高次の設計要素が表現されていきます。（表1）
表1 設計要素の表現
また、敷地は、敷地の境界となる線分と、準拠点の座標と高さによって示されます。
物体と敷地との関係で最も基本的なものは、物体の位置です。位置は、基準点を決め、全ての設計要素の絶対的な位置と回転角によって判断されます。例えば、建物が敷地の正面を向いているかという場合、一般的には、その設計要素が敷地の正面の線と平行かどうかで判定できます。
また、建築可能領域内にあるかどうかということについては、既に数多くのアルゴリズムが紹介されていました。
物体と物体との関係については、一般的に言って、視点によって決まる関係とそうでない関係とがあります。例えば、「隣接、並び、端、近隣」という関係は視点から独立ですが、「前、右、上、直面」という関係は視点によるものです。後者の空間関係を述べるにあたっては、（x，y）という準拠点を定め、その準拠点からみて、物体1は物体2とzという方向にあるというように判断します。
このような考え方に基づくコンピュータ化は、1988年に実施された敷地設計問題のうちの、郊外におけるスポーツクラブの設計というヴィネットについて検討されています。
このヴィネットは、設計目的と条件に適合するように設計要素を配列する問題（右図）で、その解答の分析には、中西部の州における250名の受験者の解答が用いられました。
解答から機械が読み取れる形式への変換は、解答をデジタル化パネル（Summa Graph社）に複写し、そのデータをGeneric CADD Level 3（Generic Software社）に読み込んで行なわれました。
解答の複写は、単に解答に示された各設計物について準拠点の位置を確認することであり、これは、設計物間の空間関係をそのまま保存するものです。この形式に落とされた解答は、AUTOCAD（Autocad社）のプログラムに用いられているDXFファイルに保存されました。DXFにある内容は本質的に各物体の準拠点の位置と回転角ですが、この情報は、その後の処理のためにPROLOG（注1）データベースに変換されました。
このようにコンピュータ形式になった解答に、設計ポイントと下記の採点規則のセットが適用され、100件の解答について、コンピュータ採点と2名の採点者による採点との関係が検討されました。そして、両者の間に大きな開きがある解答は、丹念に調べられ、新たな設計ポイントを採用するか、採点規則を修正するか、または、両方が行われました。
【スポーツクラブ問題の採点規則】
最終的に適用される設計ポイントと左記の採点規則が決まった後、119件の新たな解答について得点（4段階）の比較がなされました。コンピュータ採点と採点者による採点との一致率は、採点者1が85％、採点者2が81％で、一致係数（注2）は、採点者1で0.75、採点者2で0.70でした。
また、採点者1と採点者2の一致率は85％、一致係数は0.77でした。これは、コンピュータと採点者との一致係数をわずかに上回る程度であり、その結果、コンピュータ採点は使用可能であると判断され、その後の開発が進められました。
これまで紹介してきましたように、試験のコンピュータ化には、予め試験問題の性質を把握しておくことが不可欠です。試験問題は、プレテストによって、内容や難易度ばかりでなく、性や民族間で差が生じないように公平性等についても検討されています。しかしながら、我が国では、一般に出題前の試験問題は極秘事項であり、プレテストされた問題を出題することは、試験の公平性に欠けるという懸念があるようです。
ただし、プレテストされた問題が出題されるのは何年か後になりますし、プレテストと同一の問題が出題されるとも限りません。仮に受験産業等が過去に出題された全ての問題を記録したとしても、問題バンクは通常数千題といわれており、その専門分野を深く学習することなしに全ての問題の解答を身に付けることは不可能でしょう。
また、AREのようにコンピュータ化された試験での評価は、偏差値のようなある受験者集団内での相対評価ではありません。受験者集団に左右されない、絶対的評価に近いものです。このことに加え、試験の精度の向上は、いわゆる受験テクニックという誤差要因の入り込む余地を減少させます。これは、試験自体が目的ではなく、能力を測定する一つの手段にすぎないということを改めて認識させるものです。
このように、試験のコンピュータ化は、我が国における試験についての考え方を転換させる可能性を秘めているといえましょうが、これを一歩進めようとすれば、プレテストを行った問題を使用することに対する抵抗感を払拭するだけでも、大変な労力を要することでしょう。コンピュータ化された試験が、実施後の試験問題の非公開を前提としていることを含め、開発にあたっては広範な議論が必要となるでしょう。
NCARBは、その広報活動の中で試験のコンピュータ化の利点として、これまでより正確で信頼性の高いテストであること、年間を通じていつでも受験できることを揚げています。より信頼性、妥当性の高いテストを作成することは、社会の利益となるでしょうし、一方の消費者である受験者にとって便利なシステムをめざすのも、当然のことといえましょう。ただし、アメリカ合衆国における試験のコンピュータ化の背景には、情報化についてのアメリカ社会の積極的な取り組み方、官民を含めた社会的インフラの整備等があります。
また、我が国でコンピュータ化された試験を開発する場合の前提となるセキュリティの問題や試験実施センターの設置等は、一試験機関で処理できる問題ではありません。
試験のコンピュータ化は、社会情勢を含めた長期的な見通しと、試験機関、教育機関等の関係団体の連絡・協力を抜きにしては難しいと思います。
(注1) 1970年代初期に開発された論理型プログラミング言語
(注2) Cohenのkappa係数
