テスト・スタンダード(*1)において、「主観的な評定によって採点する場合は,基本設計に沿って採点できるように,評定者のトレーニングをする。また,採点後には複数評定者の評定の整合性などを分析し,必要に応じてさらに調整を加える。」とされており、コン検の記述式問題の採点においても、これに基づいて採点を行っています。
具体的には、テスト・スタンダードに基づき、採点者の主観を極力排除するために、一定数量の答案の採点を予め設定した正答例、誤答例を基に試採点を行います。その上で正答の範囲、誤答の範囲、部分点の範囲を設定し、複数の採点者による本採点を行います。
したがって、最終的な採点結果は適正な正答範囲を調整したものとなります。
また、毎回出題される問題が異なることから、毎回の合否ラインとなる得点率は、問題の難易度を想定して調整を行っています。
なお、記述式問題の評価は、客観式問題の合格者に対して採点を行います。正答を2点、部分点を1点、誤答を0点とし、その合計得点率により評価します。
(*1) テストスタンダード
「Standards for Educational and Psychological Testing」,1999,AERA,APA &NCME 「テストの開発,実施,利用,管理にかかわる規準」,2006,日本テスト学会
「テスト・スタンダード‐日本のテストの将来に向けて」,2007,日本テスト学会,金子書房