TOEICテストの問題の難易度

ETSのドキュメントをいくつかさらっと見た時に，面白いと思ったところを忘れないうちに
書き留めておこうというエントリーです。

Chi-wen Liao, TOEIC Listening and Reading Test Scale Anchoring Study, January 2010.
(http://www.ets.org/Media/Research/pdf/TC-10-05.pdf)

このリサーチは，TOEIC LRについての６本ある報告のうちのひとつで，
Score Descriptorsのレベルを考察することがメインなのですが，本筋の話は無視します。
そこで興味深いデータが載っていたので，引用します。

TABLE 1 Four Listening Anchors Items and Their Conditional P-Values

Item #	All	Level 200	Level 300	Level 400	Level 460
16	.83	.54*	.81	.94	.98
56	.70	.31	.62*	.89	.93
55	.45	.21	.31	.58*	.76
50	.34	.07	.19	.43	.72*

*The level at which the item was anchored.

ここでのP-Valueは正答率です。測定の標準誤差がプラスマイナス25なので，
レベル別のP-Valueはその範囲で計算されています。例示されている４つの問題は，
#16がLevel 200のアンカー，#56がLevel 300のアンカー，#55がLevel 400のアンカー，
#50がLevel 460のアンカーとして，識別されます。（私は素人なので，テストの話を
するときのanchorの訳語がわかりません。）あるレベルのアンカーとして，識別されるには，
(1)P-Valueが.5以上で，すぐ下のレベルのP-Valueが.5未満であること
(2)アンカーとしてされるレベルとすぐ下のレベルのP-Valueの差が.2以上であること
このうち1つだけしか満たされない場合には，undefined itemとされます。

TABLE 2
Number of Anchor Items Identified From Forms C and D

Level	Form C	Form D	Level	Form C	Form D
L200	18	21	R150	25	27
L300	20	25	R250	18	20
L400	24	21	R350	24	14
L460	10	7	R450	13	12
Undefined	28	26	undefined	20	27

undifined itemが割と多いので，意図されたレベル別アイテムの構成比は推測しづらい。

リスニングは，200が25問，300が30問，400が30問，460が15問のあたり。
リーディングは，150が30問，250が25問，350が25問，450が20問のあたり。

リーディングの450を20問と推定したのは，次のリスニングについての説明で15問ぐらいでは，
問題数が少ないと考えられるからです。

実際のScore Descriptorsには，リスニングで460レベルが記載されていないけれど，その理由が
以下のように説明されている。

The final proficiency tables do not include Level 460 for the listening section
because after reviewing those anchor items at that level, the content specialists believed that
the number of items was insufficient to allow them to reliably describe the characteristics
of examinees at that level.

にゃもし