増田有華さんを応援しながら英語学習+α

増田有華ファンが英語学習に悪戦苦闘する日記

TOEIC L&R Testを支える理論(その1)

本日,10月19日は,「TOEICの日」ですね。
いろいろなイベントが開催されていることでしょう。

はじめに

私が,はてなブログに移行した理由のひとつは,数式を
きれいに出せることなんですが,数式を出して説明したいことの
ひとつがTOEIC L&R Testを支える統計学的なテストに関する議論です。
かなり前に,神崎正哉先生とヒロ前田先生がスコアの理論的な問題を
議論していたことがあり,そのときに関心を持って,それ以来,少しずつ,
文献を買って読んだりしてきました。まだまだ,勉強不足で,十分に
理解していないことが,たくさんあるのですが,
TOEICの日」をひとつのきっかけとして,書き始めることにしました。

TOEIC L&R Testのテストとしての特徴

TOEIC L&R Testの純粋なテストとしての特徴として,
次の4点をあげることができます。

Multiple Choices

Norm-referenced test

Nonequivlaent Groups With Anchor Test (NEAT)

Kernel equating method

Kernel equatingについて

これら4つのうち,最初の3つは広く知られていると思うのですが,
Kernel equatingが利用されていることはあまり知られていないと思います。
この点について,ETSのプロジェクトを引っ張っているAlina A. von Davier女史が,
Björn Anderssonさんと共著で書いている書評が,The Psychometric Societyの
発行するPsychometrikaというジャーナルに載っており,その中に,
次のような一節が書かれています。

"Contrary to what is said in this section, kernel equating has been used
operationally in large-scale testing programs. Since 2008, it has been used in
all Test of English for International Communications (TOEIC) programs at
Educational Testing Service (ETS), and ..." (p.856)

ということで,TOEIC L&R Testでは,Kernel equatingが使われていることが,
確認できます。 なお,Kernel equatingについては,
Davier, Alina A. von, Holland, Paul W., Thayer, Dorothy T.による
The Kernel Method of Test Equatingの中に,

"Kernel Equating (KE) is a powerful, modern and unified approach to test equating.
It is based on a flexible family of equipercentile-like equating functions and contains
the linear equating function as a special case." (p.45)

とあります。初期のTOEIC L&R Testのequatingはlinear equatingで,
説明されていることがありましたが,現在のKernel equatingは,それを
スペシャルケースとして,内包しているようです。
ファイナンスのオプションプライシングの二項モデル(バイノミナルモデル)が
スペシャルケースとして,ブラック・ショールズ公式を含む感じでしょうか。
Kernel equatingについては,勉強中なので,かなりあとになってから,
言及する予定です。

第2弾はスコアそのものについての議論で,
いわゆる古典的理論の話をする予定です。

[引用文献]
Björn Andersson, Alina A. von Davier,
BOOK REVIEW:M. J. KOLEN, & R. L. BRENNAN (2014),
Test Equating, Scaling, and Linking: Methods and Practices,
Third Edition, New York: Springer, 566 pages. US$149.00.
ISBN 9781493903160
Psychometrika, September 2015, Volume 80, Issue 3, pp.856–858.

Alina A. von Davier, Paul W. Holland, Dorothy T. Thayer (2004),
The Kernel Method of Test Equating New York: Springer, XXII + 230 pages.
ISBN 9780387019857