1 试题

在测验中，试题作为一种刺激物（stimuli）引起考生的行为反应，然后再根据反应结果就考生能力做出推断以进行抽样评估。试题通常是从单维的（unidimensional）知识领域里抽取出来的。

2 经典测验理论

经典测验理论关注的重点是测验的整体结果。测验试题统计量用难度P 值以及区分度指数等来描述，P 值是考生组中正确回答某试题的人数比例；区分度指数则用考生对试题的反应与考生测验总分的相关来表示。测验信度通过平行测验分数的相关来衡量，考生在测验中的得分取决于考生正确回答题目的个数。因此，考生得分和试题难度P 值的衡量尺度是不同的，考生在测验中的得分取决于所接受测验的难度，不同考生在同一考试不同测验形式上的分数，只有通过等值才能进行比较。经典测验理论认为，测验成绩的所有区间上的测量精度（precision）都是一样的，事实上，不同成绩区间的测量精度可能是不同的。

3 项目反应理论（item response theory，IRT）

项目反应理论的重点深入到考察测验项目，认为考生的成绩或者说能力水平可以通过试题的一些参数来进行预测或者解释。考生的能力被定义为考生正确回答试题的概率。在项目反应理论中，考生能力和试题难度的衡量尺度是一致的。试题参数和所测试的考生样本无关，考生能力与所施测的试题样本无关。项目反应理论能够精准地对每个考生的能力进行评估，传统考试中的信度被“信息（information）”的概念取代。

4 测验信息函数（test information functions）

试题信息是随着考生能力变化而变化的函数，测验信息函数是所测全部试题的项目信息函数的累加和。各个成绩区间考生能力评估的标准误都可以通过公式来求出，即：SE(θ) = 1 / (Itest(θj))1/2。

5 项目反应理论模型拟合（IRT model fit）

项目反应理论模型是否和现实情况拟合是可以评估的，这将确保项目反应理论的优势得以发挥。复杂的IRT 模型能够提高拟合程度，但是同时会提高评估原理在测验编制中的应用Ronald Nungester & David Swanson（美国国家医师资格考试委员会）估计误差（estimation error），并且需要扩大样本量。

6 测验分数等值（test score equating）

考生应能独立于不同测验形式。考生分数在跨 越不同测验形式时应能报告在共同量尺上，即应实现 等值。这样，考生的能力就能够在不同考试中得以被 追踪考察，测验的通过标准也就能被保持在考生能力 的恒定水平上。

7 复杂评估的概括能力（generalizability）

测验都是通过某一内容领域内某些抽取到的试题样本，在一定时限等条件下对考生施测，并由一定数量评分员评分来进行评估的，这整个测验情景关系是否有较强的概括能力，是考试设计水平的重要因素。USMLE 第二步临床技能考试应用OSCE 模式是重复性测验设计（alternate test designs）的一种。在OSCE 中，假定考生参加5 站的考试，每站考试中都有一位标准化病人，考生完成相似的测试任务。每个考站中都有2 名医生独立地对考生表现打分，考试结果经过概化分析可以用来研究重复性测试设计对于分数的影响。结果发现，随着评分者人数的增加测量误差迅速下降，两个或三个新增评分员就可以达到满意的水平。概化分析研究还说明，多项选择题（MCQ）因易于内容抽样而有利在短考试时限内提高概化能力；论文题和计算机病例模拟题、标准化病人考试等都难于内容抽样，因此，需要较长的测试时间。

8 评估方法效度（validity）研究

由观察测验表现而得的评估（evaluation），由测验表现到其他类似而非相同内容测验的概化（generalization）以及将测验表现外推（extrapolation）至实际工作中去，这是同一链条上力度渐减的几个环节。但是各种评估方法在这三者上实有能力状况不一：口试的评估、概化、外推三者能力都差，真实治病观察的前二者较好而后者不好，客观结构化临床考试与计算机临床模拟在这三者上都可好可差；论文考试则只有前者好而其他都差；基于案例的多项选择题，却是前二者都好而仅后者差。（冯攀 译，付希娟 漆书青 审）