首页政策法规考试技术考务管理科学研究考试服务培训园地专家简介医师园地《中国医师能力评价》医学教育评价学组
首页 > 科学研究
医师资格综合笔试构想效度研究
国家医学考试中心考务与培训处 张颖

摘要  本文采用协方差结构方程模型,对临床执业医师综合笔试基础知识—专业知识—公共知识三因素理论构想模型进行了验证,并进行了多样本比较,认为临床执业医师综合笔试三因素理论构想模型拟合较好,临床执业医师综合考试具有较好的构想效度。

一、        前言

医师资格考试(National Medical Licensing Examination,NMLE)是根据《中华人民共和国执业医师法》设置的执业资格考试,医师资格考试又称医师执业考试、医师执照考试,是世界各国普遍采用的医师资格认可形式,医师资格考试属于标准参照测验。考试每年举行一次,分为实践技能考试和综合笔试两部分。

效度(validity)是指测验能够测量出其所要测量的东西的程度。要确定测验的效度如何,不能凭主观意愿来判断,而要靠收集客观事实材料和证据来证明。这种收集大量资料和证据来验证测验效度的工作,叫做效度验证(validation)。

构想效度指的是测验对某理论结构或特质测量的程度。构想效度的考察重点在于测验本身,在于测验赖以编制的心理结构理论上,在于测验测到这种理论结构或特质的能力上。本文对以临床执业医师综合笔试为例对医师资格综合笔试的理论构想进行了验证。

二、        研究方法

(一)、研究方法的选择

医师资格考试属于标准参照测验,其理论构想主要体现在测验内容的结构关系上,这种结构关系称为“领域结构(domain structure)”。领域结构既包括外在的不同知识领域的结构关系,更关心这些知识领域的潜在结构关系。由于标准参照测验特别关注领域界定的有效性,因此对领域结构的检验应成为标准参照测验效度研究的重要内容。领域结构的检验可以包含二个层次:单一学科的内容结构和综合学科的内容结构。对于由多学科组成的综合测验来说,领域结构主要体现在学科之间的潜在关系上。研究表明,利用验证性因素分析研究标准参照测验(尤其是行业资格考试)的构想效度和领域结构是完全可行的。

协方差结构方程模型(Covariance Structure ModelingCSM)中的验证性因素分析(Confirmatory Factor Analysis, CFA)可以检验:

1、             哪些潜在公共因素是相关的

2、             哪些观测变量受哪个潜在公共因素影响

3、             哪个观测变量受哪个独特性因素影响

4、             哪些独特性因素是相关的

通过验证性因素分析,我们不仅可以估计观测变量与相关潜在公共因素的负荷参数,而且还能估计公共因素之间的相关程度,这些正是标准参照测验所关心的。领域结构中哪些潜在维度与哪些观测变量(学科或项目)具有所属关系,潜在维度之间的相关与否及相关程度,这些问题在领域界定过程中就已被“先验”地假定,或从理论上已经有所把握。但是观测数据与这些理论构想是否拟合,拟合程度如何,验证性因素分析通过检验观测变量的样本协方差矩阵(S)与理论模型估计出的衍生矩阵(E)间的差异是否显著来解决这一问题。如果SE的差异显著,那么从统计学意义上可以推论,领域结构的理论模型与观测数据不符,或者说明样本数据未能验证领域结构的原有理论构想。

(二)验证性因素分析的几个有关问题

1、             样本容量

在应用协方差结构方程模型(CSM)进行分析时,为了提供足够的统计检验能力,得到有意义的结果和准确的参数估计值,我们需要有较大的样本。有的研究者建议,我们应尽量避免对少于200人被试的样本做CSM分析,样本大于1000人时,结果较稳定、准确。

2、             观测变量数目

验证性因素分析中模型的潜在因素通常由几个观测变量表示。有研究者主张每个因素应该用三个或四个观测变量表示,多于四个观测变量所得到的回报会越来越小,一般最少用三个观测变量表示潜在因素,以解决识别问题。但当潜在因素互有关联时,每个潜在因素可用两个观测变量表示。

3、             模型拟合程度的评价

在得到参数后,需要对模型与数据间是否拟合进行评价。主要通过比较拟合指数来评价一个模型与数据的拟合程度。

常用的拟合指数主要有:

1)、Χ2统计值:受样本量影响较大,样本量越大Χ2越大,p>0.05时较理想。

2)、拟合优度指数GFI:大于0.90时表示数据与模型拟合得好。

3)、调整的拟合优度指数AGFI:大于0.90时表示数据与模型拟合得好。

4)、近似均方根误差RMSEA:小于0.05时表示数据与模型拟合得好。

5)、相对拟合指数CFI:大于0.90时表示数据与模型拟合得好。

6)、标准拟合指数NFI:大于0.90时表示数据与模型拟合得好。

7)、Tuker-Lewis指数TLINNFI:大于0.90时表示数据与模型拟合得好。

8)、递增拟合指数IFI:大于0.90时表示数据与模型拟合得好。

4、             多样本比较

采用协方差结构模型程序,可以检验协方差结构模型在不同的总体或样本中是否相同,可以估计变量间的关系模型在两个或多个总体中有无显著差异。

三、        实验研究

(一)被试样本:参加2003年临床执业医师综合笔试的考生,每次抽取的样本量为4000-5000人。

(二)使用的软件:AMOS 4

(三)临床执业医师综合笔试理论模型结构图

临床执业医师综合笔试共包括33个科目,理论构想上分属于三个潜在因素,即因素1f1)专业知识、因素2f2)基础知识和因素3f3)公共知识。因素1f1)专业知识包括:产科、传染病学、儿科学、风湿病、妇科、骨外科、呼吸系统、计划生育、精神病学、泌尿外科、内分泌系统、普通外科、神经内科、神经外科、泌尿内科、输血、外科总论、消化系统、胸部外科、血液系统、循环系统、诊断学、卫生毒理学23个科目的试题;因素2f2)基础知识包括:医学免疫学、医学微生物学、药理学、生物化学、生理学、病理学6个科目的试题;因素3f3)公共知识包括:医学伦理学、医学心理学、预防医学、卫生法规4个科目的试题。三个潜在因素之间两两相关。

 

 

(四)结果

1、总体样本数据与模型拟合情况

1)、验证性因素分析(CFA)各拟合指数如下表

MODEL

Χ2

DF

P

Χ2/DF

GFI

AGFI

CFI

RMSEA

研究模型

3677.150

492

0.000

7.474

0.943

0.935

0.944

0.038

一般而言,Χ2/DF小于2最为理想,大于2小于5可以接受,但此指标受样

本量的影响,样本越大,值越大。一般来说,GFIAGFICFI0.90以上最为理想,但从许多实际的研究来看,达到0.850以上,模型就基本可以接受。RMSEA0.05以下较好,在0.05--0.08范围内,模型可以接受。从上表可见,GFIAGFICFI均大于0.90RMSEA0.038,模型的拟合度总体很好,说明此三因素模型有较好的构想效度。

 

2)、各潜在因素—科目的因子载荷如下表

      <-- 潜在因素

载荷

      <-- 潜在因素

载荷

卫生毒理学  <-- 专业知识

0.311

骨外科      <-- 专业知识

0.644

诊断学      <-- 专业知识

0.721

妇科        <-- 专业知识

0.687

循环系统    <-- 专业知识

0.739

风湿病      <-- 专业知识

0.244

血液系统    <-- 专业知识

0.670

儿科学      <-- 专业知识

0.763

胸部外科    <-- 专业知识

0.583

传染病学    <-- 专业知识

0.646

消化系统    <-- 专业知识

0.764

产科        <-- 专业知识

0.582

外科总论    <-- 专业知识

0.763

医学免疫学  <-- 基础知识

0.432

输血        <-- 专业知识

0.507

医学微生物学<-- 基础知识

0.676

泌尿内科    <-- 专业知识

0.666

药理学      <-- 基础知识

0.669

神经外科    <-- 专业知识

0.393

生物化学    <-- 基础知识

0.629

神经内科    <-- 专业知识

0.468

生理学      <-- 基础知识

0.680

普通外科    <-- 专业知识

0.800

病理学      <-- 基础知识

0.774

内分泌系统  <-- 专业知识

0.679

医学伦理学  <-- 公共知识

0.362

泌尿外科    <-- 专业知识

0.649

医学心理学  <-- 公共知识

0.496

精神病学    <-- 专业知识

0.337

预防医学    <-- 公共知识

0.525

计划生育    <-- 专业知识

0.267

卫生法规    <-- 公共知识

0.274

呼吸系统    <-- 专业知识

0.723

 

 

上表显示,多数科目在潜在因素上的载荷大于0.4,少数科目在潜在因素上的载荷小于0.4。载荷大于0.4的科目对潜在因素贡献较大,载荷小于0.4的科目对潜在因素贡献较小。

具体来说产科、传染病学、儿科学、妇科、骨外科、呼吸系统、泌尿外科、内分泌系统、普通外科、神经内科、泌尿内科、输血、外科总论、消化系统、胸部外科、血液系统、循环系统、诊断学的试题对专业知识因素贡献较大,卫生毒理学、神经内科、精神病学、计划生育、风湿病的试题对专业知识因素贡献较小;医学免疫学、医学微生物学、药理学、生物化学、生理学、病理学的试题对基础知识因素贡献都较大;医学心理学、预防医学的试题对公共知识因素贡献较大,医学伦理学、卫生法规的试题对公共知识因素贡献较小。

 

3)、各潜在因素之间的相关

潜在因素

相关系数

专业知识    <-->    基础知识

0.917

基础知识    <-->    公共知识

0.852

专业知识    <-->    公共知识

0.830

   从上表可以看出,各潜在因素之间的相关都很高,说明专业知识、基础知识和公共知识之间的联系紧密,特别是基础知识与专业知识之间相关很高。

 

2、多样本拟合指数比较

1)、不同性别考生的拟合指数比较

性别

Χ2

DF

P

Χ2/DF

GFI

AGFI

CFI

RMSEA

男性

3360.295

492

0.000

6.830

0.949

0.942

0.951

0.036

女性

3548.639

492

0.000

7.213

0.941

0.933

0.945

0.038

   从上表可见,GFIAGFICFI均大于0.90RMSEA均小于为0.05,模型的拟合度很好,说明此三因素模型对于不同性别考生都有较好的构想效度。

2)、本科和本科以下学历考生的拟合指数比较

学历

Χ2

DF

P

Χ2/DF

GFI

AGFI

CFI

RMSEA

本科

3536.063

492

0.000

7.187

0.944

0.936

0.930

0.038

本科以下

3668.073

492

0.000

7.455

0.939

0.930

0.930

0.040

   从上表可见,GFIAGFICFI均大于0.90RMSEA均小于为0.05,模型的拟合度很好,说明此三因素模型对于本科和和本科以下学历考生都有较好的构想效度。

3)、地市和地市以下单位所属考生的拟合指数比较

单位所属

Χ2

DF

P

Χ2/DF

GFI

AGFI

CFI

RMSEA

地市

3934.768

492

0.000

7.997

0.944

0.936

0.943

0.039

地市以下

4236.772

492

0.000

8.611

0.938

0.929

0.933

0.040

   从上表可见,GFIAGFICFI均大于0.90RMSEA均小于为0.05,模型的拟合度很好,说明此三因素模型对于地市和地市以下单位所属考生都有较好的构想效度。

四、        结论

本文采用验证性因素分析,对临床执业医师综合笔试基础知识—专业知识—公共知识三因素理论构想模型进行了验证,得到了较好的模型拟合指数,在此基础上,还对不同性别、不同学历、不同单位所属考生进行了多样本比较,结果发现不同性别、不同学历、不同单位所属考生对三因素理论构想模型拟合都比较好,说明临床执业医师综合笔试的构想效度比较好。但是,有些科目的试题对潜在因素的代表性还需进一步加强。

 

 

 

参考文献

[1]  孟庆茂,侯杰泰.《协方差结构模型与多层线性模型》

[2]  赵世明.行业资格考试的标准参照研究.博士论文,1998

[3]  ByrneBarbara M.Structural Equation Modeling With  AMOSEQSand LISRELComparative Approaches to Testing for the Factorial Validity of a Measuring Instrument International Journal of Testing 1no.1(2001)55-86  

 

本网(国家医学考试网)所刊载的所有信息,包括文字、图片、软件、声音、相片、录相、图表,广告、商业信息及电子邮件的全部内容,除特别标明之外,版权归国家医学考试网所有。未经本网的明确书面许可,任何单位或个人不得以任何方式作全部或局部复制、转载、引用,再造或创造与该内容有关的任何派生产品,否则本网将追究其法律责任。
  本网凡特别注明稿件来源的文/图等稿件为转载稿,本网转载出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。如对稿件内容有疑议,请及时与我们联系。
  如本网转载稿涉及版权问题,请作者在两周内速来电或来函与我们联系,我们将及时按作者意愿予以更正。

 
中心简介联系我们法律声明意见箱   京ICP备 07005584号
Copyright © 2006-2007 NMEC. ALL RIGHTS RESERVED. 版权所有:国家医学考试中心