质化编码技术在内容效度验证中的应用

开篇：润墨网以专业的文秘视角，为您筛选了一篇质化编码技术在内容效度验证中的应用范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

作者：胡炜，宋华淼，苗丹民，刘练红，徐蕊

【摘要】 目的：尝试将质化编码技术用于对问卷的内容效度研究. 方法： 在公文筐测验研究工作过程中采用质化研究的方法对测验内容效度进行分析，并与传统的专家评定内容效度的方法进行比较. 结果：采用质化编码技术获取情景模拟测验项目内容或绩效考核项目内容的时候，在保证编码一致性达到85％的基础上，和专家评定内容效度吻合程度良好. 结论： 质化研究的方法可以作为一般量化研究方法的先验步骤和所要量化的内容结果的验证方法，进一步证实可以将质化研究和量化研究相互作为预研究和验证研究的循环混合研究模式的思想，供研究者作为参考.

【关键词】 定性研究；编码技术；内容效度

0引言

关于量化研究范式和质化研究范式的应用曾争论一时. 而今，将两种研究范式结合应用已成为学术界关注焦点. 虽然混合研究的根源可以追溯到20世纪70～80年代，学术界所接受的关于混合研究方法范式已有研究［1］. 国内外文献也陆续报道了将质化和量化混合研究方法的思想［2-4］. 本研究试图通过将质化编码技术引入到公文筐测验的内容效度研究中来讨论质化研究作为量化研究内容效度的验证方法这一思路的可行性.

1对象和方法

1.1对象由4名心理学专业研究生组成的质化编码小组和由1名心理学专家和3名“行业专家”（subject matter experts， SMEs）组成的专家评定小组. “行业专家”均为有5年以上干部管理、人事工作经验的大连市某区委组织部干部.

1.2方法该研究中由4名专家组成员采用“背靠背”的Delphi专家评价法，经过4轮反复评判，从已有的公文资料中筛选出11份经专家认定为通过前期工作分析获得的测评维度上有代表性，并且相互区分度比较大的公文资料. 再由专家对公文内容和可能出现的应对方式进行内容评定，并且归纳出公文资料的内容条目，列出条目表格. 测评维度的专家评价一致性的计算采用肯德尔和谐系数（Kendell?s w）. 将公文资料编订为《政府公务公文筐测验》问卷. 问卷分为两个部分，直接批示部分（卷一）和开放自陈部分（卷二）. 卷二要求被试者回答对材料情景的第一认知反应内容，对任务和目标群体的分析，采取行为策略的思维过程，以及对可能结果的预期等方面内容. 以期符合行为事件访谈（behavioral events interview, BEI）的情景－任务－行为－结果技术模式（STAR model）［6］. 再由区委组织部组织所要考评的400名人员进行公文筐测试. 收回问卷390份，在其中随机抽取41份问卷，将卷二的回答转录成文本格式文件存在电脑中，编号后随机分配到4名编码小组成员手中采用开放式编码方法进行分析. 编码小组事先和专家小组无任何沟通. 首先采用统一的理论模式框架对编码小组成员进行统一培训，然后4人同时编一份问卷，并对结果进行讨论，无法达成一致的地方记录下来，计算4人编码一致性. 编码一致性（category agreement, CA）即编码者之间对相同资料的编码归类相同个数占总个数的百分比. 采用Winter（1994）动机编码手册提供公式，S为评分者编码归类相同的个数，A1为甲编码个数，A2为乙编码个数，A3为丙编码个数，An为第n个编码者编码个数，计算公式为CA＝n*S/（A1+A2+A3＋……＋An）. 如果编码小组4人编码一致性达不到0.700，则重新讨论，反复进行，直到达到编码一致性要求. 然后一致性最高的两人分为一组，两人编码同一份答卷材料. 按照如前所述方法进行编码，并记录编码一致性. 最后归纳成编码条目归纳表，用于和专家评定的条目表进行比较验证.

统计学处理 研究中所有的质化编码过程均在EXCEL2003数据表和Nvivo2.0编码软件上进行，对问卷结果的一致性分析采用SPSS13.0软件包进行.

2结果

2.1专家评判确定的公文资料的测评维度按照对职务胜任的要求，经过Delphi专家评判，确定了11份公文资料（测评项目）所能测评的维度（表1）. 4名专家评判上述11份资料（项目）在维度上进行区分度5等级评分，然后采用肯德尔和谐系数校正公式计算评分一致性系数［8］，Wc=0.808（P<0.05）. 达到对专家评定一致性的要求.

2.2编码者内部一致性计算每两名编码者对40份随机抽样答卷资料的质化编码一致性，最低编码一致性系数为0.767，最高编码一致性系数为0.933，平均编码一致性系数为CAi=0.850.

2.3质化编码结果内容限于篇幅这里仅列出1?01号公文资料的开放性质化编码结果，即文件编号1－01；一级编码条目为“根据任务的轻重缓急确定工作次序，组织各种指向结果的行动以实现目标，有效授权及利用各种可用资源”，二级编码条目为① 落实工作，② 授权，③ 制定实施方案；行为描述在“落实工作”中有① 与来电部门沟通弄清领导视察的目的和安排等，②制定领导视察各项事务的工作计划，③安排接待人员/有关领导要陪同，④ 要求反馈落实情况，⑤ 与市政府办公室联系确定时间内容将反馈结果通知教育部门，⑥对接待工作准备核查；“授权”中有①通知教育机构负责人做准备/电话联系（通知区教育局）/亲自到教育局找科长/在区内发文件，各部门做好准备，②责成专门人负责准备；“制定实施方案”中有①做调查报告写出汇报材料，②召集有关单位和人员开会研究，③ 事先到现场模拟考察.

表1公文资料测评维度及专家评定内容双项细目表（略）

注： （1）专家评分采用区分度5级权重评分：1为不能说明此维度，2为比较能说明该维度，3为能说明该维度，4为很能说明该维度，5为非常能说明该维度；（2） “*”表示经过专家认定该文件材料在该维度上和其他材料有显著区分度；（3） 表格中只列出专家认定有明显区分度（鉴别力）的维度和文件材料.

2.4专家评定测评维度与质化编码经过4名专家对测评维度结合现有的文献反复认定后，确定各测评维度的内容（表2）. 结合表1专家评定的内容效度双向细目表进行分析，其中有两项内容不一致，分别是1?02（专家评定进入“综合”维度），1?03（编码结果归纳进入“综合”维度）. 采用Winter（1994）动机编码一致性公式计算专家评定和质化编码两种方法评定的公文归类结果的一致性，CA?=0.818.

表2专家评定获得维度与编码内容（略）

3讨论

“质化研究”（qualitative research）在国内通常被翻译为“定性研究” . 国内学者陈向明［9］定义质化研究“是以研究者本身作为工具，在自然情况下采用多种收集资料的方法对社会现象进行整体性的探究，使用归纳分析资料和形成理论，通过与研究对象互动对其行为和意义建构获得解释性理解的一种活动”.

质化研究应用于心理学研究的关键点之一在于能对实际情景下人的开放式行为反应进行收集和研究. 并通过归纳分析，为所获得的理论、模型等进一步建构内容意义. 质化编码技术是质化研究中对所收集的研究资料进行整理分析的具体技术之一. 通常分析质化资料的技术主要有归档、编码、分类、归纳、评定等［7］，这里主要讨论的是质化编码技术的应用. 编码技术主要包括：开放式编码（opening coding）、选择式编码（selective coding）,轴心式编码（axial coding）3种［10］. 本研究采用了开放式编码，即研究者排除固有的见解或理论定势，将所有的材料按照其本身的属性、主题进行编码.

研究尝试讨论了将质化研究的编码技术应用于人才测评工具的内容效度研究中，取得比较满意的效果. 分析传统专家评价方法获得内容结果和对被试群体开放式反应内容调查资料的质化编码结果的一致性：在保证编码者内部平均一致性CAi=0.850的前提下，采用Winter编码一致性公式分析，两种方法评价文件内容结果的一致性（CA?）达到0.818.

目前国内部分研究在采用传统专家评定方法验证内容效度时，并未给出对“专家”的详细明确界定. 同时，对于涉及情景模拟性能力测验的研究，采用专家评定法验证内容效度在一定程度上限制了对所要考察的关键内容的获得. 基于上述问题，本研究尝试将对内容效度的研究拓展到对被试者所提供的关键行为描述的整体评定，并采用统一的质化研究框架进行质化编码分析. 以期能以这种研究方法作为一种新的内容效度研究思路，并可同时获得被试群体更为全面的关键行为内容指标.

本研究是将质化编码技术应用于公文筐测验设计的效度研究过程中，尝试对内容效度进行考察，提供了将质化研究方法作为量化研究的先验和内容效度验证的思路. 著名方法学者麦克思维尔（Maxwell）提出质化研究本身也有类似于量化研究内容效度分析的描述效度（description validity）,解释效度（interpretive validity）等考察意义建构的效度研究内容［11］. 这对将质化研究中的具体技术作为量化研究过程中内容效度考察方法提供了一定理论依据.

【参考文献】

［1］ Tashakkori A, Teddlie C. Handbook of mixed methods in social and behavioral research ［M］. Thousand Oaks, CA: Sage, 2003：1-8.

［2］ 张红川,王耘. 论定量与定性研究的结合问题及其对我国心理学研究的启示［J］. 北京师范大学学报(人文社会科学版), 2001,166(4):99-105.

［3］ 秦金亮，郭秀艳. 论心理学两种研究范式的整合趋向［J］. 心理科学，2003，26（1）:20-23.

［4］ Katrin N, The combined use of qualitative and quantitative methods in educational research［D］, Tallinn pedagogical university dissertations on social sciences, 2004:4-22.

［5］ Ronald JC, Mark ES, Psychological testing and assessment［M］. 6th edition, McGraw?Hill Co. and Posts & Telecom Press, 2005:159-160.

［6］ Spencer JM, Spencer SM. 魏海金译. Competence at work ［M］. 汕头：汕头大学出版社, 2003:139-187.

［7］ 秦金亮. 心理学研究方法新趋向—质化研究方法评述［J］. 山西师大学报（社会科学版），2000,27(3):11-16.

［8］ 孙振球,徐勇勇,潘晓平,等. 医学统计学［M］. 北京:人民卫生出版社, 2002:376-378.

［9］ 陈向明. “质的研究”中研究者如何进入研究现场［J］. 高等教育研究. 1997,4:67.

［10］ Strauss A. Qualitative analysis for social scientists ［M］, Cambridge, UK. University of Cambridge Press, 1987:64.

［11］ Maxwell JA, Qualitative research design: An interactive approach ［M］, Thousands Oaks: Sage Publication, 1996：138-144.