首页 > 分享 > 【PISA研究】PISA2015协作式问题解决测评技术运用探析

【PISA研究】PISA2015协作式问题解决测评技术运用探析

萌宠菠菠乐园
2024-10-17 09:33

2015年，我国北京、上海、江苏、广东四省市作为整体参加PISA2015测试，测试结果已于2016年12月至2017年11月陆续公布。为推动国际测评结果本土化应用，提升我省基础教育管理与决策科学化水平，提高学生培养质量，广东省教育研究院以国家社科基金项目“PISA视角下中国经济发达区域的中学生发展基础素养状况及提升路径研究”（课题批准号BHA170147）为抓手，组织专业人员开展专项研究。“广东教育研究”近期将通过“PISA研究”专题陆续发布课题相关研究成果，敬请垂注。

本期分享的是——

PISA2015协作式问题解决

测评技术运用探析

摘要

PISA2015使用全新的测评理论与技术首次评估15岁学生协作式问题解决能力。本文基于协作式问题解决能力测评面临的主要挑战，从PISA2015协作式问题解决能力测评框架设计、测评工具研发等流程进行深入探析，在此基础上加以总结和展望。

关键词

PISA2015；协作式问题解决；测评理论与技术；人机交互。

随着社会分工日益精细、技术管理日益复杂、知识技能日益细化，不同领域和专业的人们通过沟通与合作共同完成各种各类任务的情境日渐成为常态，这其中包含的人际社交能力、问题解决能力日渐成为世界各国的重点教育目标，它们也被列入21世纪现代公民事业成功、家庭幸福的必备基本技能①。通过测评人际社交、问题解决等能力的形成过程、水平高低，摸清能力形成的关键规律，对学校教育和培养学生的协作式问题解决能力具有重要的指导作用。

一

协作式问题解决能力测评面临的主要挑战

协作式问题解决能力作为人际社交、问题解决两种高阶技能的复合体，虽然受到高度重视，但大规模实施有效测评面临诸多挑战，此处列出三种主要困难。

（一）协作式问题解决是协作与问题解决交互复合的联动过程，构成因素众多

协作式问题解决是协作、问题解决这两个有序行为自由交互、双线联动构成的复杂过程，其中既有个体层面内隐的心理加工过程，又有团队层面的内在认知活动，还有不同个体经历与问题情境的交互作用、个体之间循环往复的互动行为等等；在这个过程中，心理活动、交互行为彼此渐进建构、相互影响，共同构成复杂抽象过程。这种复杂抽象性对准确评估协作式问题解决能力提出挑战：人们需要梳理出构成协作式问题解决系统的众多因素，确定何者为需要求取的变量，何者为需要控制的变量，何者为需要尽量减少或避免的误差。

（二）协作式问题解决效果受制于多种因素，个体与团体表现难以截然分开

协作式问题解决的研究源于问题解决的社交属性。良好协作情境下，团队成员分工合作、共享互助、协商共担，使得个体能力在环境支持和团员互动中得到补充、支持与解放，个体表现将极大受益于团队支撑；反之，团队成员构成同质、观点分歧、任务不均、主题分散等，这些团队中的潜在风险可能会极大削减个体表现水平；这说明协作式问题解决中个体与团体表现难以截然分开，这对准确评估协作式问题解决能力提出挑战：人们需要根据测评目的确定跟踪、采集、记录哪些与怎么跟踪、采集、记录协作式问题解决中相应表现的过程性数据。

（三）协作式问题解决是交互式非线性的动态过程，个体表现难以预控

协作式问题解决是由若干个体组成的团队围绕明确目标，通过一系列的对话与行动互动、达成有效沟通，最终解决问题的动态过程；在这个过程中，个体表现不仅受制于问题难度、个人认知能力，而且受制于团队构成、协作环境；协作沟通行为、问题解决行为都没有固定规律，任何一个问话、任何一个表述、任何一个表情或语气等都可能改变个体行为；问题解决路径也多样化，下一步行动取决于已经完成的任务，等等。这样的非线性动态过程对准确评估协作式问题解决能力提出挑战：人们需要将协作式问题解决过程从结构上加以简化，特定团队所处情境，监控团队协作方式与问题解决方向，规范和量化问题解决过程。

二

PISA2015协作式问题解决能力测评框架设计

PISA一直非常重视问题解决能力测评，其中对学科问题解决能力的评估贯穿在阅读、数学、科学各个领域中；PISA2003、PISA2012则分别采用纸笔模式、计算机模式开展跨学科问题解决能力测评。PISA2015首次开展协作式问题解决能力测评，主要从整合协作式问题解决测评系统的构成因素、结构化所测技能、采用人机交互模式来应对大规模标准化测评协作式问题解决能力面临的挑战。

（一）整合协作式问题解决测评系统的构成因素

PISA2015将协作式问题解决能力测评重心放在协作技能，从过程和影响因素角度加以梳理，整合形成以学生背景、核心技能、测评情境三大方面建构的协作式问题解决测评系统，如图1所示。

图1 协作式问题解决测评系统的主要构成因素②

核心概念

PISA2015从操作层面定义协作式问题解决能力如下：个体有效地参与到与两个或两个以上成员组成的团队之中，为了解决问题，尝试通过沟通和理解，汇聚团队成员的知识、技能和努力最终找出解决方案的一种个人能力③。该定义一是强调在协作式问题解决情境中通过控制、改变与个人合作的群体成员特征，对个人协作式问题解决能力进行全面评估；二是强调协作必须在团队中进行；三是强调以得到解决方案为目标。另外，PISA2015将协作式问题解决能力独有的协作技能提炼成三种：达成共识、采取行动、组建团队，把协作技能置于测评的中心地位，涉及问题解决技能的部分则降低难度。

学生背景

学生的先备知识会影响其问题解决能力和协作技能的发挥，学生的个性特征也会影响其问题解决能力和协作技能的发挥，但这些不能成为影响协作式问题解决测评的重要因素，故列为需要尽量减少的误差。学生认知能力是问题解决技能的重要基础，则需归入目标变量。

核心技能

协作式问题解决能力的核心技能分为协作技能和问题解决技能，其中问题解决过程技能仍延续PISA2012的划分，由探索和理解、表达和形成、计划和执行、监控和反馈四部分组成；协作技能则抽出基础、解释、协调、进入角色、观点采择、观众设计、辩论、共同规则等关键点，将它们置入达成共识、采取行动、组建团队这三大技能中。

测评情境

PISA2015梳理出四个维度：问题情境、团队组成、任务特征、媒介。

问题情境维度主要如下：一是任务类型，主要有拼图型、共识型、谈判型、产品型四种，PISA2015只涉及前三种；二是情境设置，分为个人类与公共类、学校类与非学校类、技术类与非技术类，所用均是15岁学生熟悉的环境；三是领域内容，即任务知识主体可能涉及科学、数学、阅读、环境、政治、体育、艺术等。这些不是协作式问题解决能力测评重点，故列为需要控制的变量。

团队组成维度考虑的是团队规模、成员地位的对等性、成员角色的对等性。有效协作的特点是协作对象间在知识、地位和目标方面具有相应对等性，如果团队成员来自不同的文化背景、所处的社会地位不同，也会影响学生问题解决能力和协作技能的发挥，故将这些因素归入需要尽量避免的误差。

任务特征维度主要如下：一是任务的开放性，即需要解决的问题是结构良好的还是结构不良的；二是信息的可获得性，即解决问题可用信息是静态呈现的还是动态生成的；三是成员的相互依赖性，即每个成员都有价值，只有全体成员共同参与才能成功解决问题；四是目标的对等性，即是团队的群体目标，而不是可能有冲突的个人目标；五是解决方案的距离，即从起始状态到达目标状态的路径。这些是直接影响协作式问题解决能力表现的主要因素，故列为需要控制的变量。

媒介维度主要考虑的是试题语义呈现的丰富性、试题背景与外部世界衔接的指向性、团队借助媒介沟通交流的容易度、问题空间中队员操作信息的显性与隐性传送。这些也是直接影响协作式问题解决能力表现的主要因素，故列为需要控制的变量。

PISA2015是标准化的大规模评估项目，不可能评估图1所示的所有因素，也不可能兼顾因素的大量组合。因此，在设计测评工具时，很多因素会加以固定，如让团队每位成员均是同龄学生身份，对话内容均是15岁学生熟悉的，所用思维方式和任务解决方法也是15岁学生常见的，等等，而灵活变化的因素很有限。由于PISA2015协作式问题解决测评的重点是协作技能，因此，协作技能对应的问题将因低、中、高难度而不同，而问题解决技能只有低、中两个难度。

（二）矩阵型结构化所测技能

PISA2015协作式问题解决评估以能力导向，其中问题解决部分侧重于四个具体的过程技能，协作部分强化三大具体技能，问题解决的四个过程技能与三个协作技能交叉构成PISA2015协作式问题解决能力矩阵。如表1所示，每个协作技能与具体的问题解决过程绑定，这样就把每个协作技能在问题解决不同阶段的表征拆分为差异化的具体行动、过程和策略。PISA2015为这12个协作式问题解决技能都命制了具体试题进行独立评估，再加以合成形成总能力。

表1 协作式问题解决能力矩阵[1]

（三）采用人机交互的对话模式采集测评数据

测评模式是对协作式问题解决过程进行建模和量化的过程，目前主流测评模式主要有人机交互（Human-Agent）和人人交互（Human-Human），两种均是基于计算机环境，记录被试在计算机环境中进行的操作，以生成日志数据作为分析对象。PISA2015重点关注的是测评所需要的高度可控性与标准化，因此采用人机交互，设计模拟队员（Agent）扮演协作同伴，在可控条件下，运用考生与模拟队员对话的方式测评以问题解决为导向的协作技能。

人机交互不仅能控制每个考生所处的协作环境一致，还可以创设足够数量的标准化协作环境，以确保在考试严格规定的有限时间内，评估覆盖到协作式问题解决能力矩阵（表1）中从A1至D3的12个具体技能水平。

三

PISA2015协作式问题解决能力测评工具研发

基于计算机的评价为控制评估情境、收集和分析学生表现提供了一种有效手段。这种控制水平降低了测量的复杂性，并使评估在技术上可实现。

（一）测评工具设计

测评工具结构

以单元为基本对象。每个单元属于同一个主题，包含多种任务；围绕特定问题情境，每个任务下设置2~10道试题，所以每个单元的试题数量约10~30道，完成一个单元通常需要5~20分钟。2个单元形成一个题集，一个题集设定30分钟作答时间。PISA2015协作式问题解决能力的测评共设计了3个题集，117道试题。

试题设计

每个任务从开始至结束，由考生与模拟队员进行多个回合的沟通、聊天与行动，这些回合组成一系列具体试题。每道试题都给出有限选项，考生通过选择来确定完成任务的路径，其中一些路径导向解决方案，而一些路径可能偏离解决方案。一个任务的结束点自然形成下一个任务的启动起点。若考生不能顺利抵达任务结束点，则通过救援程序安排模拟队员加以补救，以确保下一个任务正常启动。

试题分布

每道试题都指向协作式问题解决能力矩阵（表1）12个具体技能的其中一个，试题之间相互独立，所有117道试题涵盖了从A1至D3的全部技能。表2显示的是全部试题分布情况，由于“达成共识”“建立团队”这两大项特别侧重于协作技能，因此试题所占比例大；而“采取行动”这一项更侧重于协作环境中的问题解决行为，因此试题比例相应较小。

表2 协作式问题解决试题分布一览表

作答模式

考生通过点击屏幕上的选项、图标、可视化区域等方式，完成每道试题给出的任务。由计算机自动完成考生的全部作答编码。

结果解释

与PISA其它领域测评一样，学生在协作式问题解决测评领域的整体表现用精熟度量表作为评价标准。PISA2015协作式问题解决精熟度量表（此处略）分为1~4级精熟度水平，根据成功完成位于等级内的试题所需技能来描述；得分低于1级水平临界值时，自然归到1级以下水平。得分落在1级区间的学生有望完成1级难度的绝大多数试题，但不可能答出更高水平试题；而成绩落在4级区间的学生很可能成功完成PISA协作式问题解决评估中所有试题。

背景问卷

图1中，先备经验、个性特征、协作态度等影响学生协作式问题解决表现的因素，放在相关的背景问卷中进行调查。

（二）PISA2015协作式问题解决解密试题示例

PISA2015协作式问题解决测评报告提供了《卫星国》单元共4个任务12道试题，从协作技能、问题解决过程、协作式问题解决能力、试题难度、期望行为等角度说明如何开展协作式问题解决测评④。

情境设置

考生和两名模拟队员（罗玲玲、杨刚）组成三人小组参加一场竞赛，须回答关于虚构国家“卫星国”的一些问题，这些问题平均分配为“地理”“国民”“经济”三类。问题情境具有校内、个人和非技术性。

任务设置

任务1是通过按照指示行动、理解竞赛、达成一致策略、确定最优方法等5道试题来理解竞赛，任务2是通过自主选择主题、陈诉选择理由、达成选择共识这3道试题就偏好达成共识，任务3是通过确定答题方向、进行作答比赛2道试题有效参加竞赛，任务4是通过进度介绍的2道试题来评估竞赛进展。完成这些任务需要通过协作达成共识，协调角色分工，并积极推进问题解决进程。

试题示例

篇幅所限，仅解读任务4的第一题。试题4-1（如图2）考查的协作式问题解决能力属于D2（监控行动结果和评估问题解决的成效），难度值是730（水平4）。对考生的期望行为是：点击选项“除了‘经济’部分，我们看起来不错。”此题要求考生回答组员罗玲玲的问题，并提供团队进展的其他信息。需要考生查明尚未做的题目情况这一额外要求，使这道题成为四级水平中的偏难题目。考生必须使用问题空间显示的信息，结合对竞赛方式的理解，才能做出正确反应。期望的作答是：承认小组在一些主题上取得了进展，如记分卡所示，但需要察觉经济类问题仍没有一个正确作答。另一种反应（“太好了，我们做完一半了”)在技术上是正确的，但这种反应并不能帮助团队识别出尚未解决的一个领域。

图2 《卫星国》试题4-1

PISA2015共52个国家/地区参加了协作式问题解决测评，其中OECD国家共32个，伙伴国家/地区共20个。中国四省市（京沪苏粤）学生的协作式问题解决平均成绩是496分，位居第26位，与OECD国家平均成绩无显著差异。

四

协作式问题解决能力测评研究启示与展望

PISA2015开创了基于计算机人机交互模式大规模评估学生协作式问题解决能力的测评先河，启迪后继研究者在学习借鉴的基础上展开诸多思考与探索。

（一）研究启示

理论先行

PISA2015首先从理论上给出协作式问题解决能力的操作性定义，确立测量重点放在合作背景下以解决问题为导向的个人协作技能；整合问题解决、协作学习、对话分析、计算机测评等多种理论建构由学生背景、核心技能、测评情境组成的协作式问题解决测评系统，明确系统各个构成元素的功能与定位；深入剖析测评重点核心技能，构建由具体技能组成的能力矩阵，并明确每个技能对应的学生典型行为表现；给出测评工具的研制标准与测评结果的解读标准。这些严谨规范、推陈出新的理论研究指导着后续的测评实践，同时在实践探索中不断丰富完善。

技术引领

计算机与互联网技术的发展给教育测评带来了新的可能，不仅提供了新的测评手段，也推动着测评理论的创新。PISA2015运用人机交互的计算机模式，通过考生与模拟团队成员的对话、聊天、行动等协作互动，对大规模考生的协作式问题解决表现加以评估。为大规模标准化协作式问题解决能力的测评提供了新的可能。

削枝强干

协作式问题解决涉及合作团队中众多队员内在心理活动、形式多样外在交互行为，影响因素纷繁复杂。PISA2015在研究阶段，细致分析了各种影响因素及其作用路径；但在实践阶段，为使评分具有可操作性，以协作式问题解决能力矩阵作为抓手，突出协作技能的测评，只给关键因素设计了有限变化（固化模拟团队构成、学生只能从给出选项中选择对模拟队员的回应），以避免出现做出预想外的应答。这种削枝强干的方法保证了评分的精度。

分工协作

PISA是跨文化、跨国家/地区的国际比较，对测评的公平性与数据的可靠性有极高要求。PISA2015协作式问题解决在工具研制、数据采集、结果解读等各个环节均采用规范化、标准化、程序化操作，在众多国家众多领域专家的分工协作下一切以在规定时间内严格可控、工具科学公平、数据采集方便操作、结果解读标准清晰为必备条件，确保了该项测评的公平与可靠。

（二）研究展望

PISA2015协作式问题解决测评带给人们许多惊喜，让人们真切感受到科技带给教育测评的革命性改变，而且也展示了未来发展的一个方向。

测评情境是达成协作式问题解决能力测评的关键。由于协作式问题解决是一项联动渐进式建构活动，因此在真实情境中，同一问题背景下，不同团队的问题解决路径可能多种多样。目前的人机交互模式题目只能模拟极为有限的路径，在情景真实性方面有所妥协，有待改进与完善。即使在同一问题背景下，不同的团队构成、成员在团队中的相对地位等都可能会影响成员的协作与解决问题能力的表现。PISA2015的协作式问题解决测评只是实现了对有限的特定状态下的测评，有待进一步拓展。

本文系国家社会科学基金教育学一般课题《PISA视角下中国经济发达区域的中学生发展基础素养状况及提升路径研究》（批准号：BHA170147）的研究成果。

注释

① Csapo, B.and J. Funke (eds.) (2017), The Nature of Problem Solving: Using Research to Inspire 21st Century Learning, OECD Publishing, Paris.P20.http://dx.doi.org/10.1787/9789264273955-en.

② OECD (2013), PISA 2015 Draft Col-laborative Problem Solving Frameword. P13, P16.

③ OECD (2017), PISA 2015 Results (Volume V): Collaborative Problem Solving, PISA, OECD Publishing, Paris. P47. http://dx.doi.org/10.1787/9789264285521-en

④ OECD (2017), PISA 2015 Results (Volume V): Collaborative Problem Solving, PISA, OECD Publishing, Paris. P53-63. http://dx.doi.org/10.1787/9789264285521-en.

参考文献

[1] 王蕾. 学生发展核心素养的考试和评价——以PISA2015创新考查领域“协作问题解决”为例[J]. 全球教育展望，2016(8), 24-30.

作者

◆ 许世红（广东省教育研究院教育评估室副主任，研究员）

◆ 张一平（华南师范大学心理学院）

◆郑海燕（华南师范大学基础教育培训与研究院）

温馨提示

PISA研究”即可获取相关专题报道。

来源：《上海教育科研》2019年第3期

P47-P51、P64

编辑：广东君

责任编辑：