Theoretical Model and Quantitative Assessment of Scientific Thinking and Reasoning
科学思维的理论模型与量化评估
IV. iSTAR评估框架和工具
本节将介绍我们开发的一个新的科学思维评估工具iSTAR (Inquiry in Scientific Thinking, Analytics, and Reasoning)。这里使用“探究（Inquiry）”一词是为了表明iSTAR的主要开发目的是为学习和评估提供一个操作框架，以支持探究性学习。该框架可用于指导开发和评估旨在培养科学思维的探究式教学。此评估框架基于前文讨论的科学思维的DMCR理论模型和IDEA-Loop思维过程。
A. 定义操作评估框架和技能维度
从图7中讨论的学习和思维能力的发展进程来看，处于传统教育环境中的学生往往缺乏适当的思维技能训练，这些技能是发展DCR、将DCR与MCR结合起来以得出基于证据的因果结论所必需的。因此，科学思维的评估框架是为了强调这些技能。例如，以发展DCR为目的的相关技能，是通过评估学生在从简单到复杂的情景中进行有效数据分析的能力来衡量的（如图3、图4）。与此对应，构建MCR的技能则根据学生处理来自先前知识偏见的能力，以及他们在不同场景中应对显性和隐性变量识别可能机制的能力进行评估。这些评估任务的复杂程度可以通过调控变量数量、关系类型、因果条件等加以实现。此外，鉴于“有效协调理论和证据以得出有效的因果结论”这一能力至关重要，评估框架中还强调了整合DCR和MCR以评估和分析证据和假设之间关系的能力。这些能力是通过数据分析和因果决策任务来测量的。
基于科学思维的DMCR理论模型，iSTAR评估框架定义了三个主要维度以描述思维技能和过程，其中每个维度也涉及多个子技能。这三个主要维度分别是变量控制（COV）、数据分析（DA）和因果决策（CDM），如图8所示。子技能和测试项目列表如表 1 所示，并将在下一节中讨论。该列表展示了DMCR理论中的核心技能：使用变量控制设计协变实验、分析数据以提取有效DCR，以及通过因果决策协调DCR和MCR以得出有效结论和构建新知识。基于此，我们在定义子技能的同时，也是在对“DMCR是如何在功能上运作以支持科学思维”的过程进行操作性定义。
在对科学思维的过程和相关技能进行建模时，需要理清之前讨论的三个建模框架之间的关系。DMCR理论模型提供了思维技能的概念基础，即科学知识是在使用科学思维和因果思维的科学探究过程中发展起来的（见图1）。同时，图5所示的IDEA-Loop模型描述了科学思维和因果思维在科学探究的动态循环中的功能。最后，图 8 所示的 iSTAR 评估框架概述了不同思维技能领域的结构组件和交互关系，而这些都是可以定义和测量的。这些模型共同为描述、建模和测量科学思维技能提供了一个完整的理论和操作框架。
图8. iSTAR的科学思维评估框架
在这些技能中，控制变量（COV）是建立受控实验的第一步，从而获得自变量和因变量之间的协变数据，并形成DCR（见图3）。现有关于COV的研究较多，这为确定其子技能和项目设计提供了依据 [49, 72]。如前所述，COV评估任务的复杂性可以通过调控场景熟悉程度、变量数量、数据呈现方式和变量间关系来控制 [72]。
数据分析（DA）是一个宽泛定义的维度，包括各种数据分析和解释技能，使学生得以识别有意义的数据模式和趋势，并评估其有效性，并构建和验证变量之间的DCR。此外，这一维度在测评中也特别强调对条件概率的评估，因为条件概率被认为是因果决策中的一个关键因素 [73]。总的来说，数据分析类别的子技能包括对比例、相关性、数据协变模式、条件概率和贝叶斯概率的评估和解释。这些技能支持IDEA-Loop中的I-、D-和EA-过程，用于发现、推导和评估有效证据和假设的约束条件，广泛用于协调假设（MCR）和证据（DCR）的过程中（如图5、6）。
因果决策（CDM）也是一个宽泛定义的维度，侧重于“通过应用COV和DA过程的结果来综合分析DCR和MCR，并最终得出有效的因果关系”的能力。这是DMCR的关键步骤，因为它整合了前两个过程（COV和DA）的结果，并试图在DCR和MCR之间进行因果关系的协调和确认。
在因果决策中，进一步定义了四个子类别的技能。首先是区分协变和相关关系的能力，学生们经常在这方面遇到困难，因为他们倾向于把相关结果解释为协变从而得出因果关系的结论 [74, 75]。这种能力通常使用“在没有设置适当的控制变量的情况下表现出相关关系”的任务进行测量。这些场景中也可能涉及到隐藏变量和其他混杂的因素或关系，而这些都有可能被学生忽视从而使得任务变得更为困难。
第二个子类别涉及一系列的条件概率和贝叶斯概率评估技能，这些技能在涉及DCR和MCR的任务中都经常使用。这些概率方面的概念理解和计算操作对于正确预测概率结果，推断可能的原因或促成因素，以及确定因果关系至关重要。
第三个子类别包括确定因果关系的条件规则和逻辑规则。这些规则常见于给定或假设了某些因果前提和结果的MCR任务中，学生需要应用条件化的逻辑规则，以确定能正确匹配这些要求的证据。这些规则包括处理充分、必要、有贡献和不相关的条件。另外，在这一类的技能中，还包括在前向因果预测和后向果因推断中转化这些规则的能力，前者如基于给定原因的D-过程中得出或预测结果，后者如基于观察结果的I-过程中推断可能的原因。例如，如果A是B的充分条件，前向逻辑可以描述为“如果A存在，则B一定存在”。相应的反向逻辑则是“如果B不存在，那么A也不可能存在”。这些条件规则是重要的逻辑思维技能，学生需要知道它们并在IDEA-Loop过程中正确应用，以在多变量环境中的确定正确的因果关系。
第四个子类别包括构建和修改MCR的思维技能，这通常会涉及到特定领域的知识。在评估中，这一类别的技能可以进一步分成两个细类。一是分析确定假设和其支撑证据之间一致性的能力，即在MCR的基础上综合考虑DCR进行因果决策的能力。例如，LCTSR包括四个测量有关假设验证的演绎推理能力的问题，其测量思路与基于机制的因果思维相同。为了回答这些问题，学生需要根据给定的假设，对不同条件的实验结果做出相应的预测（主要是通过D-过程），或者通过IDEA-Loop来确定实验结果，以验证某些假设。二是理解和处理协变情况时的能力，在学生们原有知识的影响下，他们在处理DCR时的推理可能会出现偏差，在这种情况下DCR理解和推理能力发展不足的学生可能转而依靠基于MCR的知识，而不是协变数据，来作为支持结论的证据。例如，在LCTSR的相关关系问题（小鼠问题）中，学生被要求运用分析技能来评估具有不同特征的小鼠的数量是否具有相关性。然而，缺乏必要的数据分析技能的学生可能会用基于机制的理解来回答：例如“小鼠的大小和尾巴的颜色之间可能存在遗传联系”（LCTSR第20题），即声称遗传机制可能是拥有深色尾巴的原因，但事实上这个机制性解释和题目所问问题的出发点是不相干的。
在完成具体推理任务时，这些技能会被组合使用，以支持IDEA-Loop的多途径运行。图8也展示了三个维度的思维技能之间的交互关系，并示意了不同思维技能在支持IDEA-Loop来协调DCR和MCR方面的主要功能。例如，在一个典型的任务中，控制变量维度的技能会被应用于建立受控的试验条件，这是收集协变数据的实验基础。这些条件由因果决策维度的技能来评估其协变或相关性质，其结果则被用作因果决策的证据（之一）。确定了控制变量条件，数据分析维度的技能则可用于分析所收集的数据，以确定特征的协变模式，作为因果决策的证据。这些技能共同作用于生成、评估和综合DCR和MCR，以确定因果主张的有效性。出于对问题设计的考虑，因果思维任务的难度可以通过因果关系网的复杂性来控制。因果关系网的范围可以从简单的少数变量系统到复杂的多变量系统，而嵌入的关系可以是简单的线性关系、条件关系和复杂的概率关系（如图3和4）。
在处理复杂的推理任务时，图8所示的三个维度的思维技能经常在IDEA-Loop的动态循环中相互补充。例如，当没有得出满意的结论时，因果决策环节的暂定结果可以重启实验，或操纵控制变量环节以修改实验条件。这种修改往往包括控制或改变不同的或附加的变量，以获得特定的测量设置或修改当前的协变条件。因果决策环节的结果也可以提供线索来指导数据分析环节，以确定新的或替代性的数据模式和关系，或使用一套不同的数据分析算法。然后，数据分析环节的结果可以反馈到控制变量环节的操作中，以达到改变协变条件和提高观察的数据模式的可靠性等目的。支持这些功能和过程的基本推理元素在归纳和演绎路径中以不同的复杂性和抽象级别经历多个 IDEA-Loop 循环。最终，这些功能和过程的组合提供了一个基于理论的操作框架，可以具体地评估科学思维和因果思维。