Theoretical Model and Quantitative Assessment of Scientific Thinking and Reasoning
科学思维的理论模型与量化评估
C. iSTAR测试样题
C1. 控制变量维度下的问题
控制变量维度（COV）的思维技能可能是科学思维研究最集中的领域[49, 72]。在LCTSR测试中，有6道问题（总共24道）用以测量COV技能。然而，最近的一项研究显示这6道题中有4道题的设计存在问题 [37]。但无论如何，这些研究成果为COV维度的iSTAR问题的开发提供了基础。
iSTAR测试中有9个问题涉及COV能力的测量，其中3个问题自LCTSR中改编，以等效iSTAR和LCTSR的测试结果。这些问题的修订是基于效度评估的研究进行的[37]。例如，图9呈现了LCTSR中的果蝇问题的修改版本，与LCTSR中的版本相比，修订版有三个主要变化。首先，在原题附图中，管子被重叠的黑点覆盖，而在新版本中，这些黑点被光滑的黑色取代。根据采访时的学生评论，原始图片中的黑点往往被误解为果蝇，而不是黑色的纸:“我还以为管子上的黑点是一群果蝇呢。”在将原始图片修改为图9后，随后的采访中没有学生出现类似误解。
其次，原版中四个管子的布局有时会让学生感到困惑，好像所有四个管子都水平放置在一张桌子上：“我不知道I和III管是垂直于桌面的。我还以为它们都平躺在桌子上。”此外，在原版中，代表入射光的箭头误导了一些学生，使他们认为光只来自箭头方向: “我以为那些箭头是光束，管子I和III中的果蝇会朝光的方向飞去。”为了解决这些问题，新版本画了一个透明的水平桌子，以更清楚地显示四个管的空间位置，删除代表光线的箭头，添加了注释说明灯光来自各个方向。经过修改，学生在随后的采访中也没有继续报告相关问题。
第三，这个问题的原始版本只标注了管子中未覆盖部分的果蝇数量，根据一位中学老师的建议，这可能会导致数学能力较差的学生在解读数字时出错。因此，为了避免学生计算能力对答题的影响，新版本在有遮盖和无遮盖部分都标注了果蝇数量，帮助学生明确比较条件和结果，而无需进行计算。一些语言措辞也在新版本中进行了优化。
此外，LCTSR的问题设计为两层结构，两题组中的第一个问题要求给出基于关系的结论，第二个问题则要求解释第一个问题的推理过程。LCTSR中的四个果蝇问题也基于这一原则被设计成两组，每组包含两个不同层次的问题。因为在之前的研究中发现，两个要求解释推理过程的LCTSR问题不清晰，有时会误导学生[37], 所以iSTAR测试并未将这两个问题包含其中。相反，我们改变了LCTSR中的果蝇问题的场景，使用了一个叠加的两层结构，即第二个问题仍然是基于第一个问题而构建的，但不是解释第一个问题的答案，而是要求利用拓展性的推理来识别新的COV策略，以生成适当的协变证据来支持可能的DCR主张（如图9所示）。换言之，为了明确地比较不同的COV条件和结果，新版本中将答案选项重新设计，使它们得以直接测量COV推理的核心过程。
图9. 果蝇问题的修改版本。答案的百分比分布是基于下一节讨论的大学生群体的结果。正确答案标有星号 (*)。
例如，对于图9所示的第一个果蝇问题，许多大学水平的学生能够选择正确答案(选项b)。然而，相当一部分学生不知道如何比较不同管子的结果[37]。回答错误的学生倾向于在比较过程中把注意力集中在管I，并通过对管I和管II进行比较从而得出结论: 果蝇对红光有反应，因为大多数果蝇都在无阴影的部分。对于重力的影响，许多学生用I和III管进行了比较，但他们得出的结论却分为了有影响和无影响两类。部分学生认为，果蝇逆着重力飞到管子顶部是对重力影响做出反应的标志，于是选择了c。而其他学生则认为果蝇在重力作用下飞到管子底部是受重力影响的标志，因此选择了a。在这两种情况下，学生的回答可以认为是基于先前的知识理解，而不是数据模型和变量控制的条件。此外，学生们在通过数据比较来确定某一变量影响时，往往倾向于只关注有关变量变化的情况，但忽略对可能的混淆变量进行控制的必要。因此，对于红光的影响，这些学生比较了管I和管II。对于重力的影响，他们比较了管I和管III。这种推理方式清晰的表明，此类学生在创建协变测量时缺乏对必要的COV条件的基本理解。
第二道果蝇问题建立在第一个问题的基础上，以针对性地衡量学生对略有变化的前后环境进行比较的能力。由于这个问题针对的是控制变量环节中更为显性的比较过程，因此预计会比第一个果蝇问题更难（对于第一个问题，学生或许能通过“直觉”选择答案，但这种“直觉”并不能提供明确的解释）。第二个果蝇问题的正确答案涉及在控制重力的情况下，对管II和管IV的比较（答案f）。正如预期的那样，选择正确答案的学生更少，很多人选择b或i。与第一个果蝇问题相似，选择b的学生倾向于关注相关变量变化的情况，但忽略了控制可能的混淆变量的必要性。同时，选项i被作为一个干扰项，以发现对控制变量的目的缺乏理解的学生。
本节末尾表2中提供了将所挑选的iSTAR问题对应到评估类型的表格。如表2所示，两道果蝇问题都针对以得出因果性DCR为目标的COV子技能。此外，推理的目的是识别有效的DCR，在本例中包括2个简单的变量关系(即光和重力的简单效应)。为了识别和验证这种关系，学生需要进行发现思维(I-过程)来识别可能的原因，然后通过推演思维(D-过程)来应用假设，产生结果，以指导对一个可能答案的选择。评估和分析的简单过程（EA-过程）也运用于对推演所得结果与问题选项间的比较，其目的是确定或验证某一答案。由于这些简单的EA-过程在这里并不是必要的思维过程，他们没有在表2中被列为COV问题的主要目标技能。
在本节中，果蝇问题被用来演示问题的开发与修订的过程，这两者都在一定程度上依赖于学生访谈和教师反馈。这些问题都经过几轮迭代的修订以消除可能的设计问题。此外，iSTAR测试还包括另外6个COV问题。这6个问题都是全新设计的问题，它们涉及真实的生活或STEM场景，且遵循COV能力的进阶顺序进行设计。其中一些已经在其它研究中报告了其有效性[72]。在余下的讨论中，本文将不对问题的开发过程做详细说明，而着重介绍iSTAR测试的新特点。