Theoretical Model and Quantitative Assessment of Scientific Thinking and Reasoning
科学思维的理论模型与量化评估
C.2 数据分析的试题
数据分析(DA)是一个宽泛定义的维度，包括了广泛的计算和分析技能。其基本技能集与LCTSR中测量的数个技能重叠，包括简单概率、比例和相关性。在此基础上iSTAR的数据分析部分进一步扩展了更高级的计算和思维技能，包括组合、条件概率、多变量相关和协变、加权平均和随机抽样等基本统计概念以及贝叶斯概率。这些技能在学生分析数据和识别有效证据过程中起着重要作用，并可进一步应用于因果决策。
iSTAR测试中有15个问题是针对数据分析子技能的测量。为了方便于LCTSR做等效关联，iSTAR测试中有一个相关关系的问题改编自LCTSR (LCTSR Q19)，剩下的14个是新设计的问题，用于测量表1中数据分析所包括的子技能。图10给出了两个例子，第一个问题测量的是学生对贝叶斯概率的理解，第二个问题测量的是进行条件概率推理的能力。在开发iSTAR过程中的访谈中，我们发现，大学生对均匀随机过程下的掷铜板、掷骰子等案例所涉及的随机事件和独立性等概率概念有一个基本的理解，但他们也存在将这种均匀概率或等概率规律过度扩展到所有随机过程的倾向，包括非均匀条件的问题。概率是有条件的，概率状态通常不是均匀分布的，但学生并未建立起对该概念的深度理解。在现实世界的情境中，有条件的和非均匀的随机过程很常见，因此，评估学生是否能理解并在条件概率和非均匀概率下进行推理，就显得尤为重要。
图10中的第一个问题考查的是贝叶斯概率，测量学生是否能够根据观察结果处理非均匀随机过程。问题中使用的六面立方体不是完美的骰子，骰子的不同面的呈现可能产生不均匀的概率。这种推理是一种贝叶斯决策过程，它使用观察到的数据来推断骰子的内在特征和出现某些面的概率。访谈和开放式调查结果显示，许多学生似乎理解随机性和独立性的概念，知道每次掷骰子都是独立于其他掷骰子的随机事件。然而，学生们的推理似乎被随机性或等概率的想法所主导，他们将这种想法不加区分地应用于非均匀情况。因此，这些学生通常选择b选项表示概率一致，或选择c选项表示每个抛掷事件与之前的结果无关。
图10. iSTAR中关于数据分析的例题。答案的百分比分布是基于下一节讨论的大学生群体的测试结果。正确答案标有星号 (*)。
第二个问题测量学生条件概率中局部归一化概念的理解。问题没有给出产品A的市场份额，而产品缺陷的市场抽样统计结果则取决于缺陷率和市场份额两要素。因此，在不知道市场份额的情况下，不能将题中给的百分比推广为实际缺陷率，并将其作为产品 A 的质量指标。学生访谈和定量研究的结果表明，许多学生不能正确地分析这种类型概率。他们经常选择选项 a、b 或 c 或它们的组合，这表明学生对条件概率中的局部归一化概念缺乏正确理解。
这两个问题所针对的技能，也与表 2 中所示的建模和评价框架的成分和过程相对应。如上所述，这两个问题都强调了用于评估和分析观察到的概率数据（即EA过程），这些数据往往代表了基于因果协变的DCR。类似题目的主要的测量目标就是针对在不同场景下学生理解和处理贝叶斯概率和条件概率的思维技能。
相较于相关试题只涉及比例、简单概率和相关性三个子技能的LCTSR，iSTAR涵盖了范围更广的数据分析子技能。更为重要的是，iSTAR中数据分析技能的设计基于了新的建模框架，这使得这些技能拥有一个共同的明确目的，即连接 COV 技能以形成支持因果决策的有效证据（DCR）。在技术层面上，LCTSR的问题对于高中生和大学生来说相对容易，在测试这些学生时可能会产生显著的天花板效应[37]。相比之下，iSTAR问题的难度区间更广。其目标是有效地测量从中学到研究生水平的广大学生群体。对初高中人群的测试验证正在进行中，其结果将在未来的报告中发表。