一、简介
辛普森悖论(Simpson's paradox),也被称为:
- 辛普森的逆转(Simpson's reversal)
- 尤尔-辛普森效应(Yule–Simpson effect)
- 合并悖论(amalgamation paradox)
- 逆转悖论(reversal paradox)
但其实这不是个真正的悖论,它内部没有包含逻辑上的矛盾,只是有些违背人们的常理罢了。
导致辛普森悖论有两个前提:
- 至少存在两个分组的指标值相差很大,而且两类样本分布比重相反(一类样本指标大的分组占比小,另一类样本指标大的占比大)。
- 有潜在因素影响指标:两类样本的划分方法(性别)并非是影响指标的唯一因素,甚至可能是毫无影响的。
参考:
二、辛普森导论•版本一(两类样本)
2.1 例一
一个指标:录取率(或录取淘汰比)
多组数据:一所高校有A、B、C 共3个学院
两类样本:将每组数据细分为男生、女生两类样本
现象:某类样本在每组中的指标值都高于另一类,但把每组数据合并起来之后却不然。
例如:
- A 学院男生录取率高于女生
- B 学院男生录取率高于女生
- C 学院男生录取率高于女生
- 该高校男生录取率低于女生
该现象可以用公式来解释:
$$ {\color{red}{\frac{\sum{Y_i}}{\sum{X_i}}>\frac{\sum{y_i}}{\sum{x_i}}}} \nLeftarrow \frac{Y_i}{X_i}>\frac{y_i}{x_i} \Rightarrow {\color{blue}{\sum{\frac{Y_i}{X_i}}>\sum{\frac{y_i}{x_i}}}} $$
下面是一个具体例子,便于理解。
你看,上图是不是有点儿像田忌赛马,不同分组的录取淘汰比如下特点:
- 女生B学院>男生A学院,女生C学院>男生B学院,女生最差的A学院<男生最好的C学院。
- 女生录取淘汰比最高的C学院,规模最大,代表女生的主要特征,并且其超过了任何一个男生学院。
2.2 例二
一个指标:男女比例
多组数据:A、B、C 共3个专业
两类样本:每个专业的学生都来自X和Y 这2所高校
现象:某类样本在每组中的指标值都高于另一类,但把每组数据合并起来之后却不然。
例如:
- A专业来自X高校的男女比例高于Y校
- B专业来自X高校的男女比例高于Y校
- C专业来自X高校的男女比例高于Y校
- X高校的男女比例低于Y校
三、辛普森导论•版本二(两种尺度)
一个指标:每位毕业生的总学习时长和总成绩的相关系数
多组数据:一所高校有A、B、……、J 10个专业
两种尺度:微观尺度(每个专业),宏观尺度(整所高校)
现象:在每组数据中相关系数都大于零,但把每组数据合并起来之后却相反。
例如:
- A专业毕业生的总自习时长和总成绩正相关
- B专业毕业生的总自习时长和总成绩正相关
- ……
- J专业毕业生的总自习时长和总成绩正相关
- 该高校毕业生的总自习时长和总成绩负相关
通过本例可以发现:
- 类似于傅立叶变换对频率进行分解,上图中有两个斜率截然相反的主要频率,一个频率是整体作为低频,另一个频率是每个专业作为高频。
- 就像下面的字符画一样,可以由很多个“败”字组成一个“成”字。在不同观察尺度下,就会看到不同的结果(微观为“败”,宏观为“成”)。
- 这也许还能上升到哲学层面,比如:评价成败的标准不同,不以成败论英雄,失败是成功之母……
败败 败败败 败 败败 败败 败败 败败败 败败 败败 败败 败败 败 败败 败败 败败败败败败败败败败败败败败败败败败败败败败败败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败败 败败败败败败败败败败败 败败 败败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败败 败 败败 败败 败败 败 败败败败败 败 败 败败败 败 败败 败败败 败 败败 败败败败败败 败败败败败 败 败 败败败败 败败 败败败 败 败 败败 败败 败败败 败 败败 败败 败败败败败败 败 败败 败败败败败 败 败 败败败