2021-4-17，统计数据的...

2021-4-17，统计数据的大bug——辛普森反转和辛普森悖论 在统计学中，有一个很著名的数据现象，叫辛普森逆转。 有一个很有意思的例子，在一个地方，它的高端住宅和普通住宅的平均价格都上涨了，但是，它总体的平均成交价格却下降了。 这个反转看起来不可思议，实际上，是因为在t+1期成交了更多的普通住宅，拉低了总体平均成交价格。 当然，辛普森逆转只是一个数据现象，反映了样本的问题。还有一个更高阶的现象，叫辛普森悖论。这个悖论来自于分组数据。 我们都知道运动有益于健康。如果按照20、30、40、50的年龄段分组抽样，我们会看到运动时间和胆固醇水平明显的负相关关系。 但是，如果我们把这4组数据混合在一起的时候，奇怪的事情发生了，我们会发现，运动时间越长胆固醇水平越高。 分组数据和混合数据得出的结论不一致！ 为什么如此呢？因为年龄同时影响运动时间（年龄越大的人运动越多）和胆固醇水平（年龄越大的的人胆固醇水平越高），制造了运动时间和胆固醇水平的正相关性。所以，年龄是胆固醇水平和运动时间之间的混杂因子。 要知晓运动时间和胆固醇水平之间的确切因果关系，必须控制住年龄。 因此，分组数据得出的结论是对的，但混合数据得出的结论一定是错的，因为年龄制造了正相关性。 关于辛普森悖论还有一个著名的例子，人类颅骨长度和宽度的相关性，把男性和女性数据分开来看，颅骨的长度和宽度没有相关性，但是，把二者的数据混合到一起，二者就具备了微弱的相关性。 事实上，这个例子和运动vs胆固醇的例子类似。性别是一个混杂因子，男的颅骨长度和宽度都较大一些。所以，性别会制造微弱的相关性。 按照分组数据，颅骨长度和宽度没有相关性；但混合数据灾难就出来了，我们会得出颅骨长度和宽度存在相关性的结论。 所以，我建议大家还是敏锐一些，记住人类颅骨的那个例子，男女的颅骨混合在一起，长度和宽度有相关性；分组来看，长度和宽度就没相关性。 数据真的会玩人，别让别人拿一些破数字把自己绕晕了。第一性原理的思考才是最最重要的！！千万别觉得抽象的理论无甚必要，没有理论的指引要被数据玩死！ 其实，掌握了原理，拿数据来玩别人很容易！就拿运动是否有利于健康一样，想让你运动，拿分组数据；不想让你运动，拿混合数据。