主题:【原创】似虎非虎 -- 淮夷
这周从香港去山东,机场航班弄错,许多光阴扔给机场。好在旅途读了一本书,叫作《The Tiger That Isn’t》。这本书出版于2008年,作者是牛津大学的经济学家,安德鲁同志 (Andrew Dilnot)。
此书的名字有点怪,权且翻译作“似虎非虎”好了。
书中所谓“老虎”是一个比喻,说的是原始人类在丛林中生活,看到林间闪过一个五彩斑驳的影子,大脑第一反应就是:有一只老虎,赶紧逃命!
那个影子不是老虎,而是阳光投在树丛中的幻象。一阵风拂过,树枝摇动,叶子飞舞,一瞥之下,恰如猛虎卧荒丘,潜伏爪牙忍受。
进化论的解释是,原始人类的这种错误直觉其实是最合理的。为了提高生存的几率,人脑需要对各种“看起来”危险的模式迅速做反应。假如一个人选择定睛细看,另一个人选择拔腿就跑,也许只差一秒,但后者的生存概率更高一点。
人类离开丛林之后,反而更需要“定睛细看”,而不是原始人的“拔腿就跑”。我们的时代有大量“似虎非虎”的现象,需要多一点质疑。以前聊过《统计狂人》(链接出处),讨论统计学无所不在的影响,此书的主题恰好相反,它讲的是统计学“灰色”的一面:对数据的盲从和轻信,以及由此产生的弊端。
弊端之一,是人们对数据有一种过度偏好,总是试图在一片迷雾中找到隐藏的模式。
比如当你看到这张图片,你有没有发现一些隐藏的规律?
您瞧出了什么,北斗七星阵,还是九字连环阵?
实际上,唯一的规律是:毫无规律可言。
这个图片的数据,来自计算机模拟的“米粒实验”,实验产生数据遵循随机分布的特性。如果你用手抓一把米粒,向天上抛去,米粒散落地面的分布,基本上,也会呈现这样的特性。
这种随机散布的数据点,有一个常见的现象,叫作“集群性”(clustering)。比如,把上面图片分割25个格子,有的格子只有一个米粒,有的格子有一大堆米粒。
随机“集群性”和现实生活有什么联系呢?
癌症病人的不规则分布,有时候,可以用随机“集群性”给予解释。假如把每一个米粒看作是一位癌症病人,那么,现实中,确实存在着某些地区癌症病人集中,而某些地区癌症病人很少的现象。
米粒实验的关键点在于:集群性的出现,只是随机偶然的结果 ,而非特殊力量使然。
但是,人们总是忽视事件的偶然性一面,而试图为“看似”异常的事件寻各种各样的原因。譬如,某地少有癌症,必定当地水质优良。某地高发癌症,一准儿也有特别原因造成。
2003年,英国的小村Wishaw,发生一起案件。当地村民把一个通信基站连根拔起,基站的业主是通信公司T Mobile,双方为此大闹冲突,争执不下。
村民毁坏基站的原因是,在基站运行的十年内,基站周围500米的20户村民,已经发生了9起癌症。村民直觉是:这怎么能是偶然呢?难道不是因为基站发射的电磁信号,造成如此密集的癌症案例吗?
人们习惯于为某个病症找到罪魁祸首,而真正的“罪魁祸首”,也许只是偶然性。人体是一个复杂的系统,癌症有无数种可能的源头,就像一个米粒最终掉落何方,也是无数因素的影响:手的力量、抛的角度、空气的流动、米粒间的碰撞,等等。除非刘慈欣科幻小说《镜子》里那种“超弦计算机”,否则很难为一个复杂系统找到它的原因和结果。
换个角度,如果癌症的分布不是随机“集群性”,而是在全国各地的人口之间呈现有规律的平均分布,那才是很奇怪的现象。实际上,人们经常低估“集群性”出现的频率和一个“群”的规模,而习惯于高估一件事的“平均性”。
书中提及了一些简单的实验,可以帮读者认识到,即使在很小范围的样本里,“集群性”的发生也会超过人们的预期。
最简单的实验是找一个硬币连续抛30次,记下每一次正反面的分布。作者记下的随机实验记录是这样:
正反反正反反正正反正正反反反反反反正正正正反正正反反反正正正
这个序列一共有15个正,15个反,恰好符合50:50的随机概率。但是,考察数据分布的集群性,这里最大的集群(黑体部分)有6个连续的反,4个连续的正。这种集群结果和米粒实验一样,纯属偶然。
反之,如果你抛了30次硬币,出现“正反正反正反……”这种有规律的序列,那更像是上帝之手了。
所以,有时候,人们对一个事件(比如癌症分布)的统计数字进行过度解读。而有时候,人们走向另一个极端:对统计数字缺乏深度分析,轻易相信。
譬如2005年,英国的放射病防护机构发布了一个最新医学研究,声称:长期使用手机,脑瘤的风险提高2倍。所以,建议儿童不要使用手机。
这个新闻引起英国各大媒体的报道,人们开始恐慌。“提高2倍”的风险,听起来很大,但是,从什么样的基数算起呢?
安德鲁找到了数据源头,Karolinska研究院的科研人员,玛丽亚。玛丽亚说,脑瘤的基数是0.001%,即,如果没人用手机,每10万人有1人得脑瘤。
“风险提高2倍”的意思,在这个案例里,等于提高到0.002%。就是说,常年使用手机之后,每10万人里面多了1个人得脑瘤。
现在您觉得这个风险算大、还是小呢?反正,玛丽亚本人不会禁止她的孩子继续使用手机。
再譬如,当你读到这样一个新闻时,你的反应是什么?“美国的数据显示,超重人群的寿命普遍长于瘦子的寿命,所以超重对长寿是有帮助的。”
这是一个典型的混淆“统计关联性”和“因果关系”的错误。当一个人病重之时,他往往变得很瘦。并非瘦造成了短命,而是疾病造成了瘦。
关联性和因果律的交织,是常见的统计学应用陷阱之一。
这种陷阱,有的时候并不容易认清。比如,一个统计数据告诉你这样的结果:根据学校成绩的统计,头胎的孩子成绩最好,二胎次之,三胎更次之,出生次序越往后,成绩越差。所以,出生次序决定一个人的智力水平。
出生次序和智力,二者的关联性,确实来自英国学校的真实数据,这一点不需怀疑。如果用因果律解释,似也说得通:因为第一个孩子得到家长的100%的教导,所以智力开发最好。到了老二、老三,家长精力变得分散,顾不上这么多,所以智力开发不够好。
我当然很乐于相信这样一个统计学的“发现”,因为我自己就是头胎。
不过,我也认识很多二胎的,聪明程度远超哥哥姐姐。
问题在哪儿呢?这个陷阱,其实藏的挺深。真正原因是:学校的成绩统计是把所有孩子计算在内,这些孩子有的来自大家庭,有的来自小家庭,混在一起比较成绩。
须知,穷人家通常生许多孩子,而富人家只生很少的孩子。
一个学校里,有富人有穷人。自然,头胎孩子的富人比例高一点,二胎就少了点,到了六胎、七胎,恐怕都是清一色的穷小孩。富人成绩好,主要是家庭资源的差异,而不是因为出生次序影响了一个人的IQ。
出生次序与智力是没有因果关系的,二者有的,只是颇具假象的关联性。
这种数据制造的假象,不仅屡屡来自媒体的报道,也来自看似权威的部门,比如政府。
书中提到一个例子,是英国交通部发布的一则官方声明:“交通部在8个地区试点安装了超速摄像头,试点结果是,超速摄像头降低了35%的恶性交通事故。”
政府讲话不一定都是真的。英国也不例外。
如果搜集某个地区每个月份的交通事故,罗列成一个时间序列的数据,那么这种数据往往有一个重要的特征:起伏周期性,就像是股市涨跌一样。
这意味着,除非有足够长的时间序列,足够大的样本量,否则很难证明,事故降低究竟是安装超速摄像头的功劳,还是因为事故频率本来就处于一个下跌周期?
以常识来思考。某一个高危路段,接连发生车毁人亡事故之后,下个月更可能的情况,往往并非事故数量的攀升,而是下降,这或许由于司机行经该路段格外提高了注意力,也许因为被贴上死亡路段标签而导致交通流量下滑。总之,就算政府无所事事,肇事率也会趋向一个平均值,即,事故高峰之后的自然回落。
这种现象,统计学中被称作“回归效应”。
而政府最可能安装测速摄像头的,是什么地区呢?一般都是所谓的近期事故频发路段。所以,英国交通部的声明,要特别打上一个问号了。
安德鲁教授做了一个有趣的实验,来和英国交通部叫板。他找了20个志愿者,每人分配一个路段,充当虚拟管理员。然后每人轮流扔两次骰子,两次点数之和,用来模拟该路段在某个月份的交通事故次数。
由于连续两次骰子,所以一个路段最少事故的极值是2次,最大极值是12次。这听起来有些像是真实的世界。
实验规则是,当一个路段的事故次数出现高峰时(比如10次,11次,或12次),就给那个志愿者发一个摄像头的照片。志愿者带着照片继续扔骰子,无一例外,此后的事故全都下降了。难道可笑的照片也管用吗?
当然,这没什么可笑的,扔骰子是独立随机事件,扔了很多次之后,高点数(高事故)的出现,趋向于一个稳定的相对频率。
(安德鲁的骰子实验和交通事故次数)
安德鲁教授的实验不止于纸面游戏,他仍不肯放过交通部的数据。对交通部声称的政绩---“安装摄像头降低35%恶性交通事故”,他做了一些实证的分析,结论是:在安装了测速摄像头的地区所减少的事故中,有60%应归功于该路段的回归效应,有18%应归功于趋势效应(即各地普遍性的事故下降趋势,不管有无摄像头)。
他说,抛掉具体路段的回归效应和所有路段的趋势效应,事故下降只有20%的成分或许来自政府的政绩,而这20%也还是存疑的状态。
我认为书中这种“似虎非虎”的存疑精神是值得赞赏的,尤其是,当你看到很多漂亮的统计结果之时。
中国的媒体、政府、企业,越来越多的用数字讲话了,这本身是一个很好的趋势。而另一方面,每个人也该多一点甄别力。
所谓,乱花渐欲迷人眼,看清一件事,有时候挺难的。
- 相关回复 上下关系8
🙂【原创】似虎非虎
🙂我一直想知道如果把每年死亡的人的死亡原因统计出来会是怎样 1 猫元帅 字152 2011-08-30 19:10:17
🙂前一点不可能大于 xtqntd 字343 2011-08-31 03:29:50
🙂医疗统计数据之错 淮夷 字38 2011-08-31 01:54:54
🙂这个事情和统计无关,只不过是采集自己需要的条件而已。 猫元帅 字0 2011-08-31 17:09:11
🙂呵呵,提出异议 26 奔波儿 字1702 2011-08-30 14:04:58
🙂举一反三地学习你的方法,再联想一番,真是受益匪浅,花谢。 小僧人 字56 2011-08-31 23:57:03
🙂呵呵 先生是有心人 淮夷 字288 2011-08-31 02:05:43