树蛙人的世界

数据陷阱：认知错误3

不能一致的评价

引子大家都有这样的感觉，同一曲音乐，有时候听很好听，有时候听就听不进去。这一定是什么东西影响了我们的感知状态。人类的主观想法真的是非常嬗变，盲目以主观判断作为标准，恐怕不是作决策支持的靠谱手段。所以平时只要碰到“我以为”，“他以为”，“谁谁以为”什么的，不要浪费时间去做可爱的倾听者，而是赶紧问问客观依据到底是什么。在互联网世界里，特别流行各种人为的等级排名或榜单，比如美食排行，音乐排...

Posted by 刘政永Dmer on July 11, 2020

数据陷阱：认知错误2.2

相对真实一点数据

相对真实一点数据但问题是，有时候这种精确度真的很重要，数据也会于此有所反映的。实际上也有这样的场景，人们会更加关注运动员的精确体重。每年，参加职业选秀的美国橄榄球运动员都会被球探们以极其精确的方式跟踪、审查和衡量，这一活动被称为NFL Combine。这些球员要经受体能测试的考验，除了头发的数量之外，几乎任何身体指标都要接受计数和测量。那么这又会产生什么样的数据特征呢？如果我...

Posted by 刘政永Dmer on July 10, 2020

数据陷阱：认知错误2.1

几种人为数据的图形模式

几种人为数据的图形模式先看一个有关肉眼约取的数据，如下图所示。这是飞行员向联邦航空局（FAA）报告他们的飞机在跑道上或飞行中，某一特定时刻撞上了野生动物的所在整数小时的已经过去的分钟数。当然我们对这些飞行员捕捉和报告这些事故的过程并不熟悉，但可以肯定，从这张图表来看，他们要么是在写，要么是在口述，要么是在敲键盘来录入时间数据。当然，我们知道飞机撞击鸟类或其他生物的可能性并不会...

Posted by 刘政永Dmer on July 9, 2020

数据陷阱：认知错误2

过多的人为和主观数据

引子上一篇文章详细讨论了下数据与现实的差距，实例涉及（1）由测量系统精密程度的变化而导致的差距便随时间上的推移(地震学),（2）由未知系统故障导致的异常值(自行车计数器),（3）人为计数与缺失的数据(陨石), （4）在后期不断纠正前期的数据(埃博拉死亡),以及（5）未阐明的和不清楚标准的不确定数据(汉克亚伦的本垒打)。记得听一位统计学老师谈过，凡是做数据的人，出于种种原因，很少有不...

Posted by 刘政永Dmer on July 8, 2020

数据陷阱：认知错误1.4

例4:累计数竟然会下降！

例4:累计数竟然会下降！ 2014年，埃博拉病毒在西非肆虐，震惊世界。在危机期间，世界卫生组织(WHO)在每周情况报告中提供相应的数据。让我们来看看由世界卫生组织和美国疾病控制中心(CDC)发布的从2014年3月到2014年年底的埃博拉死亡累计时间轴。注意累计死亡人数的下降——当直线向下倾斜的时候。乍一看，这似乎有些奇怪。某一天死于这种疾病的总人数怎么会比前一天结束时少呢? 其实...

Posted by 刘政永Dmer on July 7, 2020

数据陷阱：认知错误1.3

例3:过桥的自行车流量

例3:过桥的自行车流量位于华盛顿州西雅图的弗里蒙特大桥(FremontBridge)，具有明亮的蓝色和橙色的双叶，其建于1917年；由于离水很近，平均每天开放35次，这可能使之成为美国开放次数最多的吊桥。西雅图是一个自行车之城，市交通局在行人/自行车道上安装了两个感应回路，计算每天从桥的任意方向穿过的自行车的数量, 还在http://data.seattle.gov网站上提供了2...

Posted by 刘政永Dmer on July 6, 2020

数据陷阱：认知错误1.2

例2:地震真的在增加吗?

例2:地震真的在增加吗? 接着让我们考虑一种地质现象:地震。1994年1月17日，清晨4：31，美国洛杉矶圣费尔南多谷地区发生6.7级地震，造成57人死亡，8700多人受伤，并造成多方面损失。美国地质调查局提供了一个地震档案搜索表单，让访问者可以获取满足各种标准的历史地震列表。对1900年至2013年6.0级及以上的地震进行查询，得到了一个似乎有点令人担忧的线图，如下图所示。 ...

Posted by 刘政永Dmer on July 5, 2020

数据陷阱：认知错误1.1

例1:所有未入眼帘的陨石

例1:所有未入眼帘的陨石陨石学会（The Meteoritical Society）提供过34,513颗撞击地球表面的陨石的数据，时间跨度在公元前2500年至2012年1月，通过对这一数据集的实验和感受，可以令人明显体会到，预设不正确会直接导致错误的数据解读。有人基于该数据集，做了一张图，如下所示。现在我们在地图上看这些数据，你注意到了什么?陨石似乎更容易撞击到陆地，而不是海洋，...

Posted by 刘政永Dmer on July 4, 2020

数据陷阱：认知错误1

数据-现实差距

Posted by 刘政永Dmer on July 3, 2020

数据陷阱：七大数据陷阱

七大数据陷阱综述

读Ben Jones的Avoiding Data Pitfalls, 在第一章，作者就引用了Joyce Brothers的这句You need to give yourself permission to be human，意在表明：你我皆凡人，必然会犯错误的。对于做数据的，也不存在没有掉到过坑里的人，还绝对不止一次。有时候掉到坑里很久之后，才有所察觉，那种懊悔和难过，就别提了；但愿这些错...

Posted by 刘政永Dmer on July 2, 2020