财新传媒
位置:博客 > 李志文 > 大数据悖论:揭秘数据时代的致命缺陷(转载)

大数据悖论:揭秘数据时代的致命缺陷(转载)

【大数据悖论】
这篇文章给了一个有趣的案例,当一个人拥有大数据,无所不能,当一万人同时拥有大数据,就万万不能。
这个悖论是经济学中一般均衡与全面均衡之间的矛盾问题。一个人在打自己的小算盘的时候,美滋滋的,当有其他的人也在打小算盘的时候,就不见得是好事了。但是当全体都在打小算盘的时候,就成了博弈论,结果就很难猜测了。如果交易成本是零,人人都能同时无偿拿到完整大数据,电脑会列出每一个人的博弈成本,市场就按照自己的成本乖乖的排队,大数据就给了整个社会最好的运作建议。
现在的大数据还只是“数据变大了”而已,离市场全面均衡所需要的大数据还差得十万八千里呢!
各位知道一次大战与二次大战的最重要原因吗?就是工业革命改进了每个机械使用者的效率,但是没有考虑整个社会的全面均衡。那时候,没有一个经济学家了解全面均衡,凯因斯只是用了超级简单的模型来叙述什么是全面均衡的故障。他的简单叙述,如果当时有经济诺贝尔奖,就非他莫属,多年来,许多经济学诺贝尔奖都是更仔细的阐释他到底说了些什么?
简答作者王先生问。

——本文摘自《新未来简史》一书第一章第二节,原名为“大数据悖论,空想的主义与宗教”,作者:王骥,此处属于首发。【原创作品,转载请注明出处】

[转载]大数据悖论:揭秘数据时代的致命缺陷(首发)
 

未来似乎是数据的世界,但是,笔者发现:大数据的运用存在着致命的缺陷。

一条大河将一座城市分为南北两大城区,河上有三座大桥,分别为一桥、二桥和三桥。在这座城市内,所有车辆的运行状况都被实时跟踪与联网,即任何一辆车任何时候在哪儿、将去哪儿、行走的线路、方向与速度等数据都被及时地传送到该城市的交通管控中心,你可随时知晓所有车辆总体的、局部的和个别的运行状况。这一现象和技术被称之为基于大数据的智能交通。早期,由于数据消费价格过高,只有50辆车安装了“车况显示器”,即能随时分享到这一智能交通的大数据,车主甲便是其中一位。某日,车主甲想从南城区前往北城区,查看了一下数据,正在前往一桥的车辆有600辆、去二桥的有400辆,去三桥的有100辆,于是他便将车开往三桥,毫无拥堵地到达了北城区,只用了18分钟;而没有安装“车况显示器”的乙却将车开往了一桥,结果堵了1.5个小时的车(堵在路上,想掉头都难)。

在如此拥挤的城市里,这50位车主随时过桥如入无人之境,他们兴奋而高呼“大数据太神奇了!”后来,随着技术的改进和消费价格的降低,“车况显示器”开始逐步普及。这之后,很多车主渐渐开始发觉“车辆实时数据”已经不太好用,甚至在添乱了。某天,甲想过桥,看了一下车况:正往一桥去的有600辆车、往二桥去的有400辆,往三桥去的有100辆,于是他将车开向了三桥;走了不到2分钟,车况即时播报,现在正朝三桥去的车辆增至300辆,一桥下降到200辆,他赶紧掉头向一桥而去;又过了2分钟,车况再显示,一桥车辆突增至400两,二桥车辆下降到180辆,他立马再掉头开向二桥;刚过1分钟,车况又显示,二桥车辆突增至320……甲像中了魔咒一样,彻底崩溃了,只得气急败坏地把车停到了路边,大骂“爷今天不过桥了,看你咋的!”。

为何会出现这种情况呢?是因为大家都同时知道整座城市的实时车况,发现哪座桥车辆少就有很多人同时涌向那座桥,就像房价涨势不断时,总有很多人跟风不断买进而受损,股市某只股票正在暴跌时,总有很多人不停地跟风抛单而受损一样,如此及时地反反复复,结果大家都被人为地拖入了“不知所措”的尴尬境地,反而引发了整座城市的严重混乱与无序。于是,一些人开始不再使用“车况显示器”了,从此之后,似乎城市反而变得不再那么拥挤而且有序了起来。

这一特别现象,本书称之为大数据悖论”,即:当大数据被少数人掌握和使用时,能产生神奇的效用,但是,当多数参与者都知晓并使用后,其效用将大打折扣,甚至引发反向的破坏作用该悖论,在鲜有人直接影响的领域不适用,但是,在多人参与并形成竞争关系的任何领域都适用,具有普适性。如今,正处于少数人、团体掌握和使用大数据的时代,这个是当下主流,未来将会被打破。

[转载]大数据悖论:揭秘数据时代的致命缺陷(首发)

大数据悖论不适用的案例,如数据显示影星安吉娜朱莉患乳腺癌的风险高达87%,这一风险无人与她“竞争”,她联想到家族病史,勇敢地接受了切乳手术;又比如大数据运用的智能家居,未来的你走出办公楼,汽车早已自动开来接你,你还在路上,家中的灯具、空调、热水等设备已经自动启动了,这个“享用”没有外人与你竞争;再比如深度运用了大数据的未来天气预报,预测会变得非常准确,将不再有“预报明天下雨而事实上却是阳光灿烂”的尴尬了等。

大数据悖论适用的例子太多,诸如科研、教学、航空、军备、甚至思想、交流与日常生活等都普遍存在,未来更甚。比如适时家装大数据,如果只有海尔公司知道你这个月正在家装,其独家定向推荐很可能让你感到“被关注与尊重”的荣幸,或许你就买海尔的电器了,但是,当美菱、美的、格力、长虹、春兰、海信等数十家企业都分享了这一大数据,已经是多人参与并形成了竞争关系,其中的你,被这么多企业同时关注,选择太多不仅让你无从下手,而且很可能让你产生“被曝光与不堪其扰”的反感,当然,即便是你出手购买了家电,也不可能独钟之前的海尔了;又比如你从外地回来,讲着各种新鲜事(独占数据),吸引了很多听众和羡慕的眼光,正在“小炫耀”时,突然来了一帮子人,他们都去过那儿(数据已被分享了),而且还指出了你的很多错误与误解,你顿时便失去了“小炫耀”的吸引力和资本了等。

数据实际上是个老掉了牙的东西。上古时期的结绳记事、以月之盈亏计算岁月,到后来部落内部以猎物、采摘多寡计算贡献,再到历朝历代的土地农田、人口粮食、马匹军队等各类事项都涉及到大量的数据。在人类历史上,由数据所引发的巨大贡献和进步,至少涉及这几件事:一是周易八卦阴阳二爻的互动,以此衍生出“太极生两仪、两仪生四象、四象生八卦”的人文哲学,再由八卦之道演绎出“道生一、一生二、二生三、三生万物”的宇宙万物“象数”与运行规律;二是大约在1300年前,达·芬奇的老师帕乔利发明了复式记账法,从而开启人类对数据的准确记录,这一记账范式,几乎奠定了人类商业发展的基础,甚至有人认为这一技术直接催生了资本主义的萌芽,从而掀起了人类近五百年来资本、财富的巨额积累与科技的巨大进步;三是1946214日,世界上第一台现代电子计算机“埃尼阿克”(ENIAC))诞生于美国宾夕法尼亚大学的莫尔电机学院,此时,战火纷飞的第二次世界大战结束仅仅五个月,据说计算机的基础“二进制”(1679年由莱布尼茨发明)的灵感就是来自于周易及其阴阳二爻的互动;四是1969年,美国国防部授权美国高级研究计划署(ARPANET)所进行的互联网的试验,从而开启了人类信息互通互联的伟大旅程……这些事项承载的介质、工具有文字、货币、纸张与网络等,所涉及的各类数据虽然越来越多、越来越大,但是,人们都未曾冠之以“大”字,那是什么事情让“数据”这瓶老酒突然换发了青春并如此时髦了起来呢?

当互联网开始进一步向外延伸,并与世上的很多物品链接之后,这些物体开始不停地将实时变化的各类数据传回到互联网的时候,物联网诞生了。物联网是个大奇迹,被认为可能是继互联网之后人类最伟大的技术革命,是这样的吗(见本书第六章详解)?你想,如今,即便是一件物品被人感知到的几天内的各种动态数据都足以与古代一个王国一年所收集的各类数据相匹抵,那物联网上数以万计亿计的物品呢?是不是数据大得不得了,于是“大数据”产生了。注意,万物的大数据本身就存在,只是现今人们能够感知到更多了,所有,日常听到的“大数据”,实质上就是“感知到的大数据”,这与万物本身所产生的“实际大数据”的概念不同,容量存天渊之别。如此浩如云海的数据,如何分类提取和有效处理呢?这是需要强大的技术设计与运算能力的,于是“云计算”产生了。其中的“技术设计”就归属于“算法”。“云计算”需要从天量数据中去挖掘有用的信息,于是“数据挖掘”产生了。这些被挖掘出来的有用信息去服务城市,就叫做“智慧城市”;去服务交通,就叫做“智慧交通”;去服务家庭,就叫做“智能家居”;去服务于医院,就叫做“智能医院”;去服务生活,就叫做“智能生活”……于是,智能社会产生了。不过,智能社会真正得以有序、有效运行,中间必须依托一个“桥梁”与工具,那就是“人工智能”。 这就是为什么,近几年时间内,诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些高大上的时髦名词和概念,都突然同时从地下冒了出来,原来它们都是“同一条线上被牵扯出来的众多蚂蚱”。

[转载]大数据悖论:揭秘数据时代的致命缺陷(首发)

人类社会的发展,大趋势是朝向透明化与共享性的。比如过去,华丽的钟表不仅是地位、身份的象征,更是对时间准确度的奢侈拥有,而平民百姓只能由上层阶级赐予,所以,四五十年之前的众多街镇、城市最中心的位置总有一座极尽高大与威严的“钟鼓楼”,而如今你的手机、电脑甚至很多物件上都无偿地分享了精准的时间。再比如互联网的兴起,过往很多高大上的诸如图文影像剪辑特技、机密资料以及很多行业的专有技术渐渐都被低廉地分享给了世人。甚至美国有一位大学生依靠公开发行的资料,居然还设计出了一枚原子弹,这还是1976年的事呢 所以,如今政府、机构和少数公司所收集、掌控的重要的、有着无限价值的大数据,未来大多都将被低廉或无偿地分享给大众。于是,几乎所有存在竞争因素的领域、行业,大数据悖论的效应将会产生与发酵,数据不仅将变得不再那么重要,很多时候还会引发像前文车主甲过桥,最后陷入“无所适从”的境况。

这里的无所适从,就是你知道的越多,越难做出选择。美国哥伦比亚大学与斯坦福大学曾经共同进行了一项研究,在一家繁华的超市设了两个小吃摊,一个有6种口味的果酱,另一个有24种口味的果酱。结果显示,24种口味的摊位吸引顾客较多:242位经过的客人中,60%会停下试吃;而260个经过6种口味摊位的客人中,停下试吃的只有40%。不过,最终的结果却是出乎意料:在有6种口味的摊位前停下的顾客30%都至少买了一瓶果酱,而在有24种口味的摊前,试吃者中只有3%的人购买了东西。实际上,在生活中,这种例子太多了,比如三十年前,电视就只有一两个频道,人们从头看到尾,还津津乐道,如今数百个频道,而且节目质量较三十年好无数倍,但是你反而不知道看那个台了。又比如你老婆在双十一节只打算买一两件衣服,结果往往是花掉了你数个月的工资,买回来了一大堆你认为很多都没用的商品。这是因为廉价的好商品,琳琅满目,你老婆无所适从,最后只得全部收入囊中了。“无所适从”产生了两种相反的心理和现象。

大数据悖论中的“无所适从”的问题,在未来,很多时候将会引发破坏性的作用。而这一负面效应,从如今看来,几乎是不可避免的,这是为什么呢?前面已经讲过,社会趋势的透明与共享逐年增强,且大数据是越来越多的,这是肯定不变的,而这三者不变的情况正是“大数据悖论”产生的冲要条件。那有没有什么技术能解决这一大问题呢?我们认为,随着人类科技的发展,应该是有的,比如从量子纠缠的量子力学中去发掘技术(参考本书第9章相关内容或许有所启发)等。

这么一说,是不是大数据在未来的竞争性领域、行业将彻底失去作用了呢?不是这样的。比如一帮人用刀打仗而你一人有枪,你肯定占尽了优势,当大家都拿枪时你就不占优势了,而且可能比大家都用刀时死得更快(如大数据悖论的负面效应)了,但是,别人都用枪时,你却不用枪了,那肯定死得极惨。未来,大数据就有如该例中的“枪”一样,你将怎样选择呢?当然,枪也仅仅只是某种作战的工具,比它厉害的武器还有很多,未来或更甚。

[转载]大数据悖论:揭秘数据时代的致命缺陷(首发)

既然数据并是不像想象中的那么神圣和伟大,那么,它也仅仅是人类认识自己和世界那些数以百计具有同等效用的不同方式之一而已。你完全可以把莫扎特小夜曲、经济泡沫、流行疾病以及诗歌、植物与泥土等万事万物当成不同的数据模式,也可以把它们当成是不同信息的集合体,更可以看成是不同能量的存在方式等。这些都不能代表“数据”一定就比其他方式“特别”。对于人类来说,如同一张纸,上面用不同颜色、粗细不同的笔交互重叠画了无数的线条,你若以细线的连图来看,可能像一只猫,以红线的连图来看可能像一颗树,如再以粗线与蓝色线的拼图来看可能却像一位大爷,但这些都不是这张纸的全貌与本质。

由此,你完全可以把人类看成是一个原子,原子核就是如今以“权力、财富”为主导的价值观体系,其围绕原子核运转的电子就有如“金字塔型”的政治、经济、文化等体系,充满原子内腔那无限广阔的“虚空”就是人类个体和自然界的相关物种等;同样,你也可以把人类看成一个数据处理系统,个体看成为芯片等。这些都可以展开无数的、丰富的联想与“文学”演绎。其中,由于万物皆由原子组成,这个比起万物皆为数据构成来说,前者已是“铁”的事实,所以,或许以原子来演绎人类要比数据演绎人类更能靠近实质些。即便是这样,那也更像一个形象的比喻,谈不上阐明了某种深刻的道理,更谈不上揭示了人类的什么本质,或许仅仅只是瞎子摸象而已。当然,用“美妙的比喻”与文学演绎的方式来推断数据的未来与未来的人类,似乎还真的有些荒唐了。

特别说明:服装节上那些华美的、风格各异的无数服饰,云蒸霞蔚般的灿烂与美丽,那正是人类不同他物创造性与特有才能的展示,如果一个人眼睛只盯着所有服饰下那些微小的丝线,说这些没有什么美丽与创造,也不需要什么“体验”价值,一切都只是一堆乱线而已,就像一些人将世间万物及其运行都看成了数据与数据流,以此证明人类并没有什么,而且还说,随着这些数据最后多到人们都难以处理与应付时,人类就将被取代和“退休”了。不说这一结论所存在的问题,单说这一逻辑及推理,是偏执呢,还是已经钻进了牛角尖了呢?

实际上,世间万事万物,随时都在产生数以亿亿万的“大数据”,现今如此,古代也是如此。过去人类没有互联网和物联网,对大数据的感知不足,但并不代表它们不存在。而且,古人不去处理或者说没有能力去处理和应付这些很大的数据(从数据的总量上来说,或许并不比如今和未来少多少),似乎也并没有生活得很不自在,更没有被他物替代。前文已经提到,如今的大数据,往往不是它本身在增多,而是你感知这些本来就存在的数据的能力在增强,是感知数量在增多,这个逻辑千万不要搞反了。所以,在如今特别是在未来,很多时候,你若过分相信数据、依赖数据的话,肯定是会出问题的,甚至丧失一些生存的起码能力,更不说永生了。那个时候,大数据就像当下你对“精准时间”的拥有一样容易,如不考虑大数据悖论的负面影响的话,也顶多像如今人们对待原子、空气与电能这类东西一样的态度与“习惯性拥有”。一种稀松平常的事情,如果再扯上像如今一些人所谈及的“未来人类,数据将被当成主义甚至宗教一样来顶礼膜拜”观点的话,那不仅是“想多了”,而且还真的有点儿矫情。  

退一万步来说,即便是未来人类被替代和“退休”,那也与所谓的“数据主义”、“数据宗教”没有多少直接性的联系,有人太高估大数据了。不过,那些以文学方式演绎、联想出来的美妙故事,确实很吸引人,但是,似乎都在表面转悠,远远还未触及到事情的实质。

 

【王骥,多年场外资本市场研究,高产作者。对社会发展与人类未来趋势有着近20余年的关注与研究,长于将前沿科技联动社会、自然、经济、金融、人文、历史与人性驱动下的人类竞争、价值创造等进行深入思考,常常能从被人们忽视的微小端倪中发现、发掘出无限广阔、气势磅礴的价值场景与空间,并能以特别视觉洞悉某些最能靠近事物本质、本原的东西。曾创作过五十余首诗歌,著有十余部金融资本、自然管理类图书,曾不少于两年半的时间连续稳居京东、当当两网新三板(场外资本市场)类图书销售排行榜首(鳌头),且屡创个人图书相互替代前一二名的情形,曾有三部书籍填补该资本行业国内图书的空白。

 

[转载]大数据悖论:揭秘数据时代的致命缺陷(首发)
 



推荐 9