大数据背景下的统计学新需求
- 科多大数据
- 2018-12-11 18:07
大数据时代的迅猛发展,在全球范围内掀起了前所未有的浪潮。这股浪潮不仅是对统计学产生了冲击,甚至连政府的统计需求也受到了不小的影响。
对政府统计而言,大数据采用多种数据收集方式、整合多种数据来源,并采用现代信息技术和架构高速处理及挖掘数据,具有高度应用价值和决策支持功能。一方面,统计调查主体的多元化发展趋势和电子商务等领域的迅速发展,给统计数据的生产方式带来了很大的挑战,不断冲击着政府统计管理体系与统计理念。另一方面,计算机技术、网络技术和空间信息技术的巨大进步,为提高统计生产力提供了广阔空间。海量的电子化、非结构化数据,极大地丰富了统计数据的来源。
种类繁多的“大数据”,正日益成为官方统计部门研究应用的方向。在这样的背景下,探索大数据在政府统计中的应用,把握这一促进政府统计改革发展的机遇,对政府统计有着划时代的意义。尽管近代统计学已经发展了上百年,但是大数据时代的到来依然暴露出了统计学已有方法的缺陷,从抽样调查和设计、数据管理和存储到统计分析和计算,海量数据分析的需求都部分地颠覆了传统的统计方法,这对统计学和统计学家是严峻的挑战。
来自乔治·华盛顿大学的胡善庆教授依托丰富的政府实践经历,提出了支持现代治理的统计学2.0的概念。相对于统计学2.0,胡善庆教授称近代统计学是1.0时代,其特点是,统计数据来自普查或随机抽样,而非随机收集的数据是无研究价值的。在20世纪这个统计学的黄金时代,统计学是作为一门应用科学而存在的,统计学作为国际语言在政府、社会、经济和科学中帮助解决了许多实际问题。
以美国为例,美国政府广泛采用随机抽样调查的方式,各行各业统计应用普遍化,小样本亦可产生大量数据,计算机商业化带来了计算方法的创新,统计软件支持数据收集与分析,数据文化深入到美国社会的各个层面。但是在21世纪统计学面临很大挑战,过去是有问题才收集数据,然后建立合适的统计模型来揭示观测到的数据,大数据时代则不同,需要从泥沙俱下的大数据中提炼出有价值的知识和信息,而这些有价值的知识和信息显然是非预期的。
中国目前的很多追踪调查项目都存在耗时过长的问题,中国的城镇化、智慧城市建设、政府简政放权、推进监管、国家统计局四大工程项目等都面临诸多统计上的挑战和需求,海量纵向数据的应用,多种数据来源的整合,快速以及简便的呈现结果,严格保护数据和系统安全,提高精度和可靠性等都是对统计的新要求。无论美国还是中国,使用20世纪的统计方法都不能解决21世纪的治理需求。如果我们可以用同样的效率和成本收集数据,实时分析总体,还需要随机抽样吗?过去80年的数理统计何去何从?
大数据时代的重要意义在于大部分数据已经数字化,易于批量存储和处理,并且数据来源多样化、快速化,旧数据也可以有新用途。统计学2.0时代包含一个动态的框架,要求有能力提供实时的结果和动态的分析报告,动态的框架可以提供更科学、更高精度、更能跟踪、更快速的随机抽样。
基于此,胡善庆教授展望了2020年人口信息管理制度的整个框架,提出了统计学创新的一些独到观点,比如,大数据需要统计设计、数据清洗和信息数据提炼才可能有价值或达到信息挖掘的最佳效果,统计学专长于分辨数据质量和抽取最优化信息,国际队伍建设需要专业人才、完善的教育系统、悠长历史、优良信誉和扎实严谨的思维、理论和应用基础等。动态框架不但保留了框架原本的目的,即为普查以及随机抽样提供结构基础,还有其他方面巨大的应用潜力,这完全取决于统计学界的想象力和创新精神。统计学家应该欣然欢迎大数据时代的到来,并把它看作是统计学本身的一个大变革,带动统计学在运用数据研究社会和人类知识的实践中达到一个新的高度。
- 数据
相关文章
资讯
- 2024-12-21
第五届中国人工智能大赛成果发布会成功举办
- 2024-12-13
北京电信聚焦“上云用数” 推动国产算力应用与智算创新发展
- 2024-12-05
讯飞智作超拟人数字人功能全面开放,开启全民定制新潮流
- 2024-11-25
探索未来之路 激发AI创新 “天翼云·息壤杯”高校AI大赛北京区域赛开赛
- 2024-11-24
亚马逊向Anthropic追加40亿美元投资 加速人工智能创新与应用
- 2024-11-24
科大讯飞:拟推首期员工持股计划
- 2024-11-17
彰显青年风采 传承科学家精神 中国科技青年风采荟在浙江温州举行
- 2024-11-12
2024AI+研发数字(AiDD)峰会深圳站圆满收官!
- 2024-11-09
200余支队伍蓉城“百模论剑”,“人工智能+”全国性赛事报名倒计时3天
- 2024-10-19
三个老发明家献给盛世的礼物---“录味机”
- 2024-10-18
颠覆传统 新味十足 ——2024首届海南智能餐饮烹饪大赛成功举办
- 2024-10-18
首届中国智能锁科技创新大会:德施曼核心科技引领行业,发起科创基金
- 2024-10-18
ODC24 AI服务生态分论坛:全新智慧服务引擎 带动服务分发增长
- 2024-10-18
2024 OPPO开发者大会召开,以技术为基石共建AI智能体新生态
- 2024-10-12
中国移动发布“四驱两翼” 低空经济高质量发展能力体系
原创
荐读
-
5G+AR加持 晨星机器人掀起“智能化+人机交互”制造新趋势
2021世界制造业大会于11月22日在合肥落下帷幕。为期四天的大会中,作为向世界展示智能制造全面能力的窗口,联想展示了一系列让人惊喜的创新产品。现场展示的ThinkPad X1 Fold整体重量仅有1公斤,折叠起来之后的厚度大约为24毫米。当保持半开状态时,可以像拿本书一样握住,并且能同时运行两个应用程序。使用固定在中间的键盘之后,瞬间变...
-
智能手机竞争中失败,日本在联网汽车领域举步维艰
据外媒报道,在制造带有数字联网服务的汽车的竞争中,丰田汽车和日产汽车面临着被本土市场拖累的风险。与美国和欧洲的汽车消费者不同的是,日本消费者不愿意为这些联网功能和服务买单。结果就是:日本只有10%的汽车...
-
2020年河南省将推广应用3万台工业机器人
到2020年,推广应用3万台工业机器人,建设1000条智能生产线、300个智能车间、150个智能工厂……4月16日,在2018两岸智能装备制造郑州论坛上,河南省工信委发布了《2017年河南省智能制造白皮书》,河南智能制造的2020...