大数据是继云计算、物联网、移动互联网之后信息技术融合应用的新焦点,将引发各领域、各行业管理模式、服务模式、商业模式的变革和创新,对经济社会发展及人们生活方式产生深刻影响。政府作为信息资源的最大拥有者,如何抓住“大数据”技术快速发展的契机,创新社会管理和服务应用,成为摆在各级电子政务主管部门面前的新课题。
一、信息技术的进步产生了大数据,更带来了新的技术挑战与机遇
我们从未像今天一样产生如此海量的数据,数据的产生已经完全不受时间、地点的限制。与传统的数据库处理对象和技术相对比,在数据规模上大数据常常以GB、TB,甚至是PB为基本处理单位;在数据类型上改变了原有的结构化数据为主的特征,更包含了越来越多的半结构化和非结构化的数据;在数据关系上突破了先建立结构再产生数据的模式,而是随着数据量的增长,数据关系也在不断演变;在处理思维上不仅将数据作为对象,更要作为一种资源,即采用新数据思维来应对。
随着电子政务的快速发展,首先是管理操作型系统产生了大量的数据,包括社会保障、道路交通、环境卫生信息等等,相关操作和管理活动被记录在各式的数据库中;第二是社会原创内容信息,在Web2.0的技术支撑下,博客、微博等新媒体和社交网络使数据量呈现爆炸式的增长;第三是物联网感知系统,通过广泛布置于社会的各个角落,对社会运转进行监控,并源源不断的产生巨量信息。数据的产生包括了被动、主动和自动的方式,也正是数据产生方式的巨大变化才最终导致大数据的产生。
基于大数据与传统数据管理与应用迥然不同的特点,使得政府信息资源管理部门面临着新的挑战。数据的广泛存在性使得数据越来越多地散布于不同的政府数据管理系统中,需要对异构的数据类型、生产模式和存储方式进行综合集成,并保障相应的数据质量。在大数据分析方面,从数据处理的实时性、大数据索引方案、易用性设计等技术,还需要建立创新的应用模式。同时,海量政务信息资源的汇聚,将涉及到社会及公众生活、生产的方方面面,其大数据的隐私和保密也将成为更加突出的问题。
二、发达国家和地区从战略层面鼓励大数据研发及应用,力图占据新的制高点
为应对大数据变革带来的机遇,发达国家纷纷制定相关计划,并从政策、人才、科研和试点应用等多个层面,推动大数据的进一步科学发展和创新应用。
美国奥巴马政府宣布了“大数据的研究和发展计划”,通过提高从大型复杂的数据集中提取知识和观点的能力,帮助加快在科学与工程中的步伐,加强国家安全并改善教学研究。联邦政府宣布提供2亿美元的投资,以提高从大量数字数据中访问、组织、收集发现信息的工具和技术水平。在工业界、大学研究界、非营利性机构与管理者一起利用大数据所创造的机会。给大学提供研究资助,开设全新的研究型课程,培养下一代的“数据科学家”。目前,美国已有包括国家科学基金会、国家卫生研究院、 能源部、 国防部及其下属国防高级研究计划局、美国地质调查局等联邦机构,承担了美国的大数据实验项目研发。
欧盟对于政府大数据资源十分重视,更积极鼓励各会员国进行政府开放数据的行动以推动大数据应用。德国目前正修改现有法律,以便让政府数据集中在同一网站平台上,所有数据皆可在任何目的下进行数据再利用;法国则采取各部门独立运作的方式;西班牙是藉由推动国家型计划来令政府大数据资源可为大众所取用。欧盟在推动政府大数据资源时,更希望可以使欧洲的信息市场建立起跨国界的信息商品,甚至是跨国界的公共部门信息服务,因此各国会更有动力去推动进行,进而保障成功。
新加坡对于大数据的战略定位是“利用数据作为资源”。政府抓住五大关键要素:基础设施、产业链、人才、技术和立法,并发挥着关键作用。新加坡已确立其作为全球数据管理枢纽的地位,汇集了东南亚超过50%的商业数据托管及中立运营商数据中心。在数据挖掘方面,鼓励大学设立数据挖掘和分析平台,开设了4个硕士课程以及5个本科课程,提供侧重于具体行业应用的多学科研究方法。新加坡政府还承担了数据提供者角色,主动披露政府掌握的数据。在促进技术发展方面,新加坡政府对大数据存储、分析和挖掘技术与产品投入了巨大资金。大数据的发展总是伴随着与个人隐私权的冲突,新加坡于2012年公布了《个人资料保护法》,旨在防范对国内数据以及源于境外的个人资料的滥用行为。