根据IBM最近的一项研究，过去两年生成的信息占整个人类历史信息总量的百分之九十。这就是大数据，其体量已经达到了传统数据库管理系统无法有效处理的程度。大数据包括那些由社交媒体、邮件、视频、音频、文档信息和网页所产生的数据。他们来源于智能手机、数码相机、全球定位系统、工业传感器、社交网络，甚至是公共监管系统和交通监测系统等。每当你使用手机，进行一次网络搜索或者是网络购物，你都留下了自己的数字足迹，创造了新的数据。
我们第一次可以通过数据来确定使用者的地理位置、身份和目的，使得企业和政府对于个人的社交和购买行为有了前所未有的了解。就是这一波信息的规模，需要我们探寻新的方法来对其进行梳理，以找到隐藏在其中的价值。
大数据的时代背景
大规模的数据分析已经存在了相当长的一段时间，但直至现在他们才广泛地被政府和某些部门所重视。这些工作通常是利用结构化数据分析已知的标准参数。例如，早期互联网的映射设计，是用来决定数据和转接站的位置，或者确定大多数的网络互连会在哪产生。
迈克尔·刘易斯（Michael Lewis）的畅销书《点球成金》（Moneyball）让大数据进入了公众的视野。《点球成金》通过使用大数据的分析方法，对职业棒球大联盟统计数据中的结构化数据进行分析，将团队的获胜率最大化，增加打进季后赛的机率。这一分析验证了一位本垒打的明星球员虽然会带来更高门票的销售额，但是球员的上垒能力可以增加团队获胜的机率。
像谷歌、百度和亚马逊这类的互联网公司已在寻求方法改进他们的网络规划、广告投放和客户服务，并对大数据分析进行了创新型应用。如今，绝大多数的数据来源于Twitter、Facebook、linkedIn和其他逐步兴起的社交服务网站。
很多公司都非常清楚，在它们跨地域的全球运营中，蕴藏着一笔巨大的财富：那就是创新理念和能力。然而，要真的发掘出这些理念、利用这些能力，则困难得多。适用于单一地点实施的创新的经验，并不一定会对跨越全球多个点的创新项目奏效。
大数据和云技术
随着云技术的不断地发展，海量数据急剧增长——“云”已经成了互联网的别称。数据呈指数级增长，尤其随着苹果和安卓智能手机和操作系统所带来的移动数据应用的增加，对于数据传输和储存的需求也在提高。对于像微软、联邦快递那样服务于全球用户，有着数百万数据处理量的网站来说，没有哪个单一的网站服务器的配置可以为他们的庞大数据量提供充足的存储空间。网络使用者希望得到的是快速的响应和即时的结果，特别是在那些基于网络的繁杂、庞大的商业环境中。
大数据分析需要一个基于云的解决方案，这种网络化方法能够与不断增长的数据运载量和数据传输速度保持同步。这就意味着，类似于Hadoop和ECL（Enterprise Control Language）这样的集成服务器与软件系统的平台形成了宽带连接的云，能够在海量数据中发现隐含意义。通过使用这种基于云的解决方案，身在硅谷办公室的谷歌营销分析师敲入信息请求，数据就能够在东京、阿姆斯特朗、奥斯汀和德克萨斯被同步处理。
大数据和大公司
每个数据传感器每秒可以生成15.2万个样本，这些数据信号最后变换成每年4万亿的数据量。如今的工业化和商业化进程，每天可以产生250万兆比特字节，并且这个数字还在不断攀升。大规模精密设备的制造商，现在已经可以事先检验预测出可能存在的设备故障，并能在设备发生重大问题之前就被替换掉——这样通用公司的客户就会省下大量资金。
像亚马逊、淘宝这样的大型电子商务公司，通过使用大数据分析来预测消费者行为，也用以了解仓储需求和货运定位。
政府的医疗机构和医学家可以将大数据用于潜在流行病的早期发现和追踪上。急诊室病人数量的激增，或者某些非处方药销量的上涨，都可能成为一种传染性疾病的早期预警。这就使得医生和处理紧急事务的政府职员能够尽早采取控制措施。
现如今，大多数的大数据应用还仅限于大型企业和政府机构。IBM、SAS、EMC等大公司，利用其开源技术——如Hadoop，首批大数据软件算法之一——已成为了大数据分析领域的领军者。然而，很多为中小企业提供产品和服务的新兴企业也开始加入到这一领域中来。
小企业的大数据
很多大数据应用可以帮助网络公司处理不期而来的繁杂数据。只有最大型的公司才有相应的能力和预算来开发大数据。但随着数据存储、宽带技术和运营计算等成本的不断降低，大数据已成为中小企业支付得起的有用工具。大数据分析也逐步成为许多新兴的、高度专业化的商业模式的基础。
欧洲和中东的一些小型公司正在整合社交媒体上成千上万的信息，意在为消费者提供一个集各类商品信息和购物评论于一体的平台，也使得商家能够准确地把握客户想法。
对客户数据更广泛的了解，能使较小型的企业即使陷入意料之外的竞争时，也能够更快地调整市场促销和定价，或者定义新的需求趋势。这有助于小企业快速地重新定义重要的产品竞争特色。
大数据在中国
在中国美国商会最近举行的信息与通讯技术（ICT）论坛活动上，波士顿咨询集团的高级合伙人耐迪贤（Christoph Nettesheim）预测，到2015年，中国的网民将会是美国和日本网民总和的两倍，约计7亿人。到2015年，电子商务在中国将占零售总额的8%，25-35岁的中国年轻人的大部分的衣物和消费品都会通过网购实现。
这意味着，像淘宝和京东商城这样的中国企业，将需要更加复杂的大数据分析以确保其有效运营。目前，大部分中国企业都在使用开源软件——特别是Hadoop——来管理他们的大数据应用。然而，潜在大数据的规模预示着，中国的信息技术专家很有可能会开发出本土的分析工具，并且在未来五年内，中国很有可能开发出一款全球知名的大数据产品。
无论中国企业是否开发他们自己的产品，鉴于中国的大数据市场规模，中国公司都会在数据分析领域以及国际产品和服务的开发上产生巨大影响。
与此同时，新兴的全球性中国企业，比如华为和海尔，都在使用各种各样的大数据来定义那些隐性的或未曾被发现的购买行为和市场趋势。而像通用、沃尔玛和谷歌等大公司对数据分析的使用一样，小企业也会在较小范围内使用大数据，以便提高其竞争力，更为有效地使用有限的资源。
