百度云存储从2012年7月底正式发布到12月底,用户超过2600万,并且这个数字还在快速推进,在其迅猛增长的背后我们看到了强大的基础设施以及创新的商业模式,给网络存储行业提供了一些参考:
1. 构建在久经考验的基础设施之上的可信存储平台
2. 一人一云,真正实现用户数据唯一性、,不能被设备分割,也不能被应用分割
3. 存储平台要enable很多新的应用与体验;用户感兴趣的是应用,而不是硬盘
传统的互联网业务都是免费+广告模式,是Best-effort模式,而云存储运营服务则提出了非常苛刻的要求,毕竟用户要为此付费,自然会按照付费服务标准来要求。最简单的方法可以类比电信运营商,电信系统的要求就是不间断运行、大容量、高稳定性、高可靠性。之所以提出这么多要求,因为电信网络支撑了整个信息社会的基础,一旦发生故障就会带来巨大的损失。而云存储面临同样的问题,用户与企业将很多关键的数据放到供应商的数据中心,这里面除了一些娱乐信息以外,还有很多个人隐私的数据、甚至是开发者一些关键的商业数据,故障与安全问题带来的影响和损失也是非常巨大的。
可信的存储平台
百度在云存储后台使用了经过验证的Mola系统,稳定性达到4个9。Mola是一个分布式存储引擎采用Key-Value存储形式,适用于可扩展性强、访问并发性强的业务。Mola于2008年开始设计,2009年投入使用已经接近4年的时间,支撑了百度搜索、音乐、百度地图等相关应用。经过几年的演进升级,目前已经升级到第三代。
Mola是百度四大存储系统之一。百度目前要处理数百PB的数据,涉及到网页、日志、广告、UGC等相关内容。每一类的数据都有自己的特点,需要不同的存储系统来支持,以达到效率最大化。比如日志数据对实时性要求就不是太高,但是信息海量;有些数据比如广告,数据量不是很大,但是涉及到商业行为,对低延迟、高并发以及数据的可靠性等方面要求非常高。而Mola正是基于低延迟、高并发设计的存储系统。在Mola第三代系统中,又增加了对强一致性查询的支持。
图1.Mola架构图
高并发、易扩展
云存储的并发是非常大,比如百度个人云存储上线第一天,文件提交量达到7000万个。Mola是这样实现对高并发的支持:在Mola系统中有三个核心组成部分(图1):metaServer,UpdateServer与ChunkServer。数据实际上式存储在Chunk Server上,meta Server存储的是数据的组织和分布信息,记录了每一个表格都存在哪个Chunk Server,Update Server有点类似交换机,通过此Server将数据发送到具体的Chunk Server。, Mola系统中设置了多组Update Server以增加对高并发的支持,减少文件存储时延。当业务不断增长时,存储规模扩展可以通过增加新的Chunk Server来完成,可扩展性很强强。
在实际的存储文件过程中,如果文件太大,对整个文件进行存储,不是很安全,效率也不高,百度的做法是切成小单位,然后在保存在Mola系统里面去(可能存在不同的服务器上),读取的时候再按照拆分的顺序组合成原文件。
百度dulife推可穿戴新品 全面布局健康云
近日,百度与乐心医疗联手,推出了两款可穿戴新产品——“dulife-乐心I3 GPRS远程电子血压计”和“dulife-乐心A2智能体重秤”。在乐心的医疗设备制造能力的基础上,这两款产品均配备了百度的大数据、深度学习、软硬件适配技术及整合了强大的云服务能力,能够帮助用户及时全面了解自己的身体数据,通过科技为生活创造更多的安全与便利。
0评论2015-01-071314
水府示范区:智慧旅游建设“联姻”百度直达号
现在用手机百度搜索“@湖南水府旅游区”,用户就能直接进入湖南水府旅游区的百度“直达号”,享受湖南水府旅游区的移动互联网个性服务,目前,湖南水府旅游区百度直达号正在精心设计中,将成为湘潭市首个拥有百度直达号的旅游景区。
0评论2014-10-231053
- BAT的互联网大数据应用有何不同?
0评论2014-10-21
- 百度首席科学家吴恩达:谁赢了人工智能,谁就会赢得互联网
0评论2014-09-18
百度与宝马合作 钻研自动驾驶技术
16日记者从百度获悉,百度已与宝马正式签署合作协议,双方计划在接下来的三年时间内,联手攻克高度自动化驾驶在中国道路环境下面临的技术挑战。
0评论2014-09-171324
百度云计算数据中心的节能和降耗
过去十多年来,中国的互联网产业发展非常快,这使得百度在各个方面,都取得了一些成绩。其中,在数据中心的整体设计、节能减排等方面,取得了一些可观的成绩。
0评论2014-09-111225
百度大会:坚定不移地走向技术流
昨天,百度世界大会召开,从大会传达的信息和李彦宏演讲来看,未来百度将坚定不移地走技术流,既然是技术流,那么我们挑一个细节,分析一下百度是如何坚定地走技术流的。
0评论2014-09-0418147
传百度以1000万美元投资室内导航技术公司
9月3日,随着与阿里巴巴集团的竞争日益加剧,百度将向室内导航技术公司IndoorAtlas投资大约1000万美元,旨在发展应用于建筑物和购物中心的导航服务。IndoorAtlas创立于2012年,IndoorAtlas脱胎于芬兰奥卢大学(University of Oulu)的一个研究项目。知情人士透露,此次投资对IndoorAtlas的估值为4000万至5000万美元。
0评论2014-09-032198
百度大数据业务试水环保产业
18日,百度宣布与联合国启动战略合作,共建大数据联合实验室,联合实验室的工作重点将会聚焦在创新项目的研发,并利用百度的大数据技术,对行业数据进行分析加工及趋势预测。
0评论2014-08-1918129