2013年6月5日,第六届上海通信发展年会将在上海举行。年会的主题为“通信与大数据”。
上海通信发展年会是目前国内通信行业中唯一由一个地区的整个行业发起、举办的专业年会,其主要目标是促进整个行业协调发展,共同、更好地服务上海的通信及信息化发展。同时,结合上海的实际,对通信信息技术、服务理念、市场方向进行前瞻性讨论,从而对整个行业的发展进行战略思考,也是年会的重要目标之一。
基于上述两个目标,上海通信发展年会在选择主题时,往往强调两点:一是对上海的发展具有重要意义;二是具备一定的前沿性。
对于上海而言,大数据这一技术概念的发展和应用,具有不言而喻的重要意义。正如上海电信所说:大数据终将形成变革之力。
而年会以大数据为主题,也释放出一个信号:上海的通信运营企业已经准备好迎接大数据时代的到来。上海联通就明确表示:基于大数据的商业智能应用,将为运营企业带来巨大的机遇。
上海通信发展年会是在上海市通信管理局指导下,由上海市通信行业协会、上海市通信学会、上海市互联网协会及中国电信上海公司、中国移动上海公司、中国联通上海市分公司联合发起并主办,通信运营、设备制造、软件设计等企业,国内外通信行业研究机构共同参与的活动。年会每年举办一次,至今已连续六年。
年会自举办以来,得到了工业和信息化部、上海市政府的支持,每次年会,均有工业和信息化部、上海市及下属区县政府相关部门官员、专家参与年会,围绕当年年会主题,以演讲、研讨等形式,阐述国内外最新成果、国家及上海市相关战略规划和政策。
大数据终将形成变革之力
在上海电信看来,所谓大数据技术,就是让我们以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力。这是最常见的大数据4V定义:体量大、多样性、速度快、价值密度低。
上海移动认为:“大数据”概念即信息处理技术。海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。而另外3项信息感知技术、信息传输技术、信息安全技术,也与“大数据”密切相关。
上海电信还认为,我们不能把“大数据”概念混同于“数据大”。大数据不仅仅是数据规模的庞大,而且还需要数据的丰富性、多样性和系统性,需要有针对性的数据积累和长期积淀。
我们也不能把大数据等同于云计算。云计算的核心是业务模式,本质是数据处理技术。如果失去对大数据理解和运用,云计算只是房地产的代名词。数据是资产,云为数据资产提供了保管、访问的场所和渠道。如何盘活数据资产,使其为社会管理、企业决策乃至个人生活服务,是大数据核心议题,也是云计算的灵魂和必然的升级方向。
最后,大数据必然是开放的。因为大数据的类型比较复杂,数据量比较大,可以通过分布式的处理方式把应用复杂分散到分布式系统的各个节点上。而传统的数据处理是由运算能力非常强、CPU主频非常高的一台机器来完成,而不是大数据这种多个节点、多个CPU核数来处理,这意味着大数据时代发展方向将更加具有开放性。
运营商的挑战与机遇
运营企业如何看待大数据时代的到来?对此,上海联通、电信、移动较为一致的态度是:随着信息成为企业战略资产,市场竞争要求越来越多的数据被长期保存,对于运营商而言,每天都会从网络管道、业务平台、支撑系统中产生大量有价值的数据,基于这些数据的商业智能应用将为运营商带来巨大的机遇。
上海联通认为,通过对这些数据的深入挖掘和应用,通信运营商至少可以做三件事情:
第一,通过用户偏好分析,及时、准确进行业务推荐和客户关怀,改进产品设计,并通过分析流量、流向变化,调整资源配置,优化网络配置,改善用户体验。
第二,快速准确确定公司管理和市场竞争策略,助力市场决策行为,提升企业运营效率,促进国有资产进一步保值增值。
第三,通过业务、资源、财务等各类数据的综合分析,在确保用户隐私不被侵犯的前提下,对数据进行深度加工,对可信第三方提供信息服务,为客户创造更大的价值。
虽然大数据给运营企业带来了巨大的商机,但是,国内运营商对数据应用的新技术研究普遍起步较晚,在创新意识方面相对于移动互联网企业有所欠缺,因此,运营商必然面临着一些挑战,主要体现在:
在内部硬件上,目前运营商的各类系统数据吞吐能力尚有所欠缺。事实上,目前运营商对类似升级改造项目的投资,在优先级上要低于网络质量和计费系统等核心系统的水平。
在内部软件上,运营商作为大型的国企,企业组织在地域、业务和IT等维度的条块分割比较严重,地域上划分为全国、省(直辖市)和地市(区)三个层级,业务部门划分为政企客户、公众客户、市场营销、客服等多个部门,这些部门之间的互相沟通协作存在着一定的障碍,而大数据应用往往要求从客户的角度综合统筹各种信息,对运营商而言管理成本巨大。
在外部关系上,运营商还存在着如何界定和规避用户隐私、如何解决用户数据安全,以及如何应对部分互联网企业已捷足先登,提供了主机云、数据库云等服务的问题。
总体而言,大数据背景下通信运营企业机遇和挑战并存,并且更多的是机遇。运营商在大数据技术研究和应用已被互联网行业抛离的趋势下,上海的运营商和其合作伙伴正在紧抓有限的时间窗口奋起直追,避免彻底沦为管道的尴尬,真正转型为综合信息服务提供商。
大数据技术方案必备四个条件
在技术层面上,大数据处理技术种类繁多,包括数据仓库技术、Hadoop、NoSql、流式处理技术等。其中Hadoop作为一个开源的能够对大量数据进行分布式处理的软件框架,近来不断受到业界追捧,类似谷歌、亚马逊等世界领先的互联网公司也公布了基于Hadoop的成功案例,一些声音甚至表示,Hadoop就等于大数据。
据了解,中国联通在内的国内运营商和一些大型企业也开启了Hadoop的大数据探索之路。其中已经先期开展的应用就是通过采用英特尔硬件平台及英特尔Hadoop相结合的大数据技术,构建上网记录集中查询与分析支撑系统,用以解决用户上网记录无法查询的难题。
但是也应该看到,这种技术不仅是IT设备投入,人力成本以及对操作人员的技术水平都有相当严格的要求,目前自行开发Hadoop平台的都是具备一定开发能力的互联网企业,但运营商在这方面并不擅长。
据上海移动介绍,目前业界在大数据业务支撑系统上已经有了很多的研究,中国移动也在积极进行研究探索,技术上的难点包括如何整合运营商内部已有“烟囱式”的各类经营分析系统,建设一个开放接口的共享数据平台;如何解决海量数据的采集、存储和安全问题等。
上海联通认为,在未来大数据技术方案应该具备四个条件:
一是具备数据分析速度优势。在查询效率上比传统系统要有大幅提高。
二是具备大规模扩展能力。数据的横向、纵向的扩展能力提升,包括跨服务器数据的处理能力优势。
三是具备开放架构优势。一方面是对Hadoop的支持与集成,另一方面则是提供各个平台间,甚至是与第三方平台间的自由的传输数据和存储。
四是具备完善的自我学习能力。实现海量数据挖掘后不需要人工干预的策略自我归集。