【云先锋】ClouDil云方案：PB级大数据解决方案

珠海世纪鼎利通信科技股份有限公司作为一家在通信领域专长于无线网络测试并提供移动通信网络优化综合解决方案的高科技企业，以其领先的技术、服务实力以及优秀业绩，于2010年1月在创业板成功上市，世纪鼎利专注于为通信运营商、系统提供商和第三方咨询服务公司提供专业的无线网络优化、测试、规划等解决方案和产品，正逐步转型成为“端到端综合解决方案”提供商。

旗下的ClouDil云方案成为国内率先将Hadoop技术实际运用到电信领域的产品，由于电信级的信令共享平台数据量很大，以中移动江苏公司2011年为例，约36亿条记录/天，对查询性能要求极高，一个月的数据要求秒级呈现。日前，笔者有幸联系到该公司的基础研究部副总监张勇鹏，他给我们详细分享了ClouDil云方案的性能特性，以及开发过程中的诸多细节，以下为采访实录：

张勇鹏

毕业于西安电子科技大学，现任珠海世纪鼎力通信科技股份有限公司基础研究部副总监 。

历任：高级开发工程师、测试部经理、西安研发主任、2011任基础研究部副总监，同时组建云计算团队，负责ClouDil的研究和开发。

CSDN：能给大家介绍下你和你们公司情况吗？技术特点和团队结构如何？ 

张勇鹏：世纪鼎利成立于2001年，主要专注于无线网络测试并提供移动通信网络优化综合解决方案，为通信运营商、系统提供商和第三方咨询服务公司提供专业的无线网络优化、测试、核心网信令大数据解决方案和产品。

云计算团队组建于2011年，开发团队主要分布在北京、西安、珠海，人员主要由开发经理、架构师、产品经理、产品助理、开发工程师、测试人员组成，基本上保持50人左右的规模。

ClouDil主要负责涉及4个方向：大数据处理、应用托管、集群管理、可视化建模。

云计算方面的产品主要是我们的ClouDil系列，产品介绍及特性如下：

1）ClouDil TitanData 

提供PB级数据的采集、存储和处理能力，作为企业大数据平台，为企业提供端到端的业务支持，快速实现海量数据的商业价值。

2）ClouDil Visual Modeler 

针对于大数据的可视化建模，大大降低用户的开发门槛，不用写代码、只需要懂业务即可快速开发基于大数据应用。

3）ClouDil AppHost 

比VMware更轻量级的虚拟技术，通过资源隔离方式，实现Web、PHP、Java后台服务等应用的托管，大大减少了应用部署的复杂度和工作量，同时极大的提高了硬件资源的利用率。

4）ClouDil ClusterCare 

对集群进行统一管理的平台，不但对硬件进行监控，也可以通过自定义的方式对集群中运行的程序进行监控、告警。

CSDN：谈谈你们的ClouDil云方案吧，主要功能有哪些？为什么开发这个平台？

张勇鹏：2011年，我司中标中移动江苏公司信令共享云平台项目，当时信令共享平台的数据量很大，约36亿条记录/天，对查询性能要求极高，一个月的数据要求秒级呈现，传统的数据库方案完全无法实现。

当时我们也在找一些合作厂家，但发现国内没有任何一个成熟的云方案能解决电信级大数据的问题，后来只好自行组建团队，使用Hadoop技术，使得此江苏信令共享平台项目成为国内第一家将Hadoop技术应用在电信领域的解决方案。

江苏信令共享平台是ClouDil的第一个项目，当时主要的功能有两个：一个是即席查询、一个是海量数据分析。

CSDN：你觉得ClouDil最大的技术优势在哪？国内外竞争者有哪些？

张勇鹏：ClouDil的最大技术优势有两个：敏捷和包容。敏捷性体现在：1、快速部署，一键即可安装。2、快速开发，不需要编码即可开发。包容性主要体现在可针对任一Hadoop生态链中的版本，比如：CDH4、Hive、HBase、Hypertable、Implala都可根据用户的需求特点进行选装。

CSDN：开发这个平台过程中遇到的最大困难是什么？目前企业在部署ClouDil平台过程中还有哪些难点？

张勇鹏：遇到最大的困难还是人才难求，毕竟国内在这块还是比较薄弱，相关的高级开发人员还比较少。

部署ClouDil本身比较容易，但ClouDil毕竟是一个平台，最终产生价值的还是基于平台的应用，由于Hadoop对开发人员要求较高，一些未经优化的应用进入平台后，会占用大量的平台资源，导致平台效率极其低下。

CSDN：ClouDil如何收费？盈利模式如何？

张勇鹏：呵，目前ClouDil还没有做为一个完整的发行包提供，主要应用在一些行业的解决方案，这些行业方案具有一个共同的特点，就是数据量非常大，比如电信领域、交通领域等等。

CSDN：未来有什么规划？对这个行业的前景怎么看？

张勇鹏：ClouDil将在近期提供免费版本，供大家使用，并会根据反馈意见进行改进。

目前云计算、大数据都比较热，但真正让大数据带来收益的案例并不多，ClouDil的大方向是为用户带来实实在在的利益，比如说减少成本，带来增值等等。大数据的趋势不可改变，只要踏踏实实的做下去，真正为用户带来价值，肯定会越来越好。

CSDN：有没有什么有趣的用户案例和大家分享一下？

张勇鹏：呵呵，我们在大数据挖掘领域正在进行深入的研究，目前主要在通信领域这块，有几个有意思的结果：

1、各地的晚高峰时间点不一样，比如重庆，晚高峰一般在18：00，而南京的晚高峰会出现在15：30分左右，沈阳晚高峰有时会更早。

2、一般节日通话次数少于平时。

3、春节期间，从8点开始，信道占用一路上升，到12点半后开始下降。

4、微信和QQ，占了统计流量的50%，各地都差不多。

CSDN：能谈谈数据挖掘领域面临的挑战吗？国内在数据挖掘方面处在什么样的水平？和国外的差距体现在哪些方面？

张勇鹏： 目前国内在挖掘上“各厂家都在探索“，而更多的是数据统计，挖掘主要是定向的多一些，即知道结果，回溯其原因。国外这块的研究更多一些，国内因为追求短期利益，而大数据这块开发和调试相对周期更长，带来的利益也不是很明确，一般企业不会投入太多精力去做研究，而大数据挖掘才能为用户带来真正的价值，我们后期将会在挖掘领域投入更多的研究。 

CSDN：您对第六届云计算大会有哪些期望？特别关注哪部分？为什么？ 

张勇鹏：应用，目前国内平台的建设、数据的存储基本上完成了，剩下的就是应用，如何基于这些数据对最终客户带来价值，这才是硬道理。只要切切实实给用户带来利益，云计算、大数据才会有长远的发展。

如果您的公司认同云计算与大数据发展趋势，重视技术团队的发展和技术人才的成长，承认技术已成为企业关键竞争力之一，那就不应错过第六届中国云计算大会。目前购票火爆， 团体购票可享受8折优惠，个人票仅有部分剩余，迅速抢票 ！

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠