北森CTO张庆化：利用Spark实现数据驱动价值

1. 我们了解到你这次组织团队人员一起来参与，参会人员在公司具体负责哪方面业务？

张庆化：北森这次基本上是所有核心团队组团参加这次Spark大会，有负责平台研发的部门负责人、负责北森Sys系统运维的App运维部门负责人，还有负责产品技术研发的技术人员。

本次Spark大会，我们比较关注的是Spark在实时数据计算以及实时数据分析方面的应用，并准备把Spark的技术引入到北森的技术体系中。

北森技术团队为北森业务在大数据方面已经做了很多高价值体现，有独立的数据产品提供给用户。今年我们希望在技术层面进一步提升，尤其在实时计算和流式计算方面技术的引入方面，以实现为用户提供更满意的服务。

CTO俱乐部会员、北森CTO张庆化

2. 在本次峰会中，你最希望了解哪方面的技术？最关注哪些话题？

张庆化：本次峰会，我最想了解Spark在实时数据计算以及实时数据分析方面的应用，以下几个议题我会重点去关注：

• Transwarp Inceptor：基于Spark引擎的高速内存分析和挖掘工具
• 基于Spark Graphx的大规模用户图计算和应用
•  面向实时计算和ETL处理的Shark应用

3. 北森目前技术团队规模和构成是怎样的？北森的技术发展重点是什么，有哪些战略发展规划？

张庆化：北森是目前国内SaaS领域规模最大的公司，现在的技术团队有100多人，分别在北京和南京，由基础平台团队、产品开发团队、运维OPS团队及前端架构团队组成。

北森的技术发展重点分为以下几部分。

1. 多租赁架构技术的深化。SaaS的发展趋势已经由提供统一化的产品转向根据用户的个性化需求作一定程度上的定制，具备用户随需定制的能力将成为SaaS提供商的巨大优势。而随需定制能力的基础是多租赁架构。北森的多租赁架构能提供给用户在数据、界面、功能、业务逻辑方面的定制能力。
2. 数据驱动的用户价值，辅助用户决策。北森做SaaS产品已经11年多，因为是做人才管理平台的，通过一个人在企业中必经的选用育留生命周期的人才数据积累；在保证用户数据安全以及私密性的前提下，利用大数据技术对数据进行挖掘，能提供给用户独有的附加值，北森已经提供给用户一套完善的数据追踪服务，以及大量的行业数据分析模型，帮助企业做好人才管理。
3. DevOps以及对系统的Insight能力的构建。北森有专门的DevOps团队，负责开发森的一体化持续集成的系统，已经很大程度上实现了产品发布的自动化。另外，我们通过APM（Application Performance Monitor）技术，实时收集线上系统运行的性能数据，及时掌握系统运行健康状况，每天会有大量的用户行为数据、速度访问数据、系统异常数据进入数据仓库，我们每天会得这些数据做大量分析模型建立，产生各类报表数据以便支持线上产品运营和支持对体系的性能进行持续优化。

4. 随着北森的人才测评系统和招聘管理系统等产品的发展，积累了大量的数据资源，关于大数据分析有什么样的需求？北森目前亟待这方面技术解决的问题是什么？

张庆化：北森的人才测评和招聘系统的长期使用，积累了大量的数据，如何帮用户挖掘已有数据的价值成为我们的一个重大的挑战。人才测评数据和招聘数据都保持每天超过上十万级别的数据入库。

测评产品可以提供行业、地域等方面的对标数据，帮助用户更好地理解自己人才数据所处的位置，这个数据对用户有着巨大的价值；招聘产品可以通过实时分析各个招聘渠道有效性，在效率和成本投入方面都起到了很关键的决策因素；

北森对大数据分析方面有实时和非实时的需求，实时的数据分析包括对线上请求数据进行实时分析，用以发现危险的用户行为，并予以及时预警或处理。比如对线上性能数据的实时收集，用来展现系统运行健康状况以及系统预警等。

非实时的是主流，包括我们对用户行为的分析，用来帮助优化产品设计、指导产品运营。对海量数据进行统计分析，来形成业务对标数据等。

我们面临的主要问题是业务复杂，有来自业务的，也有来自系统本身的数据，还有需要面对不同的需求。如何在保证数据安全的前提下，有效地解决这些问题，对我们的大数据体系提出了很高的要求。

5. 北森有句观念“不能给用户带来价值的创新应该进回收站”，运用大数据分析为用户带来可观的价值这方面能否具体谈谈？

张庆化：北森现在已经实现了数据驱动产品设计和运营。一个业务功能上线后，我们会跟踪这些功能的使用情况，用来发现功能设计中隐含着的缺陷，并及时予以改进。我们还会在用户行为中发现用户的需求，并及时地推出满足用户需求的功能。

现在基本上实现了用户行为分析特征用户访谈产品持续改进这样一个良性循环，能持续服务好用户，并帮助企业做好人才管理，让用户享受我们北森人才管理平台带来的便捷，这都说明大数据体系建设至关重要。

更多精彩尽在2014年4月19日中国Spark技术峰会。新加入CTO俱乐部会员可七折购买“2014中国Spark技术峰会”门票（原价1000元/张），同时享受本次峰会的VIP通道，包括门票快速开通、现场专人签到服务等独享机会。

申请流程：点击，用CSDN ID注册申请加入CTO俱乐部，在推荐人一栏标注“购买Spark大会门票”，待后台审核通过即可收到优惠专享通道。为保证参会服务，请您最晚于4月15日前提交并购买门票。

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠