国内最全IT社区平台 联系我们 | 收藏本站
华晨云阿里云优惠2
您当前位置:首页 > 互联网 > 大公网冯咀志:站内搜索系统的PowerLinux迁移实践

大公网冯咀志:站内搜索系统的PowerLinux迁移实践

来源:程序员人生   发布时间:2014-09-11 00:26:54 阅读次数:2596次

在大数据,云计算和移动互联网大潮下,企业面对快速变化的市场既是一种挑战更是一个机遇,业务主管和CIO面对不断增加的新业务,他们必须要求IT 部门不停地整合各种不同应用的工作负载,选配合适的技术系统,以实现更好的适配应用。

为了鼓励更多开源软件的商业化创新,帮助企业打造更高效、更具经济效益的开源应用技术平台, IBM联合CSDN举办“PowerLinux应用服务器,定义未来挑战赛”,鼓励更多企业用户体验独一无二的PowerLinux服务器。

本活动吸引了吸引了数十家企业和百余位开发者的关注,目前已有众多项目成功完成了体验、测试及迁移。CSDN特意挑选了其中部分项目的负责人进行了采访,分享迁移过程中的实践经验。以下是对大公网高级Java工程师冯咀志的采访原文。


大公网高级Java工程师  冯咀志

冯咀志,大公网高级Java工程师,曾经任职于Accenture、环球网。有6年Java开发的从业经验。工作中的技术方向为搜索引擎技术、分词技术、企业后台开发。关注的技术点有开源中间件、服务器调优。

-想请简单介绍一下项目的业务特点?以及项目的实现方式,所用的平台及搜索引擎等技术?

我们的站内搜索系统是一个平台系统对外提供功能操作和API调用服务。

  • 对外提供的功能包括:通过搜索引擎对外提供数据的精确查询、模糊查询、范围查询、多条件查询等功能,以替代高并发、大数据量下的数据库查询。
  • 对外提供的服务包括:根据相关度及约束条件以Json格式返回匹配的内容、中文分词等服务。
  • 目前项目的实现方式为:2台Tomcat服务器做双机热备/负载均衡对外提供调用接口,3台搜索引擎服务器管理索引。
  • 当前所使用的平台为:x86架构的Linux平台,搜索引擎采用Elasticsearch1.x基于Lucene4.6。

-为什么要做从x86 Linux到PowerLinux的迁移?

  • 希望评估下Power架构的性能参数,为后续升级做储备。
  • 当前架构采用廉价至强服务器的集群结构,随着机器数量的增多给日常维护及代码更新带来了一定挑战。希望通过一台高性能服务器替代集群架构。

-原来的x86环境有什么不足?

  • 初始化索引时CPU负载比较高,索引创建速度比较慢。
  • JVM内存回收耗时较长。

-Power环境有哪些优势?是否满足了预期的要求?

  • CPU运算能力比原来环境要强。
  • 索引创建速度明显加快,CPU负载很低。
  • 达到并且部分超过预期要求。

-移植后的性能测试和功能测试分别是怎样设计的?运行环境参数又是如何调整的?

因为采用VPN的方式连接服务器,考虑到网络因素的影响,所以功能测试部分在服务器端通过Apache AB进行压测。

服务接口部分通过普通PC上的Jmeter进行远程调用测试,最大限度的模拟用户真实使用环境。

运行参数主要调整以下几方面:

  • Tomcat连接池参数
  • TomcatJVM参数
  • ElasticsearchJVM参数及垃圾回收策略

-除了目前已经达成的性能要求,你还有哪些希望解决的问题?对环境还有哪些要求或者期望?

远程测试搜索接口的过程中发现压力增大到500并发时会报错,初步怀疑是VPN连接的问题,希望能通过真实环境进行测试。

因为时间关系,项目使用x86版的JDK进行编译,希望有机会可以做IBM JDK编译的测试数据。

对环境的要求和期望:

  • 希望开放一些Yum源,在安装工具的过程中手工安装依赖很麻烦。
  • 希望官方提供更多的资料和Demo比如关于Power架构的和IBM JKD的。

-移植和测试有哪些人员参与,花费了多少人力成本和技术成本?请分享一下迁移过程中值得注意的实践经验。

移植由我一个人参与和负责。

主要利用周末和晚上下班时间,大概用了一周半。技术上主要查了些IBM JDK的资料和一些JVM配置参数。

需要注意的地方:

  • x86下的Linux命令在Power上都可以正常执行。
  • 大部分软件在PowerLinux上都可以正常运行,但是一些调用了本地库的第三方工具会出现问题。

IBM联合CSDN举办“PowerLinux应用服务器,定义未来挑战赛”火热进行中,如果您也是互联网企业,欢迎您加入到PowerLinux服务器体验计划中来。申请地址:http://powerlinux.csdn.net/migration.html


以“云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上 报名 !  


生活不易,码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠
程序员人生
------分隔线----------------------------
分享到:
------分隔线----------------------------
关闭
程序员人生