一、前言

以前版本的 Urchin 以串行方式处理配置文件。例如,如果处理 1 个配置文件需要 1 分钟,则处理 100 个配置文件将需要大约 100 分钟,并且这100个配置文件是按照调度时间依次调度。修改urhcin配置文件并行数,可以有效利用urchin服务器,提高配置文件的运行效率。

为解决此问题,Urchin 7.0 引入了并行配置文件处理。现在,可以同时运行多个配置文件处理作业,这意味着,我们可以通过多个配置文件并行处理的方式提高Urchin系统运行效率。此功能面向中等和大作业量的企业客户端:

• 托管服务提供商

• 具有大量配置文件的客户端

二、配置并行配置文件处理

默认情况下,新安装或升级的 Urchin 7.0 实例只允许一次处理一个配置文件。要启用并行配置文件处理,请执行以下操作:

1. 取消 MaxConcurrentProfileTasks 选项的注释标记(在 <urchin_home>/etc/urchin.conf 中),并将其设置为必要的值。(注:urchin_home为Urchin安装根目录)例如:

MaxConcurrentProfileTasks:2

2. 重新启动 Urchin 服务:

urchinctl restart

请注意:Urchin 配置文件由一个处理引擎实例专门处理,比如下面是我们并行11个文件数的配置。

三、修改并行配置文件数量时要注意

配置文件处理作业需要耗费大量的存储和输入输出资源。盲目提高 MaxConcurrentProfileTasks 参数的值几乎会耗尽系统资源,并显著降低处理速度。

仅在以下情况下才应提高 MaxConcurrentProfileTasks 的值:

• 有足够的内存供内存中的多个作业使用。服务器除了Urchin运行会占用内存,还有系统环境本身内存占用,还有数据库、Urchin前端使用占用内存等。

• 配置文件和日志源实际位于不同物理硬盘驱动器上,或者有高速硬盘驱动器。比如日志源放在E盘,Urchin配置文件放在F盘中。

• 在数据中心模式下使用 Urchin。

大致的资源消耗情况:

并行作业数

内存 (MB)

IO 读取 (MB/s)

IO 写入 (MB/s)

1

1000

10

5

2

2000

20

10

 

 



除非注明,本博客文章均为 数据研究与商业应用(TonySong) 原创.
转载请注明本文地址: http://www.searchmarketingart.com/parallel-profile-processing.html