使用HugePages优化内存性能

版权声明：转载时请以超链接情势标明文章原始出处和作者信息及本声明
http://blog.csdn.net/wenshuangzhu/article/details/44095565

1. 引子

系统进程是通过虚拟地址访问内存，但是CPU必须把它转换程物理内存地址才能真正访问内存。为了提高这个转换效力，CPU会缓存最近的虚拟内存地址和物理内存地址的映照关系，并保存在1个由CPU保护的映照表中。为了尽可能提高内存的访问速度，需要在映照表中保存尽可能多的映照关系。

而在Linux中，内存都是以页的情势划分的，默许情况下每页是4K，这就意味着如果物理内存很大，则映照表的条目将会非常多，会影响CPU的检索效力。由于内存大小是固定的，为了减少映照表的条目，可采取的办法只有增加页的尺寸。

2. HugePages简介

2.1 相干概念

HugePages是在Linux2.6内核被引入的，主要提供4k的page和比较大的page的选择。

2.2 使用HugePages的意义

HugePages是linux内核的1个特性，使用hugepage可以用更大的内存页来取代传统的4K页面。使用HugePage主要带来以下好处：

1. HugePages 会在系统启动时，直接分配并保存对应大小的内存区域。

2. HugePages 在开机以后，如果没有管理员的参与，是不会释放和改变的。

3. 没有swap。

Notswappable: HugePages are not swappable. Therefore thereis no page-in/page-outmechanism overhead.HugePages are universally regarded aspinned.

4. 大大提高了CPU cache中寄存的page table所覆盖的内存大小，从而提高了TLB命中率。

进程的虚拟内存地址段先连接到page table然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映照关系，然后再访问物理内存。

CPU cache中有1部份TLB用来寄存部份page table以提高这类转换的速度。由于page size变大了，所以一样大小的TLB，所覆盖的内存大小也变大了。提高了TLB命中率，也提高了地址转换的速度。

5. 减轻page table的负载。

进行XXX系统性能测试时，如果没有使用HugePages，数据库服务器上的pagetable大小大约为5G（这应当也是致使性能测试时数据库服务器内存不足的主要缘由）：

node74:/home/oracle # cat /proc/meminfo

MemTotal:       16323732 kB

PageTables:       5442384kB

配置了HugePages后，pagetable大小仅为124M（性能测试时内存使用率稳定在80%左右）：

node74:/home/oracle # cat /proc/meminfo

MemTotal:       16323732 kB

PageTables:       127384 kB

Eliminated page tablelookup overhead: 由于hugepage是不swappable的，所有就没有page table lookups。

Faster overall memory performance:  由于虚拟内存需要两步操作才能实际对应到物理内存地址，因此更少的pages，减轻了page table访问热度，避免了page table热门瓶颈问题。

6. 提高内存的性能，下降CPU负载，原理同上

2.3 使用HugePages需要注意的地方

1. Hugepages是在分配后就会预留出来的，其大小1定要比服务器上所有实例的SGA总和要大，差1点都不行。

比如说Hugepages设置为8G，oracle SGA为9G，那末oracle在启动的时候就不会使用到这8G的Hugepages。这8G就浪费了。所以在设置Hugepages时要计算SGA的大小，后面会给出1个脚本来计算。

2. 其他进程没法使用Hugepages的内存，所以不要设置太大，稍稍比SGA大1点保证SGA可使用到hugepages就行了。

3. 在meminfo中和Hugepage相干的有4项：

HugePages_Total:   4611

HugePages_Free:     474

HugePages_Rsvd:     467

Hugepagesize:      2048 kB

HugePages_Total为所分配的页面数目，和Hugepagesize相乘后得到所分配的内存大小。4611*2/1024大约为9GB

HugePages_Free为历来没有被使用过的Hugepages数目。即便oraclesga已分配了这部份内存，但是如果没有实际写入，那末看到的还是Free的。这是很容易误解的地方。

HugePages_Rsvd为已被分配预留但是还没有使用的page数目。在Oracle刚刚启动时，大部份内存应当都是Reserved并且Free的，随着oracle SGA的使用，Reserved和Free都会不断的下降。

HugePages_Free-HugePages_Rsvd 这部份是没有被使用到的内存，如果没有其他的oracle instance，这部份内存或许永久都不会被使用到，也就是被浪费了。

4. HugePages和oracle AMM（自动内存管理）是互斥的，所以使用HugePages必须设置内存参数MEMORY_TARGET / MEMORY_MAX_TARGET 为0。

3.  配置HugePages

3.1 修改内核参数memlock

修改内核参数memlock，单位是KB，如果内存是16G，memlock的大小要略微小于物理内存。计划lock 12GB的内存大小。参数设置为大于SGA是没有坏处的。

以root用户登录两台数据库服务器，编辑limits.conf文件：

node74:~ # vi /etc/security/limits.conf

增加以下两行内容：

*  soft  memlock    12582912

*  hard  memlock    12582912

3.2 验证memlock limit

重新登录root和oracle用户，检查memlocklimit

node74:~ # ulimit -l

12582912

oracle@node74:~> ulimit -l

12582912

3.3 禁用AMM

如果使用11G及以后的版本，AMM已默许开启，但是AMM与Hugepages是不兼容的，必须先disable AMM。禁用AMM的步骤以下：

3.3.1 关闭数据库实例

已oracle用户登录两台数据库服务器，通过sqlplus关闭2个数据库实例。

oracle@node74:~> sqlplus / as sysdba

SQL> shutdown immediate

3.3.2 创建pfile

以oracle用户登录其中1台主机，履行以下命令创建pfile：

oracle@node74:~> sqlplus / as sysdba

SQL> create pfile='/home/oracle/pfile.ora' fromspfile=’+DG_ORA/orcl/spfileorcl.ora’;

3.3.3 编辑pfile

编辑pfile，删除memory_max_target和memory_target参数：

oracle@node74:~> vi /home/oracle/pfile.ora

删除下面几行：

orcl1.memory_max_target=11114905600

orcl2.memory_max_target=11114905600

*.memory_max_target=0

orcl1.memory_target=11114905600

orcl2.memory_target=11114905600

*.memory_target=0

修改后保存文件。

3.3.4 创建spfile

履行以下命令创建spfile：

oracle@node74:~> sqlplus / as sysdba

SQL> create spfile='+DG_ORA/orcl/spfileorcl.ora'from pfile='/home/oracle/pfile.ora';

3.3.5 修改系统参数kernel.shmall

Kernel.shmall是系统1次可使用的最大同享内存大小。单位是page（4KB）。禁用AMM后，需要修改系统参数kernel.shmall，该参数设置太小的话，可能会致使数据库启动失败ORA⑵7102（详见附录4.2）。

ORACLE建议将其设置为系统中所有数据库实例的SGA总和。例如SGA总和为9GB，则需要设置kernel.shmall=9*1024*1024/4=2359296。 

以root用户登录两台数据库服务器，编辑sysctl.conf文件。

node74:~ # vi /etc/sysctl.conf

修改kernel.shmall参数：

kernel.shmall = 2359296

履行sysctl

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠