让 PHP 7 更快之 Hugepage

| 选择喜欢的代码风格  

Hugepage 是什么?


简单的说下就是默认的内存是以 4KB 分页的,而虚拟地址和内存地址是需要转换的, 而这个转换是要查表的,CPU 为了加速这个查表过程都会内建 TLB(Translation Lookaside Buffer), 显而易见如果虚拟页越小,表里的条目数也就越多,而 TLB 大小是有限的,条目数越多 TLB 的 Cache Miss 也就会越高, 所以如果我们能启用大内存页就能间接降低 TLB Cache Miss,这里主要说明下如何启用这个新特性, 从而带来明显的性能提升。

新的 Kernel 启用 Hugepage 已经变得非常容易了,以我的开发虚拟机为例 (Ubuntu Server 14.04,Kernel 3.13.0-45), 如果我们查看内存信息:

$ cat /proc/meminfo | grep Huge
AnonHugePages:    444416 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

可见一个 Hugepage 的 size 是 2MB, 而当前并没有启用 HugePages。然后配置 opcache, 从 PHP5.5 开始 Opcache 已经是默认启用编译的,但是是编译动态库的, 所以我们还是要在 php.ini 中配置加载下。

zend_extension=opcache.so

这个新特性是做在 Opcache 里的,所以也要通过 Opcache 启用这个特性(通过设置 opcache.huge_code_pages=1 ), 具体的配置:

opcache.huge_code_pages=1

现在让我们配置 OS, 分配一些 Hugepages

$ sudo sysctl vm.nr_hugepages=128
vm.nr_hugepages = 128

#现在让我们再次检查内存信息:
$ cat /proc/meminfo | grep Huge
AnonHugePages:    444416 kB
HugePages_Total:     128
HugePages_Free:      128
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

可以看到我们分配的 128 个 Hugepages 已经就绪了, 然后我们来启动 php-fpm:

/etc/init.d/php-fpm restart

现在, 再次检查内存信息:

$ cat /proc/meminfo | grep Huge
AnonHugePages:    411648 kB
HugePages_Total:     128
HugePages_Free:      113
HugePages_Rsvd:       27
HugePages_Surp:        0
Hugepagesize:       2048 kB

说到这里,如果 Hugepages 可用, 其实 Opcache 也会用 Hugepages 来存储 opcodes 缓存, 所以为了验证 opcache.huge_code_pages 确实生效, 我们不妨关闭 opcache.huge_code_pages, 然后再启动一次后看内存信息:

$ cat /proc/meminfo | grep Huge
AnonHugePages:    436224 kB
HugePages_Total:     128
HugePages_Free:      117
HugePages_Rsvd:       27
HugePages_Surp:        0
Hugepagesize:       2048 kB

可见开启了 huge_code_pages 以后, fpm 启动后多用了 4 个 pages, 现在我们检查下 php-fpm 的 text 大小:

$ size /home/CommandNotFound/local/php7/sbin/php-fpm
   text        data         bss         dec         hex     filename
10114565      695200      131528     10941293      a6f36d     /home/CommandNotFound/local/php7/sbin/php-fpm

可见 text 段有 10114565 个字节大小, 总共需要占用 4.8 个左右的 2M 的 pages, 考虑到对齐以后(尾部不足 2M Page 部分不挪动), 申请 4 个 pages, 正好和我们看到的相符。

说明配置成功!

注意:启用此特性以后, 会造成一个问题就是你如果尝试通过 Perf report/anno 去 profiling 的时候,会发现符号丢失(valgrind, gdb 不受影响), 这个主要原因是 Perf 的设计采用监听了 mmap,然后记录地址范围, 做 IP 到符号的转换, 但是目前 HugeTLB 只支持 MAP_ANON, 所以导致 Perf 认为这部分地址没有符号信息,希望以后版本的 Kernel 可以修复这个限制吧..

PHP HugePage 扩展阅读:




发表评论