Press "Enter" to skip to content

让你的PHP7更快之Hugepage

Published on 1 October 2015 by laruence

PHP7刚刚发布了RC4, 包含一些bug修复和一个我们最新的性能提升成果（NEWS）， 那就是"HugePageFy PHP TEXT segment"， 通过启用这个特性，PHP7会把自身的TEXT段（执行体）”挪“到Huagepage上，之前的测试，我们能稳定的在Wordpress上看到2%~3%的QPS提升。
关于Hugepage是啥，简单的说下就是默认的内存是以4KB分页的，而虚拟地址和内存地址是需要转换的， 而这个转换是要查表的，CPU为了加速这个查表过程都会内建TLB（Translation Lookaside Buffer）， 显而易见如果虚拟页越小，表里的条目数也就越多，而TLB大小是有限的，条目数越多TLB的Cache Miss也就会越高， 所以如果我们能启用大内存页就能间接降低这个TLB Cache Miss，至于详细的介绍，Google一搜一大堆我就不赘述了，这里主要说明下如何启用这个新特性， 从而带来明显的性能提升。

新的Kernel启用Hugepage已经变得非常容易了，以我的开发虚拟机为例(Ubuntu Server 14.04，Kernel 3.13.0-45), 如果我们查看内存信息：

$ cat /proc/meminfo | grep Huge
AnonHugePages:    444416 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

可见一个Hugepage的size是2MB, 而当前并没有启用HugePages. 现在让我们先编译PHP RC4, 记得一定不要加： --disable-huge-code-pages （这个新特性是默认启用的， 你加了这个就关了）
然后配置opcache, 从PHP5.5开始Opcache已经是默认启用编译的，但是是编译动态库的， 所以我们还是要在php.ini中配置加载下。

zend_extension=opcache.so

这个新特性是做在Opcache里的，所以也要通过Opcache启用这个特性（通过设置opcache.huge_code_pages=1）， 具体的配置：

opcache.huge_code_pages=1

现在让我们配置OS， 分配一些Hugepages：

$ sudo sysctl vm.nr_hugepages=128
vm.nr_hugepages = 128

现在让我们再次检查内存信息:

$ cat /proc/meminfo | grep Huge
AnonHugePages:    444416 kB
HugePages_Total:     128
HugePages_Free:      128
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

可以看到我们分配的128个Hugepages已经就绪了， 然后我们来启动php-fpm:

$ /home/huixinchen/local/php7/sbin/php-fpm
[01-Oct-2015 09:33:27] NOTICE: [pool www] 'user' directive is ignored when FPM is not running as root
[01-Oct-2015 09:33:27] NOTICE: [pool www] 'group' directive is ignored when FPM is not running as root

现在， 再次检查内存信息:

$ cat /proc/meminfo | grep Huge
AnonHugePages:    411648 kB
HugePages_Total:     128
HugePages_Free:      113
HugePages_Rsvd:       27
HugePages_Surp:        0
Hugepagesize:       2048 kB

说到这里，如果Hugepages可用， 其实Opcache也会用Hugepages来存储opcodes缓存， 所以为了验证opcache.huge_code_pages确实生效， 我们不妨关闭opcache.huge_code_pages, 然后再启动一次后看内存信息：

$ cat /proc/meminfo | grep Huge
AnonHugePages:    436224 kB
HugePages_Total:     128
HugePages_Free:      117
HugePages_Rsvd:       27
HugePages_Surp:        0
Hugepagesize:       2048 kB

可见开启了huge_code_pages以后， fpm启动后多用了4个pages, 现在我们检查下php-fpm的text大小：

$ size /home/huixinchen/local/php7/sbin/php-fpm
   text	   data	    bss	    dec	    hex	filename
10114565	 695200	 131528	10941293	 a6f36d	/home/huixinchen/local/php7/sbin/php-fpm

可见text段有10114565个字节大小， 总共需要占用4.8个左右的2M的pages， 考虑到对齐以后（尾部不足2M Page部分不挪动）， 申请4个pages， 正好和我们看到的相符。
说明配置成功！ Enjoy 🙂
但是有言在先， 启用此特性以后， 会造成一个问题就是你如果尝试通过Perf report/anno 去profiling的时候， 会发现符号丢失(valgrind, gdb不受影响), 这个主要原因是Perf的设计采用监听了mmap，然后记录地址范围， 做IP到符号的转换， 但是目前HugeTLB只支持MAP_ANON， 所以导致Perf认为这部分地址没有符号信息，希望以后版本的Kernel可以修复这个限制吧..

最后: 咦? 你怎么不发性能对比测试啊? 嘿嘿， 这个就留给你们自己来试试咯， 欢迎评论你们看到的变化 🙂
(其实真实的原因是， 放假了， 我们公司的VPN目前不给力， 连不上链家给我的强劲的开发机， 所以我没有测试环境，用虚拟机测的话， 又看不出明显效果， 所以我就不测啦， 嘿嘿)

Filed in PHP应用, PHP源码分析, 随笔

69 Comments

  2. chchyu
    chchyu March 15, 2021

    我在开启大页内存上的服务器上想要禁用opcache的大页内存，课时无论如何都不能成功，只要大页内存有空闲，就会php-fpm进程就会申请大页内存，有什么办法禁用掉opcache申请大页内存吗？
    ps：我已在编译时加入过./configure –disable_huge_code_pages 参数，编译产物与默认无任何区别
    目前通过注释相关申请大页内存的代码禁用，请问是否有其他更好的办法？

    Reply
  4. trt 1 canlı izle
    trt 1 canlı izle January 12, 2021

    PHP版本使用基准测试过程，并试图了解升级到最新PHP版本的重要性。 我们还学习了几种在WordPress网站上更改PHP版本的方法。

    Reply
  6. 刘师傅
    刘师傅 July 7, 2020

    这里其实把php-fpm这个可执行文件，按照大内存页方式一次放到一个连续的内存空间。
    而不是php源文件。
    一般php-fpm进程启动后监听在9000端口。当有请求过来时，master找个空闲的php-fpm去处理业务。
    处理业务在操作系统角度来理解就是给这个进程分配一部分内存，cpu程序计数器，register。开始执行fpm-php的二进制命令（cpu的指令）。
    这些cpu指令就存储在内存的可读代码段，指令多的话占据代码段的内存就大，内存也是按照块来分配的，一块不够就多用几块。这里hugePage就是让块大一些，这样分配块数就少了。

    优化了加载php-fpm可执行文件和执行php-fpm这个二进制指令的过程。
    是这个意思吧。

    Reply
  7. guangsu
    guangsu May 20, 2020

    鸟哥 这些评论的老外能看懂中文吗

    Reply
  8. Marijuana Near Me
    Marijuana Near Me May 16, 2020

    I was taking a gander at some of your posts on this site and I consider this site is truly informational! Keep setting up ..

    Reply
  9. Billy Burger
    Billy Burger December 31, 2019

    Keep sharing this kind of stuff. I really enjoyed it.

    Reply
    • jane
      jane January 18, 2020

      test

      Reply
  10. fnaf world
    fnaf world September 30, 2019

    The blog is very informative and outstanding. I would love to read your blog. Give me lots of useful information. I will often visit your blog.

    Reply
  12. 喵小洁
    喵小洁 April 2, 2019

    开了这个用perf抓不到PHP-FPM函数名了，/anon_hugepage (deleted)

    Reply
  13. google street view
    google street view January 31, 2019

    鸟哥，请教一下，我在自己的机器上测试，一个php-fpm进程就占用一个hugepage，并不是共享一份php-fpm text段大小的hugepage数，这是为啥呢？

    Reply
  23. CDN照明
    CDN照明 April 3, 2018

    很佩服这个博主大佬能有这样的坚持，http://www.zwdeng.cn/news.html

    Reply
  29. jakey
    jakey November 23, 2017

    鸟哥，请教一下，我在自己的机器上测试，一个php-fpm进程就占用一个hugepage，并不是共享一份php-fpm text段大小的hugepage数，这是为啥呢？

    Reply
  36. zhulei
    zhulei September 7, 2017

    Hi,鸟哥, 请教一个问题, opcache模块加载报错: “PHP Warning: Zend OPcache: opcache.huge_code_pages has no affect as huge page is not supported in Unknown on line 0” 详见截图 http://p2.qhimg.com/t01a48712070f59f8b1.jpg, 请问是什么原因呢? 我已经按常规的设置了sysctl 谢谢!

    Reply
  38. json editor
    json editor May 29, 2017

    如果Hugepages可用， 其实Opcache也会用Hugepages来存储opcodes缓存， 所以为了验证opcache.huge_code_pages确实生效

    Reply
  40. PHP高级技能之PHP缓存
    PHP高级技能之PHP缓存 March 20, 2017

    PHP缓存 PHP 本身来说是非常快的，但是但你当发起远程连接、加载文件等操作时也会遇到瓶颈。 幸运的是，有各种各样的工具可以用来加速你应用程序某些耗时的部分，或者说减少某些耗时任务所需要运行的次数。 Opcode 缓存 当一个 PHP 文…

    Reply
  41. kn007
    kn007 March 13, 2017

    不能编辑。。囧
    额，是不是以opcache分配的内存大小/2来计算呢？

    Reply
  42. kn007
    kn007 March 13, 2017

    鸟哥，请教你个事。
    如何知道要分配多少Hugepages给php？
    有没有计算方式？
    像MySQL就有计算方式。

    Reply
  44. 小杜
    小杜 January 5, 2017

    qps 减少了。

    Reply
  45. 雅思学习
    雅思学习 September 29, 2016

    测试感觉效果不大，还是学习了。

    Reply
  47. 陈佳
    陈佳 June 6, 2016

    试用了一下，效果不错。

    Reply
  49. 袁源
    袁源 February 14, 2016

    看了一下内存只有 1G 的贫民服务器，想想还是算了，不开这个优化好了

    Reply
  50. Ethan
    Ethan December 17, 2015

    cli下开启hugepage，产生段错误

    Reply
  52. eric
    eric December 4, 2015

    刚刚安了php7, 结果 redis.so memcached.so 都没法用了。。
    redis.so刚刚安装上，不过不是在pecl.php.net上搜到的，而是通过github上面下的， 2.2.5版本。。
    memcached 还会有人维护，支持php7么？
    第一次来提问，有点紧张哈

    Reply
  53. tsuibin
    tsuibin December 4, 2015

    测试了ng引擎，相当不错，php的竞争力又大大的增强了，赞！

    Reply
  54. YSQ
    YSQ December 3, 2015

    拜访大牛。

    Reply
  55. tanteng
    tanteng December 3, 2015

    PHP更加充满活力了！

    Reply
  58. kn007
    kn007 November 10, 2015

    鸟哥，我现在是VPS，PHP和DB都在同一台上，DB一般说是要关闭THP，这样的话，貌似PHP就用不到THP了。。。这样的话，我是不是最好用disable-huge-code-pages

    Reply
  60. levon
    levon November 1, 2015

    blog有没有订阅功能？

    Reply
  61. 啊杰
    啊杰 October 23, 2015

    鸟哥 请我PHP7的memcache.so有没有出来？ 最近要想不一个旧项目移到php7上面 大多数功能都能用就是memcache一直装不成功
    请我什么时候能发布一下 毕竟还是有很多人在用的

    Reply
  62. 小旋风
    小旋风 October 21, 2015

    挺好

    Reply
  63. 痞子达
    痞子达 October 20, 2015

    有空试试php7，看看性能如何

    Reply
  64. lingcarzy
    lingcarzy October 8, 2015

    性能虽然不是一个语言的必要问题，却是一个重要问题。
    perl6也将要发布了。php7还需要等多久呢？
    我只希望php能够重生，而不是像perl一样没落。

    Reply
  65. shao
    shao October 7, 2015

    链家是哪家？你跳槽了？不在新浪干了？

    Reply
  66. shao
    shao October 7, 2015

    链家是哪家？你跳槽了？不在新浪干了？

    Reply
  67. kn007
    kn007 October 3, 2015

    提升会有多大，是关心的点，可惜没有测试结果

    Reply

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.