专栏首页张戈的专栏http加速器Varnish的vcl配置小记(lnmp环境)

http加速器Varnish的vcl配置小记(lnmp环境)

在以前的公司曾安装过 Varnish,可惜还没摸热就离职了,这次接着倒腾了下 Varnish,并搭建成功,特来记录下,以备后用。

一、测试环境

系统版本:CentOS 6.4 x64

WEB 环境:Nginx+PHP+MySQL

Varnish:3.0

工作原理:简单的说,在本次测试中,Varnish 将来自 80 的请求转发到后端的 nginx8080 端口,当匹配到请求是 jpg、css、js 等静态文件时,将会进入缓存中查找,若未找到则将请求发给后端的 nginx 处理,并缓存此次请求的文件,若下次再次出现相同请求时(通过哈希校验),将直接从缓存中调用。因为 Varnish 缓存处于内存当中,所以读取速度是硬盘无法比拟的,从而实现了 HTTP 加速(Ps:本文为单台主机测试)。

二、安装 Varnish

之前博客已经写过安装 Varnish 相关文章,就不赘述了,详情:http://zhangge.net/2044.html

三、修改 nginx 配置

在安装 varnish 之前,lnmp 环境已经搭建 OK,所以只要把 nginx 所有的监听端口改成 8080 即可。

vim 编辑 /usr/local/nginx/conf/nginx.conf 把 listen 80 改成 listen 8080,然后执行:

/usr/local/nginx/sbin/nginx -s reload 重新加载 nginx 即可,记得使用 netstat -nutlp | grep nginx 查看是否生效。

四、编写 vcl 配置

稍微修改了下《Varnish+Nginx 配置----Varnish》一文中分享的 vcl 配置:

#vim /usr/local/varnish/etc/vcl.conf

# This is a basic VCL configuration file for varnish.  See the vcl(7)  
# man page for details on VCL syntax and semantics.  
#   
# Default backend definition.  Set this to point to your content  
# server.  
   
backend tgweb {  
     .host = "0.0.0.0";  
     .port = "80";  
     .connect_timeout = 20s;  
     .first_byte_timeout = 20s;  
     .between_bytes_timeout = 20s;  
 }  
  
#允许刷新缓存的规则  
#acl purgeAllow {  
#     只能本机进行刷新  
#     "localhost";  
#}  
   
# Below is a commented-out copy of the default VCL logic.  If you  
# redefine any of these subroutines, the built-in logic will be  
# appended to your code.  
  
sub vcl_recv {  
    #判断请求主机,跳转到相应后端服务器  
    #if(req.http.host ~ "^(.*)(zhangge.net)")  
    #{  
    #    set req.backend=tgweb;  
    #}else{  
    #    error 408 "Hostname not found";   
    #}  
      
    #grace缓存过期仍存放  
    # 若backend是健康的,则仅grace 5s,如果backend不健康,则grace 1m。  
    # 这里,5s的目的是为了提高高并发时的吞吐率;  
    # 1m的目的是,backend挂了之后,还能继续服务一段时间,期望backend挂的不要太久。。。  
    if (req.backend.healthy) {  
        set req.grace = 5s;  
    } else {  
        set req.grace = 1m;  
    }  
  
    #刷新缓存的处理  
    #if (req.request == "PURGE"){  
    #    if(!client.ip ~ purgeAllow) {  
    #            error 405 "Not allowed.";  
    #    }  
    #    #转到hit或者miss处理  
    #    return (lookup);  
    #}  
  
    #移除一些特定格式的cookie  
    if (req.url ~ "^(.*)\.(jpg|png|gif|jpeg|flv|bmp|gz|tgz|bz2|tbz|js|css|html|htm)($|\?)" ) {  
         #移除cookie,以便能缓存到varnish  
         unset req.http.cookie;  
    }  
  
   #Accept-Encoding 是浏览器发给服务器,声明浏览器支持的编码类型的  
   #修正客户端的Accept-Encoding头信息  
   #防止个别浏览器发送类似 deflate, gzip  
    if (req.http.Accept-Encoding) {  
        if (req.url ~ "^(.*)\.(jpg|png|gif|jpeg|flv|bmp|gz|tgz|bz2|tbz)($|\?)" ) {  
            remove req.http.Accept-Encoding;  
        }else if (req.http.Accept-Encoding ~ "gzip"){  
            set req.http.Accept-Encoding = "gzip";  
        } else if (req.http.Accept-Encoding ~ "deflate"){  
            set req.http.Accept-Encoding = "deflate";  
        } else if (req.http.Accept-Encoding ~ "sdch"){  
            #chrome新增加的压缩  
            set req.http.Accept-Encoding = "sdch";  
        }else {  
            remove req.http.Accept-Encoding;  
        }  
    }          
    #首次访问增加X-Forwarded-For头信息,方便后端程序获取客户端ip  
    if (req.restarts == 0) {  
        if (req.http.x-forwarded-for) {  
            set req.http.X-Forwarded-For =  
            req.http.X-Forwarded-For + ", " + client.ip;  
        } else {  
            set req.http.X-Forwarded-For = client.ip;  
        }  
    }  
  
   if (req.request != "GET" &&  
       req.request != "HEAD" &&  
       req.request != "PUT" &&  
       req.request != "POST" &&  
       req.request != "TRACE" &&  
       req.request != "OPTIONS" &&  
       req.request != "DELETE") {  
       return (pipe);  
   }  
     if (req.request != "GET" && req.request != "HEAD") {  
         /* We only deal with GET and HEAD by default */  
         return (pass);  
     }  
     if (req.http.Authorization) {  
         /* Not cacheable by default */  
         return (pass);  
     }  
     #js,css文件都有Cookie,不能每次都去后台服务器去取  
     #if (req.http.Cookie) {  
     #    /* Not cacheable by default */  
     #    return (pass);  
     #}  
      
     #如果请求的是动态页面直接转发到后端服务器  
     if (req.url ~ "^(.*)\.(php|jsp|do|aspx|asmx|ashx)($|.*)") {  
          return (pass);  
     }  
     return (lookup);  
 }     
 sub vcl_pipe {  
     # Note that only the first request to the backend will have  
     # X-Forwarded-For set.  If you use X-Forwarded-For and want to  
     # have it set for all requests, make sure to have:  
     # set bereq.http.connection = "close";  
     # here.  It is not set by default as it might break some broken web  
     # applications, like IIS with NTLM authentication.  
     return (pipe);  
 }     
#放过,让其直接去后台服务器请求数据  
sub vcl_pass {  
     return (pass);  
 }     
sub vcl_hash {  
     hash_data(req.url);  
     if (req.http.host) {  
         hash_data(req.http.host);  
     } else {  
         hash_data(server.ip);  
     }  
     #支持压缩的要增加,防止发送给不支持压缩的浏览器压缩的内容  
     if(req.http.Accept-Encoding){  
          hash_data(req.http.Accept-Encoding);  
     }  
     return (hash);  
 }  
   
#缓存服务器lookup查找命中:hit  
 sub vcl_hit {  
     #刷新缓存的请求操作,设置TTL为0,返回处理结果代码  
     #if (req.request == "PURGE") {  
     #     set obj.ttl = 0s;  
     #     error 200 "Purged.";  
     # }    
     #缓存服务器命中后(查找到了)  
     return (deliver);  
 }     
#缓存服务器lookup查找没有命中:miss  
sub vcl_miss {  
    #刷新缓存的请求操作,  
    #if (req.request == "PURGE") {  
    #    error 404 "Not in cache.";  
    #}    
    #缓存服务器没有命中(去后台服务器取)  
     return (fetch);  
 }    
#从后台服务器取回数据后,视情况是否进行缓存  
sub vcl_fetch {  
    #如果请求的是动态页面直接发转发  
    #动态请求回来的,一定要放在前面处理  
    if (req.url ~ "^(.*)\.(php|jsp|do|aspx|asmx|ashx)($|.*)") {  
        set beresp.http.Cache-Control="no-cache, no-store";  
        unset beresp.http.Expires;  
        return (deliver);  
    }    
    # 仅当该请求可以缓存时,才设置beresp.grace,若该请求不能被缓存,则不设置beresp.grace  
    if (beresp.ttl > 0s) {  
        set beresp.grace = 1m;  
    }      
     if (beresp.ttl <= 0s ||  
         beresp.http.Set-Cookie ||  
         beresp.http.Vary == "*") {  
            /*  
             * Mark as "Hit-For-Pass" for the next 2 minutes  
             */  
            set beresp.ttl = 120 s;  
            #下次请求时不进行lookup,直接pass  
            return (hit_for_pass);  
     }    
    #设置从后台服务器获得的特定格式文件的缓存TTL  
    if (req.url ~ "^(.*)\.(pdf|xls|ppt|doc|docx|xlsx|pptx|chm|rar|zip)($|\?)")       
    {  
        #移除服务器发送的cookie   
        unset beresp.http.Set-Cookie;  
        #加上缓存时间  
        set beresp.ttl = 30d;  
        return (deliver);  
    }else if(req.url ~ "^(.*)\.(bmp|jpeg|jpg|png|gif|svg|png|ico|txt|css|js|html|htm)($|\?)"){  
        #移除服务器发送的cookie   
        unset beresp.http.Set-Cookie;  
        #加上缓存时间  
        set beresp.ttl = 15d;  
        return (deliver);  
    }else if(req.url ~ "^(.*)\.(mp3|wma|mp4|rmvb|ogg|mov|avi|wmv|mpeg|mpg|dat|3pg|swf|flv|asf)($|\?)"){  
        #移除服务器发送的cookie   
        unset beresp.http.Set-Cookie;  
        #加上缓存时间  
        set beresp.ttl = 30d;  
        return (deliver);  
    }    
    #从后台服务器返回的response信息中,没有缓存的,不缓存  
    if (beresp.http.Pragma ~"no-cache" || beresp.http.Cache-Control ~"no-cache" || beresp.http.Cache-Control ~"private") {  
            return (deliver);  
    }  
    return (deliver);  
 }     
#缓存服务器发送到客户端前调用  
 sub vcl_deliver {  
    #下面是添加一个Header标识,以判断缓存是否命中。  
    if (obj.hits > 0) {  
        set resp.http.X-Cache = "HIT from TG.varnish-cache.jjcj.com";  
       #set resp.http.X-Varnish = "HIT from TG.varnish-cache.jjcj.com";  
    } else {  
        set resp.http.X-Cache = "MISS from TG.varnish-cache.jjcj.com";  
       #set resp.http.X-Varnish = "MISS from TG.varnish-cache.jjcj.com";  
    }  
    #去掉不是必须的header  
    unset resp.http.Vary;  
    unset resp.http.X-Powered-By;  
    unset resp.http.X-AspNet-Version;  
    return (deliver);  
 }  
   
 sub vcl_error {  
     set obj.http.Content-Type = "text/html; charset=utf-8";  
     set obj.http.Retry-After = "5";  
     synthetic {"  
 <?xml version="1.0" encoding="utf-8"?>  
 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"  
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">  
 <html>  
   <head>  
     <title>"} + obj.status + " " + obj.response + {"</title>  
   </head>  
   <body>  
     <h1>Error "} + obj.status + " " + obj.response + {"</h1>  
     <p>"} + obj.response + {"</p>  
     <h3>Guru Meditation:</h3>  
     <p>XID: "} + req.xid + {"</p>  
     <hr>  
     <p>Varnish cache server</p>  
   </body>  
 </html>  
 "};  
     return (deliver);  
 }     
 sub vcl_init {  
    return (ok);  
 }    
 sub vcl_fini {  
    return (ok);  
 }

Ps:该配置文件基本都有详细说明,根据实际情况修改下即可。

五、启动 Varnish

执行如下命令启动 Varnish:

/usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/vcl.conf -s malloc,2048m -T 127.0.0.1:200 -a 0.0.0.0:80

 六、测试效果

测试很简单:

①、打开谷歌浏览器,按下 F12 进入开发者模式,并点击切换到 network 界面,如图:

②、在地址栏输入测试服务器的 ip,并打开,可以看到 network 里面已经出现页面相关文件的信息:

③、在列表中找到并点击一个静态文件,比如 jpg 或 js 文件,看到 Varnish 信息则为搭建成功:

从图中可以看出,此时还是 MISS 状态,说明这是第一次打开,还未进行缓存。

④、按下 F5 刷新页面后,再次点击这个静态文件,可以看到该文件已经是 HIT 命中状态了,说明文件缓存成功:

⑤、继续查看其它静态文件,比如 jpg、css、png 等文件,均可以发现已经是 HIT 状态了。

七、写在最后

从测试可以看出,Varnish 适合静态文件比较多,而 WEB 服务器 IO 又存在严重瓶颈时的加速。本文为单台主机的简单测试,并未深入研究 varnish 的其他功能配置,希望可以给初次接触 Varnish 搭建的童鞋提供一些帮助。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 解决启用WP-Super-Cache后出现的几个问题

    近期,随着新版互推联盟自适应 iframe 代码的推出,调用的博友也慢慢增加了 ,这是很高兴的事情,也有博友反应调用的这个页面加载会有点慢。我来说明一下,因为这...

    张戈
  • 10个超有趣的Linux命令

    本文展示了 10 个有趣的 Linux 动态命令,这些命令和实用功能无关,仅供娱乐!看完此文,你会对 Linux 有个全新的认识,谁说 IT 男就没有屌丝娱乐的...

    张戈
  • 借助腾讯云 CDN 开启全站 https 及问题解决分享

    腾讯云 CDN 的 https 功能目前还在邀请测试阶段,有幸用上了国内这个为数不多的特权。在借助腾讯云 CDN 开启全站 https 的过程中遇到了非常多的问...

    张戈
  • centos 7.3 部署varnish缓存服务器

    一、简介 Varnish是高性能开源的反向代理服务器和HTTP缓存服务器,其功能与Squid服务器相似,都可以用来做HTTP缓存。可以安装 varnish 在任...

    小手冰凉
  • springcloud之注册中心eureka

    Spring Cloud是目前用于开发微服务的主流框架之一,我们都知道在微服务架构中最为基础、核心的模块,就是服务注册与发现。

    一笠风雨任生平
  • iOS界面渲染流程分析

    在最近的面试中,我发现一道面试题,其考点是:围绕iOS App中一个视图从添加到完全渲染,在这个过程中,iOS系统都做了什么?

    筑梦师winston
  • 如何理解一个高度抽象化的架构风格本质

    REST本身是一个高度抽象化的架构风格,因而总是很难对它有一个比较深入且印象深刻的理解。写这篇文章的目的,是自己对学习REST的一个总结,也希望可以通过这篇文章...

    貟王軍
  • 产品经理:个人能力提升方法

    作者:mask 有15年游戏行业从业经验,打过工创过业。产品上过华尔街时报,公司也破过几回产。2014年加入腾讯后负责掌上英雄联盟,作者丰富的产品经历希望能够帮...

    腾讯大讲堂
  • 深度学习名校课程大全

    在吴恩达的最新《深度学习》课程里面, 鼻祖辛顿(参考“攒说 Geoff Hinton”)反复强调这是一场革命,或许不如第二次工业革命的影响力, 但是类似规模还是...

    史博
  • 解码未来产品经理|2017中国产品经理大会现场报道

    9月23日,2017中国产品经理大会:解码未来产品经理在深圳宝立方国际博览中心如期举行。现场近百位志愿者,16位重量级大咖,与各位小伙伴一起,诠释产品创新动向,...

    腾讯大讲堂

扫码关注云+社区

领取腾讯云代金券