Nginx 代理与负载均衡
正向代理
内网的一台电脑通过代理服务器上Internet。
server {
listen 8080;
location / {
resolver 8.8.8.8; # DNS服务器
proxy_pass http://$host$request_uri;
}
access_log /data1/logs/proxy.log
}
HTTP负载均衡与反向代理
常见负载均衡工具
软件四层负载均衡：LVS（linux Virtual Server）实现Linux平台下简单的负载均衡。 基于IP负载均衡技术和基于内容请求颁发技术。
软件七层负载均衡：Nginx、L7SW（Layer7 Switching）、HAProxy等。
Nginx实现负载均衡
Nginx用upstream定义一组后端的服务，这样在server中可以用proxy_pass或是
fastcgi_pass指令来指定用的哪一组后端。
注意，因为转发过，所以后端的程序不知道远程的请求地址。
要用proxy_set_header在转发时添加头信息X-Forwarded-For，记录远程请求的地址。
使用粘连方式
upstream backend {
server 172.29.88.226:8080 weight=1;
server 172.29.88.227:8080 weight=1;
sticky;
}
通过轮询方式实现负载均衡
默认情况下，Nginx使用 轮询 的方式实现负载均衡。
http {
client_max_body_size 300m; # 可返回的最大文件
client_max_body_Buffer_size 128k;
proxy_connect_timeout 600; # 后端服务器超时时间
proxy_read_timeout 600; # 连接后端服务器以后，超时时间
proxy_send_timeout 600; # 后端服务器以后传完数据的时间
proxy_buffers 4 32k; # 用4个代理缓存，最大多空间是32K
proxy_buffer_size 16k; # 代理缓存，一般只要够存头信息就够了
proxy_busy_buffers_size 64k; # 系统忙时可以申请更多代理缓存
proxy_temp_file_write_size 64k; # 代理缓存临时文件大小
upstream myprogram1 {
server 192.168.1.1:8080 weight=4 max_fails=2 fail_timeout=30s;
server 192.168.1.2:8080 weight=4 max_fails=2 fail_timeout=30s;
server 192.168.1.3:8080 weight=2 max_fails=2 fail_timeout=30s;
}
upstream myprogram2 {
server 192.168.1.1:8080 weight=4 max_fails=2 fail_timeout=30s;
server 192.168.1.2:8080 weight=4 max_fails=2 fail_timeout=30s;
server 192.168.1.3:8080 weight=2 max_fails=2 fail_timeout=30s;
}
upstream myprogram3 {
server 192.168.1.1:8080 weight=4 max_fails=2 fail_timeout=30s;
server 192.168.1.2:8080 weight=4 max_fails=2 fail_timeout=30s;
server 192.168.1.3:8080 weight=2 max_fails=2 fail_timeout=30s;
}
server {
listen 80 default; # default 表示默认启用这个server
server_name app1.yourdomain.com;
access_log /opt/log/app1/access.log
error_log /opt/log/app1/error.log
location / {
proxy_pass http://myprogram1;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
# 如果后端服务器出错（502、504、超时等），自动切换到upstream中的另一台
proxy_next_upstream http_502 http_504 error timeout invalid_header;
}
}
server {
listen 80;
server_name app2.yourdomain.com;
access_log /opt/log/app2/access.log
error_log /opt/log/app2/error.log
location / {
proxy_pass http://myprogram2;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_next_upstream http_502 http_504 error timeout invalid_header;
}
}
server {
listen 80;
server_name app3.yourdomain.com;
access_log /opt/log/app3/access.log
error_log /opt/log/app3/error.log
location / {
proxy_pass http://myprogram3;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_next_upstream http_502 http_504 error timeout invalid_header;
}
}
}
server块中：
-
weight表示权重，默认是1。 -
max_fails指定在fail_timeout时间内失败的次数，超过标记为失败，默认是1，0表示关闭该检查。 -
backup：这台机器不启用，只有其他的非backup机器全部挂掉时才启用。
通过额外逻辑区分不同路径
upstream里配置的只有主机名，如果不同的后端有不同的协议或是路径，
要用额外的逻辑来拼出完整的URL。
例如新老系统交替阶段，两个系统的基础URL不同：
-
https://htloct-cralwer-service.chinatravel.net老系统的起点。 -
https://htloct-core-gateway.chinatravel.net/core-server/新系统的起点。
需求是老系统给大多数的流量，新系统只给一点流量供测试。
实现的方案是在upstream部分只配置不同的主机，
然后在具体的location中根据分配到的主机名来生成完整的URL：
upstream cellphoneappproxy {
server htloct-core-gateway.chinatravel.net weight=1;
server htloct-cralwer-service.chinatravel.net weight=100;
}
server {
# ......
location / {
proxy_redirect off;
proxy_set_header Host htloct-cralwer-service.chinatravel.net;
proxy_set_header X-Real-Ip $remote_addr;
proxy_set_header X-Forwarded-For $remote_addr;
# 根据主机名生成URL
set $backend https://cellphoneappproxy;
if ($backend = "https://htloct-core-gateway.chinatravel.net") {
set $backend "${backend}/core-server/";
}
proxy_pass $backend;
}
}
以散列方式负载均衡
upstream myprogram1 {
ip_hash;
server 192.168.1.1:8080 ;
server 192.168.1.2:8080 down;
server 192.168.1.3:8080 ;
}
ip_hash声明以散列方式负载均衡。
down标记失效的机器。不能把机器删除，因为这会改变散列的结果。
其他负载均衡方式
-
least_conn： 请求被发送到当前活跃连接最少的realserver上。会考虑weight的值。 -
url_hash： 此方法按访问url的hash结果来分配请求， 使每个url定向到同一个后端服务器，可以进一步提高后端缓存服务器的效率。 Nginx本身是不支持url_hash的，如果需要使用这种调度算法， 必须安装Nginx 的hash软件包nginx_upstream_hash。 -
fair： 这是比上面两个更加智能的负载均衡算法。 此种算法可以依据页面大小和加载时间长短智能地进行负载均衡， 也就是根据后端服务器的响应时间来分配请求，响应时间短的优先分配。 Nginx本身是不支持fair的，如果需要使用这种调度算法， 必须下载Nginx的upstream_fair模块。
Nginx负载均衡服务器的双机可用
方法一
两台机器，一台工作一台备份。工作的坏了换到备份的。
域名www.mysite.com解析到虚拟IP61.1.1.2。
正常情况下，主机61.1.1.4绑定到虚拟IP61.1.1.2：
ifconfig eth0:1 61.1.1.2 broadcast 61.1.1.255 netmask 255.255.255.0 up route add -host 61.1.1.2 dev eth0:1 arping -I eth0 -c 3 -s 61.1.1.2 61.1.1.1 # 更新IDC网关的MAC地址
如果坏了，换到61.1.1.5：
ifconfig eth0:1 61.1.1.2 broadcast 61.1.1.255 netmask 255.255.255.0 up route add -host 61.1.1.2 dev eth0:1 arping -I eth0 -c 3 -s 61.1.1.2 61.1.1.1 # 更新IDC网关的MAC地址
方法二
平时两台轮询，坏了台全丢给同一台。
域名www.mysite.com通过DNS轮询解析到虚拟IP61.1.1.2和61.1.1.3上。
正常情况下：
-
61.1.1.4绑定到虚拟IP61.1.1.2； -
61.1.1.5绑定到虚拟IP61.1.1.3；
在61.1.1.4上执行：
ifconfig eth0:1 61.1.1.2 broadcast 61.1.1.255 netmask 255.255.255.0 up route add -host 61.1.1.2 dev eth0:1 arping -I eth0 -c 3 -s 61.1.1.2 61.1.1.1 # 更新IDC网关的MAC地址
在61.1.1.5上执行：
ifconfig eth0:1 61.1.1.2 broadcast 61.1.1.255 netmask 255.255.255.0 up route add -host 61.1.1.2 dev eth0:1 arping -I eth0 -c 3 -s 61.1.1.2 61.1.1.1 # 更新IDC网关的MAC地址
如果61.1.1.4故障了，在61.1.1.5上执行：
ifconfig eth0:1 61.1.1.2 broadcast 61.1.1.255 netmask 255.255.255.0 up route add -host 61.1.1.2 dev eth0:1 arping -I eth0 -c 3 -s 61.1.1.2 61.1.1.1 # 更新IDC网关的MAC地址
可以在两台机器上布置脚本自动实现切换：
把脚本放在后台执行：
nohup /bin/bash ./nginx_ha1.sh 2>&1 > /dev/null &
nginx_ha1.sh：
#!/bin/sh
LANG=C
date=$(date -d "today" +"%Y-%m-%d %H:%M:%S")
function_bind_vip1()
{
/sbin/ifconfig eth0:ha1 61.1.1.2 broadcast 219.232.254.255 netmask 255.255.255.192 up
/sbin/route add -host 61.1.1.2 dev eth0:ha1
}
function_bind_vip2()
{
/sbin/ifconfig eth0:ha2 61.1.1.3 broadcast 219.232.254.255 netmask 255.255.255.192 up
/sbin/route add -host 61.1.1.3 dev eth0:ha2
}
function_restart_nginx()
{
kill -USR1 `cat /usr/local/webserver/nginx/nginx.pid`
}
function_remove_vip1()
{
/sbin/ifconfig eth0:ha1 61.1.1.2 broadcast 219.232.254.255 netmask 255.255.255.192 down
}
function_remove_vip2()
{
/sbin/ifconfig eth0:ha2 61.1.1.3 broadcast 219.232.254.255 netmask 255.255.255.192 down
}
function_vip_arping1()
{
/sbin/arping -I eth0 -c 3 -s 61.1.1.2 61.1.1.1 > /dev/null 2>&1
}
function_vip_arping2()
{
/sbin/arping -I eth0 -c 3 -s 61.1.1.3 61.1.1.1 > /dev/null 2>&1
}
bind_time_vip1="N";
bind_time_vip2="N";
while true
do
httpcode_rip1=`/usr/bin/curl -o /dev/null -s -w %{http_code} http://61.1.1.4`
httpcode_rip2=`/usr/bin/curl -o /dev/null -s -w %{http_code} http://61.1.1.5`
if [ x$httpcode_rip1 == "x200" ];
then
if [ $bind_time_vip1 == "N" ];
then
function_bind_vip1
function_vip_arping1
function_restart_nginx
bind_time_vip1="Y"
fi
function_vip_arping1
else
if [ $bind_time_vip1 == "Y" ];
then
function_remove_vip1
bind_time_vip1="N"
fi
fi
if [ x$httpcode_rip2 == "x200" ];
then
if [ $bind_time_vip2 == "Y" ];
then
function_remove_vip2
bind_time_vip2="N"
fi
else
if [ $bind_time_vip2 == "N" ];
then
function_bind_vip2
function_vip_arping2
function_restart_nginx
bind_time_vip2="Y"
fi
function_vip_arping2
fi
sleep 5
done
nginx_ha2.sh：
#!/bin/sh
LANG=C
date=$(date -d "today" +"%Y-%m-%d %H:%M:%S")
function_bind_vip1()
{
/sbin/ifconfig eth0:ha1 61.1.1.3 broadcast 219.232.254.255 netmask
255.255.255.192 up
/sbin/route add -host 61.1.1.3 dev eth0:ha1
}
function_bind_vip2()
{
/sbin/ifconfig eth0:ha2 61.1.1.2 broadcast 219.232.254.255 netmask
255.255.255.192 up
/sbin/route add -host 61.1.1.2 dev eth0:ha2
}
function_restart_nginx()
{
kill -USR1 `cat /usr/local/webserver/nginx/nginx.pid`
}
function_remove_vip1()
{
/sbin/ifconfig eth0:ha1 61.1.1.3 broadcast 219.232.254.255 netmask
255.255.255.192 down
}
function_remove_vip2()
{
/sbin/ifconfig eth0:ha2 61.1.1.2 broadcast 219.232.254.255 netmask
255.255.255.192 down
}
function_vip_arping1()
{
/sbin/arping -I eth0 -c 3 -s 61.1.1.3 61.1.1.1 > /dev/null 2>&1
}
function_vip_arping2()
{
/sbin/arping -I eth0 -c 3 -s 61.1.1.2 61.1.1.1 > /dev/null 2>&1
}
bind_time_vip1="N";
bind_time_vip2="N";
while true
do
httpcode_rip1=`/usr/bin/curl -o /dev/null -s -w %{http_code}
http://61.1.1.5`
httpcode_rip2=`/usr/bin/curl -o /dev/null -s -w %{http_code}
http://61.1.1.4`
if [ x$httpcode_rip1 == "x200" ];
then
if [ $bind_time_vip1 == "N" ];
then
function_bind_vip1
function_vip_arping1
function_restart_nginx
bind_time_vip1="Y"
fi
function_vip_arping1
else
if [ $bind_time_vip1 == "Y" ];
then
function_remove_vip1
bind_time_vip1="N"
fi
fi
if [ x$httpcode_rip2 == "x200" ];
then
if [ $bind_time_vip2 == "Y" ];
then
function_remove_vip2
bind_time_vip2="N"
fi
else
if [ $bind_time_vip2 == "N" ];
then
function_bind_vip2
function_vip_arping2
function_restart_nginx
bind_time_vip2="Y"
fi
function_vip_arping2
fi
sleep 5
done
后台健康检查
nginx对后端节点健康检查的方式主要有3种，这里列出：
- ngx_http_proxy_module 模块和ngx_http_upstream_module模块（自带）： 官网地址：http://nginx.org/cn/docs/http/ngx_http_proxy_module.html#proxy_next_upstream
- nginx_upstream_check_module模块： 官网网址：https://github.com/yaoweibin/nginx_upstream_check_module
- ngx_http_healthcheck_module模块： 官网网址：http://wiki.nginx.org/NginxHttpHealthcheckModule
Nginx自带的模块
严格来说，nginx自带是没有针对负载均衡后端节点的健康检查的， 但是可以通过默认自带的ngx_http_proxy_module 模块和ngx_http_upstream_module 模块中的相关指令来完成当后端节点出现故障时，自动切换到健康节点来提供访问。
这里列出这两个模块中相关的指令：
proxy_connect_timeout
语法: proxy_connect_timeout time; 默认值: proxy_connect_timeout 60s; 上下文: http, server, location
设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
proxy_read_timeout
语法: proxy_read_timeout time; 默认值: proxy_read_timeout 60s; 上下文: http, server, location
定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔， 而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据， 连接将被关闭。
proxy_next_upstream
语法: proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 |http_404 | off ...; 默认值: proxy_next_upstream error timeout; 上下文: http, server, location
指定在何种情况下一个失败的请求应该被发送到下一台后端服务器：
error # 和后端服务器建立连接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现错误 timeout # 和后端服务器建立连接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现超时 invalid_header # 后端服务器返回空响应或者非法响应头 http_500 # 后端服务器返回的响应状态码为500 http_502 # 后端服务器返回的响应状态码为502 http_503 # 后端服务器返回的响应状态码为503 http_504 # 后端服务器返回的响应状态码为504 http_404 # 后端服务器返回的响应状态码为404 off # 停止将请求发送给下一台后端服务器
需要理解一点的是，只有在没有向客户端发送任何数据以前， 将请求转给下一台后端服务器才是可行的。也就是说， 如果在传输响应到客户端时出现错误或者超时，这类错误是不可能恢复的。
范例如下：
http {
proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
}
nginx_upstream_check_module
这个就是淘宝技术团队开发的 nginx 模块 nginx_upstream_check_module，通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用，则所以的请求就不会转发到该节点上。
在淘宝自己的 tengine 上是自带了该模块的，大家可以访问淘宝tengine的官网来获取该版本的nginx，官方地址：http://tengine.taobao.org/。
如果我们没有使用淘宝的 tengine 的话，可以通过补丁的方式来添加该模块到我们自己的 nginx 中。我们业务线上就是采用该方式进行添加的。
1、下载nginx_upstream_check_module模块
[root@localhost ~]# cd /usr/local/src wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master unzip master [root@localhost /usr/local/src]# ll -d nginx_upstream_check_module-master drwxr-xr-x. 6 root root 4096 Dec 1 02:28 nginx_upstream_check_module-master
2、为nginx打补丁
cd nginx-1.6.0 # 进入nginx的源码目录 patch -p1 < ../nginx_upstream_check_module-master/check_1.5.12+.patch ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx-1.6.0 --with-http_ssl_module --with-openssl=/usr/local/src/openssl-0.9.8q --with-pcre=/usr/local/src/pcre-8.32 --add-module=/usr/local/src/nginx_concat_module/ --add-module=../nginx_upstream_check_module-master/
make (注意：此处只make，编译参数需要和之前的一样)
mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx-1.6.0.bak cp ./objs/nginx /usr/local/nginx/sbin/ /usr/local/nginx/sbin/nginx -t # 检查下是否有问题 kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`
3、在nginx.conf配置文件里面的upstream加入健康检查，如下：
upstream name {
server 192.168.0.21:80;
server 192.168.0.22:80;
check interval=3000 rise=2 fall=5 timeout=1000 type=http;
}
上面配置的意思是，对name这个负载均衡条目中的所有节点，每个3秒检测一次， 请求2次正常则标记 realserver状态为up，如果检测 5 次都失败， 则标记 realserver的状态为down，超时时间为1秒。
这里列出nginx_upstream_check_module模块所支持的指令意思：
check interval
Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port] Default: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp Context: upstream
该指令可以打开后端服务器的健康检查功能。
指令后面的参数意义是：
- interval：向后端发送的健康检查包的间隔。
- fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。
- rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。
- timeout: 后端健康请求的超时时间。
- default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的， 如果是false，就是up的。默认值是true，也就是一开始服务器认为是不可用， 要等健康检查包达到一定成功次数以后才会被认为是健康的。
-
type：健康检查包的类型，现在支持以下多种类型
- tcp：简单的tcp连接，如果连接成功，就说明后端正常。
- ssl_hello：发送一个初始的SSL hello包并接受服务器的SSL hello包。
- http：发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。
- mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。
- ajp：向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。
- port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口， 比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。 默认是0，表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。
check_keepalive_requests
Syntax: check_keepalive_requests request_num Default: 1 Context: upstream
该指令可以配置一个连接发送的请求数，其默认值为1，表示Tengine完成1次请求后即关闭连接。
check_http_send
Syntax: check_http_send http_packet Default: "GET / HTTP/1.0\r\n\r\n" Context: upstream
该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量，推荐采用"HEAD"方法。
当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：
HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n。
同时，在采用"GET"方法的情况下，请求uri的size不宜过大，
确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。
check_HTTP_expect_alive
Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ] Default: http_2xx | http_3xx Context: upstream
该指令指定HTTP回复的成功状态，默认认为2XX和3XX的状态是健康的。
check_shm_size
Syntax: check_shm_size size Default: 1M Context: http
所有的后端服务器健康检查状态都存于共享内存中，该指令可以设置共享内存的大小。 默认是1M，如果你有1千台以上的服务器并在配置的时候出现了错误，就可能需要扩大该内存的大小。
check_status
Syntax: check_status [html|csv|json] Default: check_status html Context: location
显示服务器的健康状态页面。该指令需要在http块中配置。
在Tengine-1.4.0以后，你可以配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。
你也可以通过请求的参数来指定格式，假设/status是你状态页面的URL， format参数改变页面的格式，比如：
/status?format=html /status?format=csv /status?format=json
同时你也可以通过status参数来获取相同服务器状态的列表，比如：
/status?format=html&status=down /status?format=csv&status=up
下面是一个状态也配置的范例：
http {
server {
location /nstatus {
check_status;
access_log off;
#allow IP;
#deny all;
}
}
}
重启nginx。此时通过访问定义好的路径，就可以看到当前 realserver 实时的健康状态
在生产环境的实施应用中，需要注意的有 2 点：
- 主要定义好type。由于默认的type是tcp类型，因此假设你服务启动，不管是否初始化完毕， 它的端口都会起来，所以此时前段负载均衡器为认为该服务已经可用，其实是不可用状态。
-
注意
check_http_send值的设定。由于它的默认值是GET / HTTP/1.0\r\n\r\n。 假设你的应用是通过http://ip/name访问的，那么这里你的check_http_send值就需要更改为GET /name HTTP/1.0\r\n\r\n才可以。针对采用长连接进行检查的， 这里增加keep-alive请求头，即HEAD /name HTTP/1.1\r\nConnection: keep-alive\r\n\r\n。 如果你后端的tomcat是基于域名的多虚拟机，此时你需要通过check_http_send定义host， 不然每次访问都是失败，范例：check_http_send "GET /mobileapi HTTP/1.0\r\n HOST www.redhat.sx\r\n\r\n";
更多的信息大家可以去该模块的淘宝tengine页面和github上该项目页面去查看，下面是访问地址：
- http://tengine.taobao.org/document_cn/http_upstream_check_cn.html
- https://github.com/yaoweibin/nginx_upstream_check_module
ngx_http_healthcheck_module模块
除了上面两个模块，nginx官方在早期的时候还提供了一个 ngx_http_healthcheck_module 模块用来进行nginx后端节点的健康检查。
新的版本已经没有了。