Haproxy反向代理

Haproxy

负载均衡：Load Balance，简称 LB，是一种服务或基于硬件设备等实现的高可用反向代理技术，负载均衡将特定的业务(web服务、网络流量等)分担给指定的一个或多个后端特定的服务器或设备，从而提高了公司业务的并发处理能力、保证了业务的高可用性、方便了业务后期的水平动态扩展
企业版官网：https://www.haproxy.com
社区版官网：http://www.haproxy.org
github: https://github.com/haproxy

Haproxy安装

Ubuntu系统包安装

# Ubuntu包安装,版本自己指定即可
[root@ubuntu2204 ~]# apt-get install software-properties-common
[root@ubuntu2204 ~]# add-apt-repository ppa:vbernat/haproxy-2.0
[root@ubuntu2204 ~]# apt update
[root@ubuntu2204 ~]# apt-cache madison haproxy
#安装指定版本
[root@ubuntu2204 ~]# apt install haproxy=2.0.4-1ppa1~bionic
#或安装最新版
[root@ubuntu2204 ~]# apt-get install haproxy=2.0.\*
#验证haproxy版本
[root@ubuntu2204 ~]# haproxy -v
或者直接安装镜像包内默认的版本
[root@ubuntu2204 ~]# apt install haproxy

CentOS系统包安装

# 系统yum源安装，版本比较旧
[root@centos7 ~]# yum install haproxy -y
#验证haproxy版本
[root@centos7 ~]# haproxy -v
# 或者通过三方包去安装
包下载地址： https://pkgs.org/download/haproxy

Haproxy配置基础

HAProxy 的配置文件haproxy.cfg由两大部分组成，分别是global和proxies部分

1、global:全局配置段

进程及安全配置相关的参数
性能调整相关参数
Debug参数

global常见配置指令

chroot /apps/haproxy #锁定运行目录
deamon        #以守护进程运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1 #socket文件,并可以通过此文件管理
user, group, uid, gid  #运行haproxy对应worker进程的用户身份
#nbproc  n  #开启的haproxy worker 进程数，默认进程数是一个, nbproc从HAProxy2.5开始不再支持
nbthread  1 #默认值auto，和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#注意：下面方式不支持线程绑定
#cpu-map 1 0  #绑定haproxy worker 进程至指定CPU，将第1个worker进程绑定至0号CPU
#cpu-map 2 1   #绑定haproxy worker 进程至指定CPU，将第2个worker进程绑定至1号CPU
cpu-map auto:1/1-8 0-7 #haproxy2.4中启用nbthreads，在global配置中添加此选项，可以进行线程和CPU的绑定，nbproc选项2.5版本中将会删除,每个进程中1-8个线程分别绑定0-7号CPU，注意：新版用此项进行线程绑定
maxconn n  #每个haproxy进程的最大并发连接数
maxsslconn n  #每个haproxy进程ssl最大连接数,用于haproxy 配置了证书的场景下
maxconnrate n  #每个进程每秒创建的最大连接数量
spread-checks n #后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile #指定pid文件路径
log 127.0.0.1 local2 info #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个

haproxy日志配置
HAproxy本身不记录客户端的访问日志.此外为减少服务器负载,一般生产中HAProxy不记录日志。可以配置HAProxy利用rsyslog服务记录日志到指定日志文件中

#在global配置项定义：
log 127.0.0.1 local{0-7} info #基于syslog记录日志到指定设备，级别包括:err、warning、info、debug

listen web_port
  bind 127.0.0.1:80
  mode http
  log global #开启当前web_port的日志功能，默认不记录日志
  server web1  127.0.0.1:8080 check inter 3000 fall 2 rise 5
# systemctl restart haproxy

#配置rsyslog
vim /etc/rsyslog.conf
$ModLoad imudp
$UDPServerRun 514
......
local3.*  /var/log/haproxy.log
......
# systemctl restart rsyslog

2、proxies配置

defaults [<name>] #默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend <name>  #前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend <name>  #后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen  <name>  #将frontend和backend合并在一起配置，相对于frontend和backend配置更简洁，生产常用

注意：name字段只能使用大字母，数字，’-‘(dash)，’_’(underscore)，’.’ (dot)和 ‘:’(colon)，且严格区分大小写
1、defaults参数

option redispatch   #当server Id对应的服务器挂掉后，强制定向到其他健康的服务器，重新派发
option abortonclose  #当服务器负载很高时，自动结束掉当前队列处理比较久的连接，针对业务情况选择开启
option http-keep-alive #开启与客户端的会话保持
option forwardfor   #透传客户端真实IP至后端web服务器
mode http|tcp #设置默认工作类型,使用TCP服务器性能更好，减少压力
timeout http-keep-alive 120s #session 会话保持超时时间，此时间段内会转发到相同的后端服务器
timeout connect 120s #客户端请求从haproxy到后端server最长连接等待时间(TCP连接之前)，默认单位ms
timeout server 600s #客户端请求从haproxy到后端服务端的请求处理超时时长(TCP连接之后)，默认单位ms，如果超时，会出现502错误，此值建议设置较大些，防止出现502错误
timeout client 600s #设置haproxy与客户端的最长非活动时间，默认单位ms，建议和timeoutserver相同
timeout check  5s  #对后端服务器的默认检测超时时间
default-server inter 1000 weight 3  #指定后端服务器的默认设置

2、listen参数

#官网业务访问入口
listen WEB_PORT_80
 bind 192.168.10.100:80
 mode http
 option forwardfor
 server web1  10.0.0.17:8080  check inter 3000 fall 3 rise 5
 server web2  10.0.0.27:8080  check inter 3000 fall 3 rise 5
#检查语法
[root@ubuntu2004 ~]#haproxy -c -f /etc/haproxy/haproxy.cfg
Configuration file is valid

3、frontend参数

bind： #指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于listen字段中
#格式：
bind [<address>]:<port_range> [, ...] [param*]
#注意：如果需要绑定在非本机的IP，需要开启内核参数：net.ipv4.ip_nonlocal_bind=1
backlog <backlog> #针对所有server配置,当前端服务器的连接数达到上限后的后援队列长度，注意：不支持backend

frontend参数配置示例

frontend http_proxy #监听http的多个IP的多个端口和sock文件
 bind :80,:443,:8801-8810
 bind 10.0.0.1:10080,10.0.0.1:10443
 bind /var/run/ssl-frontend.sock user root mode 600 accept-proxy
 mode http|tcp   #指定负载协议类型
 use_backend <backend_name>  #调用的后端服务器组名称
frontend http_https_proxy #https监听
 bind :80
 bind :443 ssl crt /etc/haproxy/site.pem #公钥和私钥公共文件
 mode http|tcp   #指定负载协议类型
 use_backend <backend_name>  #调用的后端服务器组名称
frontend http_https_proxy_explicit #监听ipv6、ipv4和unix sock文件
 bind ipv6@:80
 bind ipv4@public_ssl:443 ssl crt /etc/haproxy/site.pem
 bind unix@ssl-frontend.sock user root mode 600 accept-proxy
 mode http|tcp   #指定负载协议类型
 use_backend <backend_name>  #调用的后端服务器组名称
listen external_bind_app1 #监听file descriptor
 bind "fd@${FD_APP1}"

backend参数配置
定义一组后端服务器，backend服务器将被frontend进行调用
注意: backend 的名称必须唯一,并且必须在listen或frontend中事先定义才可以使用,否则服务无法启动

mode http|tcp   #指定负载协议类型,和对应的frontend必须一致
option #配置选项,option后面加 httpchk，smtpchk,mysql-check,pgsql-check，ssl-hello-chk方法，可用于实现更多应用层检测功能。
server  #定义后端real server,必须指定IP和端口

backend参数下server配置

#针对一个server配置
check #对指定real进行健康状态检查，如果不加此设置，默认不开启检查,只有check后面没有其它配置也可以启用检查功能,默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定端口才能实现健康性检查

addr <IP>  #可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量
port <num> #指定的健康状态监测端口
inter <num> #健康状态检查间隔时间，默认2000 ms
fall <num>  #后端服务器从线上转为线下的检查的连续失效次数，默认为3
rise <num>  #后端服务器从下线恢复上线的检查的连续有效次数，默认为2
weight <weight> #默认为1，最大值为256，0(状态为蓝色)表示不参与负载均衡，但仍接受持久连接
backup #将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务，类似Sorry Server
disabled #将后端服务器标记为不可用状态，即维护状态，除了持久模式，将不再接受连接,状态为深黄色,支持优雅平滑下线,继续处理旧请求，不接受新请求
maxconn <maxconn> #当前后端server的最大并发连接数,放在,放在server 指令后面
redir http://www.baidu.com    #将请求临时(302)重定向至其它URL，只适用于http模式,放在server 指令后面

redirect 配置

#注意:此指令和redir功能相似,但不属于server指令后面,是独立存放在listen,frontend,backend语句块
redirect prefix http://www.baidu.com/ #将请求临时(302)重定向至其它URL，只适用于http模式

frontend和backend 组合配置示例1

frontend yuhao-test-http
  bind :80,:8080
  mode tcp
  use_backend yuhao-test-http-nodes

backend yuhao-test-http-nodes
  mode tcp
  default-server inter 1000 weight 6
  server web1 10.0.0.17:80 weight 2 check addr 10.0.0.117 port 8080
  server web1 10.0.0.27:80 check

frontend和backend 组合配置示例2

#官网业务访问入口
frontend web_http_80
 bind 10.0.0.7:80
 mode http
 use_backend web_http_nodes
backend web_http_nodes
 mode http
 option forwardfor
 server 10.0.0.17 10.0.0.17:8080  check inter 3000 fall 3 rise 5
 server 10.0.0.27 10.0.0.27:8080  check inter 3000 fall 3 rise 5

Haproxy子配置文件

当业务众多时，将所有配置都放在一个配置文件中，会造成维护困难。可以新增子配置文件
注意: 子配置文件的文件后缀必须为.cfg

#创建子配置目录
[root@centos7 ~]#mkdir /etc/haproxy/conf.d/
#添加子配置目录到unit文件中
[root@centos7 ~]#vim /lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
#修改下面两行
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f
/etc/haproxy/conf.d/ -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f
/etc/haproxy/conf.d/  -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
[Install]
WantedBy=multi-user.target

[root@centos7 ~]#vim  /etc/haproxy/conf.d/test.cfg
listen WEB_PORT_80
bind 10.0.0.7:80
mode http
balance roundrobin
server web1  10.0.0.17:80 check inter 3000 fall 2 rise 5
server web2  10.0.0.27:80 check inter 3000 fall 2 rise 5
[root@centos7 ~]#systemctl daemon-reload
[root@centos7 ~]#systemctl restart haproxy

Haproxy调度算法

静态算法

静态算法：按照事先定义好的规则轮询进行调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时动态修改权重(只能为0和1,不支持其它值)或者修改后不生效，如果需要修改只能靠重启HAProxy生效

static-rr 算法

static-rr：基于权重的轮询调度，不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其它值)及后端服务器慢启动，其后端主机数量没有限制，相当于LVS中的 wrr

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance static-rr
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5

first 算法

first：根据服务器在列表中的位置，自上而下进行调度，但是其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务，因此会忽略服务器的权重设置，此方式使用较少

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance first
  server web1 10.0.0.17:80 maxconn 2 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

动态算法

动态算法：基于后端服务器状态进行调度适当调整，新请求将优先调度至当前负载较低的服务器，且权重可以在haproxy运行时动态调整无需重启

roundrobin 算法

roundrobin：基于权重的轮询动态调度算法，支持权重的运行时调整，HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)，其每个后端backend中最多支持4095个real server，支持对real server权重动态调整，roundrobin为默认调度算法,此算法使用广泛

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance roundrobin
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5

支持动态调整权重：

echo "set weight web_host/web1 3" | socat stdio /var/lib/haproxy/haproxy.sock

leastconn 算法

leastconn 加权的最少连接的动态，支持权重的运行时调整和慢启动，即根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接)，比较适合长连接的场景使用，比如：MySQL等场景。

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance leastconn
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

random 算法

在1.9版本开始增加 random的负载平衡算法，其基于随机数作为一致性hash的key，随机负载平衡对于大型服务器场或经常添加或删除服务器非常有用，支持weight的动态调整，weight较大的主机有更大概率获取新请求

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance random
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

其他算法

其它算法即可作为静态算法，又可以通过选项成为动态算法

source 算法

源地址hash，基于用户源地址hash并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，默认为静态方式，但是可以通过hash-type选项进行更改
这个算法一般是在不插入Cookie的TCP模式下使用，也可给不支持会话cookie的客户提供会话粘性，适用于需要session会话保持但不支持cookie和缓存的场景
源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法和一致性hash

map-base 取模法

map-based：取模法，对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。
此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度。缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变，hash-type 指定的默认值为此算法

#不支持动态调整权重值
listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode tcp
  log global
  balance source
  hash-type map-based
  server web1  10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 3
  server web2  10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 3

一致性 hash

一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动，hash（o）mod n ，该hash算法是动态的，支持使用 socat等工具进行在线权重调整，支持慢启动算法：

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode tcp
  log global
  balance source
  hash-type consistent
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

uri 算法

基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后，根据最终结果将请求转发到后端指定服务器，适用于后端是缓存服务器场景，默认是静态算法，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash
注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp

uri 取模法配置示例

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance uri
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

uri 一致性hash配置示例

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance uri
  hash-type consistent
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

url_param 算法

url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算，并由服务器总权重相除以后派发至某挑出的服务器；通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server，如果无没key，将按roundrobin算法
url_param取模法配置示例

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance url_param userid #url_param hash
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

url_param一致性hash配置示例

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance url_param userid #对url_param的值取hash
  hash-type consistent
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

hdr 算法

针对用户每个http头部(header)请求中的指定信息做hash，此处由 name 指定的http首部将会被取出并做hash计算，然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度。
hdr取模法配置示例

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance hdr(User-Agent)
  #balance hdr(host)
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

一致性hash配置示例

listen web_host
  bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
  mode http
  log global
  balance hdr(User-Agent)
  hash-type consistent
  server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
  server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

测试访问

curl -v http://10.0.0.7/index.html
curl -vA 'firefox' http://10.0.0.7/index.html
curl -vA 'chrome' http://10.0.0.7/index.html