keepalived-2-配置文件详解

简介

官网：http://www.keepalived.org/

核心组件：

core：是keepalived的核心，复杂主进程的启动和维护，全局配置文件的加载解析等

check：负责healthchecker(健康检查)，包括了各种健康检查方式，以及对应的配置的解析包括LVS的配置解析

vrrp：VRRPD子进程，VRRPD子进程就是来实现VRRP协议的

libipfwc：iptables(ipchains)库，配置LVS会用到

libipvs*：配置LVS会用到

注意，keepalived和LVS完全是两码事，只不过他们各负其责相互配合而已

keepalived启动后会有三个进程

父进程：内存管理，子进程管理等等

子进程：VRRP子进程

子进程：healthchecker子进程

两个子进程都被系统WatchDog看管，两个子进程各自复杂自己的事，healthchecker子进程复杂检查各自服务器的健康程度，例如HTTP，LVS等等，如果healthchecker子进程检查到MASTER上服务不可用了，就会通知本机上的兄弟VRRP子进程，让他删除通告，并且去掉虚拟IP，转换为BACKUP状态

工作原理

以下内容来自网络

keepalived工作在 Layer3，4，7；工作在TCP/IP协议栈的IP层，TCP层，及应用层,原理分别如下：

Layer3：Keepalived使用Layer3的方式工作式时，Keepalived会定期向服务器群中的服务器发送一个ICMP的数据包（既我们平时用的Ping程序）,如果发现某台服务的IP地址没有激活，Keepalived便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。

Layer4:如果您理解了Layer3的方式，Layer4就容易了。Layer4主要以TCP端口的状态来决定服务器工作正常与否。如web server的服务端口一般是80，如果Keepalived检测到80端口没有启动，则Keepalived将把这台服务器从服务器群中剔除。

Layer7：Layer7就是工作在具体的应用层了，比Layer3,Layer4要复杂一点，在网络上占用的带宽也要大一些。Keepalived将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则Keepalived将把服务器从服务器群中剔除。

环境

- os: centos 6.4 x86_64
- keepalived version: 1.2.7-3

 

部署

centos 6.4之后官方的yum里已经提供了keepalived的RPM包，所以直接yum安装即可

yum install -y keepalived
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak

 

配置文件

主要包括三部分：

花括号“{}”。用来分隔定义块，因此必须成对出现。如果写漏了，keepalived运行时，不会得到预期的结果。由于定义块内存在嵌套关系，因此很容易遗漏结尾处的花括号，这点要特别注意。

- 全局定义块

global_defs {
notification_email { #指定keepalived在发生切换时需要发送email到的对象，一行一个，建议不用，用其他监控方案代替
liutiansi@gmail.com
}
notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
smtp_server 127.0.0.1 #指定smtp服务器地址
smtp_connect_timeout 3 #指定smtp连接超时时间
router_id LVS_DEVEL #运行keepalived机器的一个标识，在一个网络内，它应该是唯一的
}

#监控haproxy 进程
vrrp_script chk_haproxy { # Requires keepalived-1.1.13
script "killall -0 haproxy" # widely used idiom
interval 2 # check every 2 seconds
weight 2 # add 2 points of prio if OK weight -2 #经测试keepalived 1.17版本加这个配置不能切换,最新版本1.21加上这个则可以
}

 

- VRRP实例定义块

vrrp_sync_group VG_1{ #监控多个网段的实例group，每个实例group必须包含一个vrrp实例
group {
inside_network #实例名，确定失败切换（FailOver）包含的路由实例个数。即在有2个负载均衡器的场景，
#一旦某个负载均衡器失效，需要自动 切换到另外一个负载均衡器的实例是哪些
outside_network
}
notify_master /path/xx.sh #指定当切换到master时，执行的脚本
netify_backup /path/xx.sh #指定当切换到backup时，执行的脚本
notify_fault "path/xx.sh VG_1" #故障时执行的脚本
notify /path/xx.sh
smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知
}

#Vrrp实例vrrp_instance.实例名出自实例组group所包含的那些名字
vrrp_instance inside_network {
state BACKUP #实例状态state.只有MASTER和BACKUP两种状态，并且需要大写这些单词。其中MASTER为工作状态，BACKUP为备用状态。
#当MASTER所在的服务器失效时，BACKUP所在的系统会自动把它的状态有BACKUP变换成MASTER；
#当失效的MASTER所在的系统恢复时，BACKUP从MASTER恢复到BACKUP状态。
#主备的靠priority决定

#nopreempt #设置为不抢占 注：这个配置只能设置在backup主机上，而且这个主机优先级要比另外一台高

interface eth0 #设置实例绑定的网卡，即VIP所在的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的

dont_track_primary #忽略vrrp的interface错误（默认不设置）

track_interface{ #设置额外的监控，里面那个网卡出现问题都会切换，一般都会对内外网卡同时进行监控
eth0
eth1
}

mcast_src_ip #发送多播包的地址，如果不设置默认使用绑定网卡的primary ip

garp_master_delay #在切换到master状态后，延迟进行gratuitous ARP请求

virtual_router_id 50 #虚拟路由标识 ,可通过 #tcpdump vrrp 查看.这个标识是一个数字，并且同一个vrrp实例使用唯一的标识。
#即同一个vrrp_instance,MASTER和BACKUP的virtual_router_id是一致的，同时在整个vrrp内是唯一的。

priority 99 #优先级：这是一个数字，数值愈大，优先级越高。在同一个vrrp_instance里，MASTER的优先级高于BACKUP

advert_int 1 #同步通知间隔：MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位为秒。

preempt_delay #抢占延时，默认5分钟，通过这种方式防止意外的切换导致角色的切换

debug #开启debug，默认可以不开启

authentication { #设置认证
auth_type PASS #类型主要有PASS、AH两种，通常使用的类型为PASS
auth_pass 111111 #验证密码为明文，同一vrrp实例MASTER与BACKUP 使用相同的密码才能正常通信。
}

virtual_ipaddress { #虚拟IP，即VIP，可以有多个地址，每个地址占一行，不需要指定子网掩码
#注意：如果lvs+keepalived场景中，这个ip必须与我们在lvs客户端设定的vip相一致
192.168.202.200
}
virtual_routes { #设置默认路由
# src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
192.168.110.0/24 via 192.168.200.254 dev eth1
192.168.111.0/24 dev eth2 192.168.112.0/24 via 192.168.100.254
}

preempt delay #抢占延迟
}

 

- 虚拟服务器定义块

virtual_server 192.168.202.200 23 { # 这个ip后面一个空格，然后加上端口号。定义一个vip，可以实现多个tcp端口的负载均衡功能
delay_loop 6 #健康检查时间间隔，单位是秒

lb_algo rr #负载均衡调度算法（rr|wrr|lc|wlc|lblc|sh|dh），比较常见的是rr和nlc

lb_kind DR #负载均衡转发规则（NAT|DR|TUN）

persistence_timeout 50 #会话保持时间，单位是s，此选项用来提供保持会话功能

protocol TCP #使用的协议，TCP和UDP

persistence_granularity <NETMASK> #lvs会话保持粒度

virtualhost <string> #检查的web服务器的虚拟主机（host：头）

sorry_server<IPADDR> <port> #备用机，所有realserver失效后启用，利用这个sorry server提供一个优雅的维护页面

real_server 192.168.200.5 23 { #也即服务器池。Real_server的值包括ip地址和端口号。多个连续的真实ip
weight 1 #权重值是一个数字，数值越大，权重越高。
#使用不同的权重值的目的在于为不同性能的机器分配不同的负载，性能较好的机器，负载分担大些；
#反之，性能差的机器，则分担较少的负载，这样就可以合理的利用不同性能的机器资源。

inhibit_on_failure #在服务器健康检查失效时，将其设为0，而不是直接从ipvs中删除

notify_up <string> | <quoted-string> #在检测到server up后执行脚本

notify_down <string> | <quoted-string> #在检测到server down后执行脚本

TCP_CHECK {
connect_timeout 3 #连接超时时间
nb_get_retry 3 #重连次数
delay_before_retry 3 #重连间隔时间
connect_port 23 #健康检查的端口的端口
bindto <ip>
}

HTTP_GET | SSL_GET{
url{ #检查url，可以指定多个
path /
digest <string> #检查后的摘要信息
status_code 200 #检查的返回状态码
}

connect_port <port>
bindto <IPADD>
connect_timeout 5
nb_get_retry 3
delay_before_retry 2
}

SMTP_CHECK{
host{
connect_ip <IP ADDRESS>
connect_port <port> #默认检查25端口
bindto <IP ADDRESS>
}

connect_timeout 5
retry 3
delay_before_retry 2
helo_name <string> | <quoted-string> #smtp helo请求命令参数，可选
}

MISC_CHECK{
misc_path <string> | <quoted-string> #外部脚本路径
misc_timeout #脚本执行超时时间
misc_dynamic #如设置该项，则退出状态码会用来动态调整服务器的权重
#返回0 正常，不修改；返回1，检查失败，权重改为0；返回2-255，正常，权重设置为：返回状态码-2
}
}

 

启动

通过RPM安装的直接利用脚本

/etc/init.d/keepalivedstart

 

keepalived启动信息可以从日志中看到

tail-f/var/log/message

 

实例： 1、角色自动切换以及事件通知

角色的自动切换，原理是在global选项中定义一段脚本，在vrrp_instance中进行引用，触发了脚本，自动调整priority达到选举变更角色的目的

#global选项中加上如下的判定条件
vrrp_script change_role {
script "[[ -e /tmp/ChangeRole ]] && exit 1 || exit 0" #这里紧紧是一条shell命令，也可以是一个脚本
interval 1
weight -5 #自动调整优先级-5
}

#vrrp_instance实例中引用
track_script {
change_role
}
#只要当/tmp/ChangeRole出现的时候，优先级自动-5，小于backup，选举的时候就会更换角色

#要监控某项服务例如nginx
vrrp_script chk_nginx {
script "killall -0 nginx"
interval 1
weight -2
}

#vrrp_instance中进行引用
track_script {
chk_maintainace chk_nginx
}

 

2、角色转换进行通知，使用keepalived自带的邮件功能

角色转换的时候进行通知，结合上面进行角色更替时候发送邮件，这里仍旧不推荐，可以使用zabbix或者是nagios进行报警

#vrrp_instance实例块中定义
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"

#发送邮件的前提是global中关于smtp的定义已经定义好

 

以下为一个简易通知脚本
#!/bin/bash
VIP=172.16.1.10
contact=\'root@localhost\'

notify() {
mailsubject="`hostname` to be $1: $VIP floating"
mailbody="`date \'+%F %H:%M:%S\'`: vrrp transition, `hostname` changed to be $1"
echo $mailbody | mail -s "$mailsubject" $contact
}

case "$1" in
master)
notify master exit 0
;;
backup)
notify backup exit 0
;;
fault)
notify fault exit 0
;;
*)
echo \'Usage: `basename $0` {master | backup | fault}\'
exit 1
;;
esac

 

3、keepalived实现ipvs

virtual_server 172.16.100.1 80 {
delay_loop 5
lb_algo rr
lb_kind NAT
nat_mask 255.255.255.0
protocol TCP

real_server 172.16.100.10 80 {
weight 1
HTTP_GET {
url {
path /
state_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}

real_server 172.16.100.20 80 {
weight 1
HTTP_GET {
url {
path /
state_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

 

4、多虚拟路由的master/master双主模型

实现master/master双主，原理其实就是只要定义不同的vrrp_instance来实现

#部分配置文件如下
vrrp_instance VI_1 {
state MASTER
interface eth1
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}

virtual_ipaddress {
172.16.1.10/24 dev eth1
}
}
vrrp_instance VI_2 {
state BACKUP
interface eth1
virtual_router_id 52
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}

virtual_ipaddress {
172.16.100.10/24 dev eth1
}
}
同样在另一个keepalived节点上两者vrrp_instance的实例角色恰好相反，这样即可实现master/master模型