7-2 LVS+DR概述与部署

一，LVS-DR模式叙述

1.DR 模式特点

• Director Server 和 Real Server 必须在同一个物理网络中

• Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问

• Director Server 作为群集的访问入口，但不作为网关使用

• 所有的请求报文经由 Director Server， 但回复响应报文不能经过 Director Server

• Real Server 的网关不允许指向 Director Server IP，即 Real Server 发送的数据包不允许经过 Director Server

• Real Server 上的 lo 接口配置 VIP 的 IP 地址

2. 数据包流向分析

在同一局域网中

1.客户端向目标VIP 发送请求，负载均衡器接收

2.负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的MAC 地址改为后端服务器的MAC 地址，然后在局域网上发送

3.后端真实服务器收到这个帧，解封装后发现目标 IP 与本机匹配（事先绑定 了VIP），于是处理这个报文

4.再重新封装报文，将响应报文通过 lo 接口传送给物理网卡然后向外发出客户端将收到回复报文，客户端认为得到了正常的服务，而不会知道是哪一台服务器处理的如果跨网段，则报文通过路由器由 lnternet 返回给客户

首先是在同一网络（局域网内）数据通过二层数据链路层来传输，客户端向目标VIP 发送请求，负载均衡器接收（调度器），负载均衡器根据负载均衡算法选择后端真实服务器（节点服务器），不修改也不封装IP报文，而是将数据帧的MAC 地址改为后端服务器的MAC 地址，然后在局域网上发送，节点服务器收到这个数据包，解封装后发现目标 IP 与本机匹配（事先绑定了VIP），就会处理这个报文，处理之后再重新封装报文，将响应报文通过 lo 接口传送给物理网卡然后向外发出，客户端将收到回复报文，客户端认为得到了正常的服务，而不会知道是哪一台服务器处理的（因为中间有NAT，防火墙等），如果跨网段，则报文通过路由器由 lnternet 返回给客户

3. DR 模式中的 ARP 问题

• 问题1：

在LVS-DR 负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址，若在同一局域网中具有相同的 IP 地址，一定会造成各服务器ARP通信的紊乱，当ARP发送广播到LVS-DR 集群时，因为负载均衡服务器和节点服务器都是连接到相同网路上，它们都会接受到ARP广播，想要只有前端的负载均衡器进行响应，其他节点服务器去不应该响应ARP广播，如下

• 解决方法：

对节点服务器进行处理，使其不响应针对VIP的ARP请求

①使用虚拟接口lo:0 承载 VIP 地址

②设置内核参数 arp_ignore=1 系统只响应目的 IP 为本地 IP 的ARP请求

• 问题二：

节点服务器返回报文（源IP 是VIP）经路由转发，重新封装报文时，需要先获取路由器的MAC地址，发送ARP请求时，Linux默认使用IP 包的源 IP地址(即VIP)作为ARP 请求包中的源IP地址，而不使用发送的接口的 IP地址，路由器收到ARP请求后，将更新ARP表项，原有的VIP对应负载均衡器的MAC 地址会被更新为 VIP对应节点服务器的MAC地址。如：ens33接口

• 解决方法：

对节点服务进行处理，设置内核参数 arp_announce=2 系统不使用 IP 包的源地址来设置 ARP 请求的源地址，而选择发送接口的 IP 地址

• 解决ARP的两个问题的设置方法

#修改 /etc/sysctl.conf 文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

• 配置内核参数详细解释

• 1.arp_ignore = 1 访问去时

防止网关路由器发送ARP广播时调度器和节点服务器都进行响应，这个会导致ARP缓存表混乱，不对非本地物理网卡IP的ARP请求响应，因为VIP是承载1o:0

• 2.arp_announce = 2 访问完回去后

系统不使用响应的数据的源 IP 地址（VIP），而使用发送报文的物理网卡 IP 地址作为 ARP 请求的报文的源 IP 地址，这样可以防止网关路由器接收到的源 IP 地址为 VIP 的 ARP 请求报文后有更新 ARP 缓存表，导致外网在发送请求时，数据包到达不了调节器

二，部署LVS-DR模式

• 部署所需环境

LVS负载均衡调节器（DR服务器）： ens33: 192.168.113.129 (Vment 8 NAT模式)

​ ens33:0: 192.168.113.200 (VIP)

Web1 节点服务器：192.168.113.128

Web2 节点服务器：192.168.113.125

客户端 win10：192.168.113.131

VIP地址: 192.168.113.200

一、配置负载调度器（192.168.113.129 ）

1.关闭火墙核心防护

[[email protected] ~]# systemctl stop firewalld
[[email protected] ~]# systemctl disable firewalld
[[email protected] ~]# setenforce 0

2.安装ipvsadm工具

[[email protected] ~]# yum install ipvsadm.x86_64 -y

3.配置虚拟IP地址（VIP：192.168.113.200）

[[email protected] ~]# cd /etc/sysconfig/network-scripts/ 
[[email protected] network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[[email protected] network-scripts]# ls
ifcfg-ens33    ifdown-post      ifup-eth     ifup-sit
ifcfg-ens33:0  ifdown-ppp       ifup-ib      ifup-Team
##其他删除或注释掉
[[email protected] network-scripts]# vim ifcfg-ens33:0
NAME=ens33:0
DEVICE=ens33:0
IPADDR=192.168.113.200
NETMASK=255.255.255.255

4.重启网络服务、启动网卡

[[email protected] network-scripts]# systemctl restart network
[[email protected] network-scripts]# ifup ifcfg-ens33:0

5.调整/proc响应参数

对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能

##切换到最后一行添加
[[email protected] network-scripts]# vim /etc/sysctl.conf 
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

##刷新配置查看是否成功
[[email protected] network-scripts]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

6.加载模块

[[email protected] network-scripts]# modprobe ip_vs
[[email protected] network-scripts]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

7.配置负载分配策略，并启动服务

[[email protected] network-scripts]# ipvsadm-save >/etc/sysconfig/ipvsadm
[[email protected] network-scripts]# systemctl start ipvsadm.service

8.清空ipvsadm，并添加策略

添加真实服务器-a 指定VIP地址及TCP端口-t 指定RIP地址及TCP端口 -r 指定DR模式-g

[[email protected] network-scripts]# ipvsadm -C
[[email protected] network-scripts]# ipvsadm -A -t 192.168.113.200:80 -s rr
[[email protected] network-scripts]# ipvsadm -a -t 192.168.113.200:80 -r 192.168.113.128:80 -g
[[email protected] network-scripts]# ipvsadm -a -t 192.168.113.200:80 -r 192.168.113.125:80 -g

9.启动ipvsadm，查看配置，保存

[[email protected] network-scripts]# ipvsadm
[[email protected] network-scripts]# ipvsadm -ln
[[email protected] network-scripts]# ipvsadm-save >/etc/sysconfig/ipvsadm

三，配置web1节点服务器（192.168.113.128）

• 注：web1 2 配置基本一致

1.关闭防火墙，核心防护

[[email protected] ~]# systemctl stop firewalld
[[email protected] ~]# systemctl disable firewalld
[[email protected] ~]# setenforce 0

2.安装httpd、开启服务，并创建一个站点文件

[[email protected] ~]# yum install -y httpd
[[email protected] ~]# systemctl restart httpd
[[email protected] ~]# echo "<h1>你个大长虫</h1>" > /var/www/html/index.html

3.添加回环网卡,修改回环网卡名，IP地址，子网掩码

[[email protected] ~]# cd /etc/sysconfig/network-scripts/
[[email protected] network-scripts]# cp ifcfg-lo ifcfg-lo:0
[[email protected] network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.113.200
NETMASK=255.255.255.255
NETWORK=127.0.0.0

##重启网卡，刷新下
[[email protected] network-scripts]# systemctl restart network

4.设置路由

[[email protected] network-scripts]# route add -host 192.168.113.200 dev lo:0
[[email protected] network-scripts]# route -n

-A：设置地址类型
-C：打印将Linux核心的路由缓存
-v：详细信息模式
-n：不执行DNS反向查找，直接显示数字形式的IP地址
-e：netstat格式显示路由表
-net：到一个网络的路由表
-host：到一个主机的路由表

5.添加到变量开机执行命令

##最后一行添加
[[email protected] network-scripts]# vim /etc/rc.d/rc.local 
/usr/sbin/route add -host 192.168.113.200 dev lo:0

##给与执行权限
[[email protected] network-scripts]# chmod +x /etc/rc.d/rc.local

6.调整 proc 响应参数

添加系统只响应目的IP为本地IP的ARP请求
系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP

##最后一行添加
[[email protected] network-scripts]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

##查看是否正常
[[email protected] network-scripts]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

四，配置web2节点服务器（192.168.113.125）

1.关闭防火墙，核心防护

[[email protected] ~]# systemctl stop firewalld
[[email protected] ~]# systemctl disable firewalld
[[email protected] ~]# setenforce 

2.安装httpd、开启服务，并创建一个站点文件

[[email protected] ~]# yum install httpd -y
[[email protected] ~]# systemctl start httpd
 echo "<h1>谁？谁是大长虫</h1>" > /var/www/html/index.html

3.添加回环网卡,修改回环网卡名，IP地址，子网掩码

[[email protected] network-scripts]# cd /etc/sysconfig/network-scripts/
[[email protected] network-scripts]# cp ifcfg-lo ifcfg-lo:0
[[email protected] network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.113.200
NETMASK=255.255.255

##重启网卡，刷新下
[[email protected] network-scripts]# systemctl restart network

4.设置路由

[roo[email protected] network-scripts]# route add -host 192.168.113.200 dev lo:0
[[email protected] network-scripts]# route -n

5.添加到变量开机执行命令

##最后一行添加
[[email protected] network-scripts]# vim /etc/rc.d/rc.local 
/usr/sbin/route add -host 192.168.113.200 dev lo:0

##给与执行权限
[[email protected] network-scripts]# chmod +x /etc/rc.d/rc.local

6.调整 proc 响应参数

##最后一行添加
[[email protected] network-scripts]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

##查看是否正常
[[email protected] network-scripts]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

五，win10客户机浏览器访问（192.168.113.131）