LVS-DR模式多网段案例

1.实验架构

原理补充：
路由器的eth0要配置两个ip，因为在不同的网段，rs和lvs的VIP和RIP不在同一网段，lo：VIP172.168.100/32必须是32位的，24位的不行，因为配置在回环网卡上，回环网卡是没有路由的，只要在同一网段，就能够连接，如果是24位的话，172.16.0.200和172.168.100在同一网段，就会在本地转圈，不能转发到172.16.0.200，因此必须要设置32位，这样没有同网段其他主机，就能够进行转发到172.16.0.200了，如果绑定在eth0上的话就不存在这个问题。

2.实验环境

环境：五台主机
一台：客户端 eth0:仅主机 192.168.10.6/24 GW:192.168.10.200

一台：ROUTER
eth0 :NAT 10.0.0.200/24  NAT 172.16.0.200/24
eth1: 仅主机 192.168.10.200/24 
启用 IP_FORWARD

一台：LVS
eth0:NAT:DIP:10.0.0.8/24 GW:10.0.0.200
lo:VIP 172.16.0.100/32

两台RS：
RS1：eth0:NAT:10.0.0.7/24 GW：10.0.0.200
lo:VIP 172.16.0.100/32
RS2：eth0:NAT:10.0.0.17/24 GW：10.0.0.200  
lo:VIP 172.16.0.100/32

3.后端RS1的IPVS配置

1.修改主机名
[[email protected]:~]#
hostnamectl set-hostname rs1.magedu.org && exit

2.安装httpd服务
[[email protected]:~]#
yum -y install httpd;echo rs1 `hostname -I` > /var/www/html/index.html;systemctl enable --now httpd

3.修改网关为10.0.0.200，dns用不上，可以删除
[[email protected]:~]#
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
NAME=eth0
BOOTPROTO=static
IPADDR=10.0.0.7
PREFIX=24
GATEWAY=10.0.0.200
DNS1=10.0.0.2
DNS2=180.76.76.76
ONBOOT=yes
[[email protected]:~]#
systemctl restart network

4.绑定VIP到lo回环网卡，同时关掉lo回环网卡arp
[[email protected]:~]#
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
[[email protected]:~]#
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
#总开关和具体的网卡开关都要关掉才行。

[[email protected]:~]#
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
[[email protected]:~]#
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 

5. 配置VIP地址
[[email protected]:~]#
cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ifcfg-lo:1
[[email protected]:~]#
vim /etc/sysconfig/network-scripts/ifcfg-lo:1
DEVICE=lo:1
IPADDR=172.16.0.100
NETMASK=255.255.255.255
ONBOOT=yes
NAME=loopback1
[[email protected]:~]#
systemctl restart network
#临时配置方法，不需重启
ifconfig lo:1 10.0.0.100/32

4.后端RS2的IPVS配置

1.修改主机名
[[email protected]:~]#
hostnamectl set-hostname rs2.magedu.org && exit

2.安装httpd服务
[[email protected]:~]#
yum -y install httpd;echo rs1 `hostname -I` > /var/www/html/index.html;systemctl enable --now httpd

3.修改网关为10.0.0.200，dns用不上，可以删除
[[email protected]:~]#
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
NAME=eth0
BOOTPROTO=static
IPADDR=10.0.0.17
PREFIX=24
GATEWAY=10.0.0.200
DNS1=10.0.0.2
DNS2=180.76.76.76
ONBOOT=yes
[[email protected]:~]#
systemctl restart network

4.绑定VIP到lo回环网卡，同时关掉lo回环网卡arp
[[email protected]:~]#
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
[[email protected]:~]#
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
#总开关和具体的网卡开关都要关掉才行。

[[email protected]:~]#
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
[[email protected]:~]#
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 

5. 配置VIP地址
[[email protected]:~]#
vim /etc/sysconfig/network-scripts/ifcfg-lo:1
DEVICE=lo:1
IPADDR=172.16.0.100
NETMASK=255.255.255.255
ONBOOT=yes
NAME=loopback1
[[email protected]:~]#
systemctl restart network
#临时配置方法，不需重启
ifconfig lo:1 10.0.0.100/32

5.client客户端网络配置

1.修改网卡，必须要配置网关，因为要和rs直接建立连接。
[[email protected] ~]#vim /etc/netplan/01-netcfg.yaml
network:
  version: 2
  renderer: networkd
  ethernets:
    eth0:
      addresses: [192.168.10.6/24]
      gateway4: 192.168.10.200
      nameservers:
        search: [magedu.com, magedu.org]
        addresses: [180.76.76.76, 8.8.8.8, 1.1.1.1]
[[email protected] ~]#netplan apply
[[email protected] ~]#route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.10.200  0.0.0.0         UG    0      0        0 eth0
192.168.10.0    0.0.0.0         255.255.255.0   U     0      0        0 eth0

6.路由主机配置

1.vmware添加仅主机网卡，详细见下图

2.修改eth0网卡
[[email protected]:~]#
hostnamectl set-hostname route.magedu.org;exit
[[email protected]:~]#网关和dns解析用不上，可以删除。
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
NAME=eth0
BOOTPROTO=static
IPADDR1=10.0.0.200
PREFIX=24
IPADDR2=172.16.0.200
PREFIX=24
GATEWAY=10.0.0.2
DNS1=10.0.0.2
DNS2=180.76.76.76
ONBOOT=yes


3.配置eth1网卡
[[email protected]:~]#
cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth1
[[email protected]:~]#
vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
NAME=eth1
BOOTPROTO=static
IPADDR=192.168.10.200
PREFIX=24
GATEWAY=10.0.0.2
DNS1=10.0.0.2
DNS2=180.76.76.76
ONBOOT=yes
[[email protected]:~]#
nmcli con reload
[[email protected]:~]#
nmcli con 
NAME                UUID                                  TYPE      DEVICE 
eth0                5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03  ethernet  eth0   
eth1                9c92fad9-6ecb-3e6c-eb4d-8a47c6f50c04  ethernet  eth1   
Wired connection 1  36a1faac-f944-3a4a-98d1-21929b079ddf  ethernet  --     
4.重启网卡
[[email protected]:~]#
nmcli con up eth1#
#也可以删除Wired connection 1
[[email protected]:~]#
nmcli con delete Wired\ connection\ 1  #必须添加\

[[email protected]:~]#
nmcli con up eth0   

5.开启转发功能
[[email protected]:~]#
vim /etc/sysctl.conf
net.ipv4.ip_forward=1
[[email protected]:~]#
sysctl -p

7.LVS的网络配置

1.修改主机名
[[email protected]:~]#
hostnamectl set-hostname lvs.magedu.org && exit

2.安装相关包
[[email protected]:~]#
yum -y install ipvsadm


3.配置网络，网关和dns可以删除，因为不需要访问互联网。
[[email protected]:~]#
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
NAME=eth0
BOOTPROTO=static
IPADDR=10.0.0.8                                                  
PREFIX=24
GATEWAY=10.0.0.200
DNS1=10.0.0.2
DNS2=180.76.76.76
ONBOOT=yes
[[email protected]:~]#
nmcli con reload
[[email protected]:~]#
nmcli con up eth0

5.配置回环网卡ip，临时方法。
[[email protected]:~]#
ifconfig lo:1 10.0.0.100/32
#添加在lo网卡上一个地址（临时添加）
[[email protected]:~]#
ip a a 172.16.0.100/32 dev lo label lo:1  #lable 是添加标签

8.LVS主机配置lvs规则

1.添加规则，管理集群服务
[[email protected]:~]#
ipvsadm -A -t 172.16.0.100:80 -s wrr

2.添加规则，管理集群中的rs
[[email protected]:~]#
ipvsadm -a -t 172.16.0.100:80 -r 10.0.0.7:80 -g -w 1
[[email protected]:~]#
ipvsadm -a -t 172.16.0.100:80 -r 10.0.0.17:80 -g -w 1
[[email protected]:~]#
ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.16.0.100:80 wrr
  -> 10.0.0.7:80                  Route   1      0          0         
  -> 10.0.0.17:80                 Route   1      0          0         

9.client测试访问

1.访问检测
[[email protected] ~]#while :;do curl 172.16.0.100;sleep 1;done
rs2 10.0.0.17
rs1 10.0.0.7
rs2 10.0.0.17