layout: post
title: LVS简介及原理
date: 2018-03-04
tags: [“Cluster services”,”软件服务”]
一、简介
LVS：Linux Virtual Server，负载调度器，是一个虚拟的服务器集群系统，可以再unix/linux平台下实现负载均衡集群功能。由章文嵩博士研发，因其优越的性能，功能已经被内核收录。官网：http://www.linuxvirtualserver.org/
IPVS发展史：
早在2.2内核时，IPVS就已经以内核补丁的形式出现。
从2.4.23版本开始ipvs软件就是合并到linux内核的常用版本的内核补丁的集合。
从2.4.24以后IPVS已经成为linux官方标准内核的一部分
工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。
lvs集群类型中的术语：
1）VS：Virtual Server，Director Server(DS) ，Dispatcher(调度器)，Load Balancer
2）RS：Real Server(lvs), upstream server(nginx)，backend server(haproxy)
3）CIP：Client IP
4）VIP: Virtual serve IP VS外网的IP
5）DIP: Director IP VS内网的IP
6）RIP: Real server IP
二、LVS的工作模型
工作模型类型：
lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP
三、LVS的调度算法
ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态分为两种，即静态方法和动态方法
静态方法：仅根据算法本身进行调度，不考虑服务器负载情况
1、RR：roundrobin，轮询
2、WRR：Weighted RR，加权轮询
3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
4、DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商
动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度
1、LC：least connections 适用于长连接应用Overhead=activeconns256+inactiveconns
2、WLC：Weighted LC，默认调度方法Overhead=(activeconns256+inactiveconns)/weight
3、SED：Shortest Expection Delay,初始连接高权重优先Overhead=(activeconns+1)*256/weight
4、NQ：Never Queue，第一轮均匀分配，后续SED
5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
6、LBLCR：LBLC with Replication，带复制功能的LBLC解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS
其中WLC为lvs的默认算法
四、NAT模式工作原理
其本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
特点：
（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统
数据流向图：
LVS的nat工作模式其实就是DNAT,只不过是多了调度的功能
在配置LVS的nat模式时需要注意，VIP和DIP不在同一网段，且需要两个网卡
五、DR工作模式（直路由）
1、DR模型原理：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变。
为确保前端路由器将目标IP为VIP的请求报文发往Director，有一下几种方法：
1）在前端网关做静态绑定VIP和Director的MAC地址（缺点很明显，绑死的mac，当VS服务器宕机，无法实现自动的切换）
2）在RS上使用arptables工具
- arptables -A IN -d $VIP -j DROP
- arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP #通过mangle表替换来ARP想用
3）在RS上修改内核参数以限制arp通告及应答级别（这种我们使用的最多）
arp_announce：定义了网卡在向外宣告自己的MAC-IP时候的限制级别，有三个值：
0：默认值，不管哪块网卡接收到了ARP请求，只要发现本机有这个MAC都给与响应
1：尽量避免响应ARP请求中MAC不是本网卡的，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就尽量避免响应
2：总是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就一定不响应，只有发现请求的MAC是自己的才给与响应
arp_ignore：定义了网卡在响应外部ARP请求时候的响应级别，这里有8个值，但我们只使用了2个
0：默认值，不管哪块网卡接收到了ARP请求，只要发现本机有这个MAC都给与响应
1：总是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就一定不响应，只有发现请求的MAC是自己的才给与响应
在RealServers上，VIP配置在本地回环接口lo上。如果回应给Client的数据包路由到了eth0接口上，则arp通告或请应该通过eth0实现，因此，需要在sysctl.conf文件中定义如下配置：
- vim /etc/sysctl.conf
- net.ipv4.conf.lo.arp_ignore = 1
- net.ipv4.conf.lo.arp_announce = 2
- net.ipv4.conf.all.arp_ignore = 1
- net.ipv4.conf.all.arp_announce = 2
4) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
5) RS和Director要在同一个物理网络
6) 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
7) 不支持端口映射（端口不能修败）
8) RS可使用大多数OS系统
2、数据流向图
如果是内网做的DR，那么RIP的gateway配置最好还是用来时的gateway，因为从私网出访问公网必然使用NAT，所以如果出口的GATEWAY如果不一样，很有可能公网地址就不一样，当然不同的环境配置还是有差别的，这里只做参考。
六、tun工作模式
1、TUN的工作原理：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）
1) DIP, VIP, RIP都应该是公网地址
2) RS的网关不能，也不可能指向DIP
3) 请求报文要经由Director，但响应不能经由Director
4) 不支持端口映射
5) RS的OS须支持隧道功能
2、数据流转图
