集群及LVS简介 、 LVS-NAT集群 、 LVS-DR集群

案例

链接

ipvsadm命令用法

1.1 问题

准备一台Linux服务器,安装ipvsadm软件包,练习使用ipvsadm命令,实现如下功能:

  • 使用命令添加基于TCP一些的集群服务
  • 在集群中添加若干台后端真实服务器
  • 实现同一客户端访问,调度器分配固定服务器
  • 会使用ipvsadm实现规则的增、删、改
  • 保存ipvsadm规则

1.2 方案

安装ipvsadm软件包,关于ipvsadm的用法可以参考man ipvsadm资料。

常用ipvsadm命令语法格式如表-1及表-2所示。

表-1 ipvsadm命令选项

image

表-2 ipvsadm语法案例

image

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一:使用命令增、删、改LVS集群规则

1)创建LVS虚拟集群服务器(算法为加权轮询:wrr)

[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 wrr

2)为集群添加若干real server

[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 wrr
-> 192.168.2.100:80             router    1      0          0
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4

3)修改集群服务器设置(修改调度器算法,将加权轮询修改为轮询)

[root@proxy ~]# ipvsadm -E -t 192.168.4.5:80 -s rr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 rr
-> 192.168.2.100:80             router    1      0          0         
-> 192.168.2.200:80             masq      2      0          0         
-> 192.168.2.201:80             masq      2      0          0         
-> 192.168.2.202:80             masq      1      0          0

4)修改read server(使用-g选项,将模式改为DR模式)

[root@proxy ~]# ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g

5)查看LVS状态

[root@proxy ~]# ipvsadm -Ln

6)创建另一个集群(算法为最少连接算法;使用-m选项,设置工作模式为NAT模式)

[root@proxy ~]# ipvsadm -A -t 192.168.4.5:3306 -s lc
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m

7)永久保存所有规则(非必须的操作)

[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

注意:永久规则需要确保ipvsadm服务为开机启动服务才可以。

(systemctl enable ipvsadm)。

8)清空所有规则

[root@proxy ~]# ipvsadm -C

部署LVS-NAT集群

2.1 问题

使用LVS实现NAT模式的集群调度服务器,为用户提供Web服务:

  • 集群对外公网IP地址为192.168.4.5
  • 调度器内网IP地址为192.168.2.5
  • 真实Web服务器地址分别为192.168.2.100、192.168.2.200
  • 使用加权轮询调度算法,真实服务器权重任意

2.2 方案

实验拓扑结构主机配置细节如表-3所示,注意下面的网卡名称仅为参考,不能照抄。

表-3

image

使用4台虚拟机,1台作为Director调度器、2台作为Real Server、1台客户端,拓扑结构如图-1所示,注意:web1和web2必须配置网关地址。

image

图-1

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一:配置基础环境

1)设置Web服务器

[root@web1 ~]# yum -y install httpd        #安装软件
[root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html    #创建网页文件
[root@web1 ~]# firewall-cmd --set-default-zone=trusted            #设置防火墙
[root@web1 ~]# setenforce  0
[root@web1 ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config  

[root@web2 ~]# yum -y install httpd        #安装软件
[root@web2 ~]# echo "192.168.2.200" > /var/www/html/index.html    #创建网页文件
[root@web2 ~]# firewall-cmd --set-default-zone=trusted            #设置防火墙
[root@web2 ~]# setenforce  0
[root@web2 ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config

2)启动Web服务器软件

[root@web1 ~]# systemctl restart httpd
[root@web2 ~]# systemctl restart httpd

如何验证?

完成后可以使用proxy主机测试下是否可以访问web1和web2

[root@proxy ~]# curl http://192.168.2.100
[root@proxy ~]# curl http://192.168.2.200

3)配置网关,将web1和web2的网关设置为192.168.2.5(不能照抄网卡名称)

如果有4网段的IP,则临时将该网卡关闭nmcli con down 网卡名称

[root@web1 ~]# nmcli connection modify eth1 \
ipv4.method manual ipv4.gateway 192.168.2.5
#备注:网卡名称不能照抄,需要自己查看下2.100的网卡名称
[root@web1 ~]# nmcli connection up eth1
[root@web1 ~]# ip route show                #查看默认网关
default via 192.168.2.5 dev eth1          #提示:这里default后面的IP就是默认网关
#英语词汇:default(默认,预设值)
… …
[root@web2 ~]# nmcli connection modify eth1 \
ipv4.method manual ipv4.gateway 192.168.2.5
#备注:网卡名称不能照抄,需要自己查看下2.200的网卡名称
[root@web2 ~]# nmcli connection up eth1
[root@web2 ~]# ip route show        #查看默认网关,default后面的IP就是默认网关

为什么需要配置网关?

实验拓扑如图-2所示。

image

图-2

为了方便下面所有的IP都采用简写,如4.10代表192.168.4.10,2.100代表192.168.2.100。

英语词汇:source(src)代表源地址,destination(dest或dst)代表目标地址。

LVS采用的是路由器的NAT通讯原理!通讯流程如下:

1.客户端发送请求数据包(src:4.10,dst:4.5)

2.数据包被发送给LVS调度器,调度器做NAT地址转换(外网转内网,内网转外网)

a)数据包被修改为src:4.10,dst:2.100(dst也有可能被修改为2.200,随机的)

b)LVS调度器把数据包转发给后端真正的web服务器(2.100)

3.web1收到数据包开始回应数据(rsc:2.100,dst:4.10)

备注:谁访问就给谁回复数据,因为src是4.10,所以应该给4.10回应数据!

但是,自己是2.100,对方是4.10,跨网段默认无法通讯,如何解决???

Web1和web2都需要设置默认网关(也就是192.168.2.5)

4)web1想发送数据给4.10但是又无法与其通讯,所以数据包被交给默认网关

5)LVS调度器(软路由)收到后端web发送过来的数据后,再次做NAT地址转换

a)数据包被修改为src:4.5,dst:4.10

b)LVS调度器把数据包转发给客户端主机

6)客户端接收网页数据内容

注意:客户端访问的是4.5,最后是4.5给客户端回复的网页数据!!!!

步骤二:部署LVS-NAT模式调度器

1)确认调度器的路由转发功能(如果已经开启,可以忽略)

[root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward     #开启路由转发,临时有效
[root@proxy ~]# cat /proc/sys/net/ipv4/ip_forward          #查看效果
1
[root@proxy ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
#修改配置文件,设置永久规则,英语词汇:forward(转寄,转发,发送,向前)

2)创建集群服务器

[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
# -A(add)是创建添加虚拟服务器集群
# -t(tcp)后面指定集群VIP的地址和端口,协议是tcp协议
# -s后面指定调度算法,如rr(轮询)、wrr(加权轮询)、lc(最少连接)、wlc(加权最少连接)等等

3)添加真实服务器

[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m
#-a(add)往虚拟服务器集群中添加后端真实服务器IP,指定往-t 192.168.4.5:80这个集群中添加
#-r(real)后面跟后端真实服务器的IP和端口,这里不写端口默认是80端口
#-w(weight)指定服务器的权重,权重越大被访问的次数越多,英语词汇:weight(重量,分量)
#-m指定集群工作模式为NAT模式,如果是-g则代表使用DR模式,-i代表TUN模式

4)查看规则列表(L是list查看,n是number数字格式显示)

[root@proxy ~]# ipvsadm -Ln

5)设置防火墙,SELinux

[root@proxy ~]# firewall-cmd --set-default-zone=trusted
[root@proxy ~]# setenforce  0
[root@proxy ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config

步骤三:客户端测试

客户端client主机使用curl命令反复连接http://192.168.4.5,查看访问的页面是否会轮询到不同的后端真实服务器。

部署LVS-DR集群

3.1 问题

使用LVS实现DR模式的集群调度服务器,为用户提供Web服务:

  • 客户端IP地址为192.168.4.10
  • LVS调度器VIP地址为192.168.4.15
  • LVS调度器DIP地址设置为192.168.4.5
  • 真实Web服务器地址分别为192.168.4.100、192.168.4.200
  • 使用加权轮询调度算法,权重可以任意

说明:

CIP是客户端的IP地址;

VIP是对客户端提供服务的IP地址;

RIP是后端服务器的真实IP地址;

DIP是调度器与后端服务器通信的IP地址(VIP必须配置在虚拟接口)。

3.2 方案

使用4台虚拟机,1台作为客户端、1台作为Director调度器、2台作为Real Server,拓扑结构如图-3所示。实验拓扑结构主机配置细节如表-4所示。

image

图-3

表-4

image

为什么本实验中web1和web2要采用4网段IP?如图-4所示。

image

图-4

LVS NAT实验请求数据包从LVS调度器进,web的相应数据包也从LVS调度器出,那么LVS调度器就需要承载所有数据的压力,会成为整个集群的瓶颈!!

本实验LVS DR模式的核心需求是希望web1和web2可以不走调度器返回数据!

但是如图-4所示,如果web1和web2采用2.100和2.200这样2网段的IP,又不希望给4.10回复数据走LVS调度器(也就是不给web1和web2配置默认网关为2.5),最后是无法跨网段通讯的!!!

怎么办?核心需求是希望web1和web2可以直接返回数据给客户端!!!

想让web1和web2可以直接返回数据给客户端,可以给web1和web2配置4网段IP,如图-5所示。

image

图-5

这样就可以了吗?答案是否定的!!!网络中的基本原则是A访问B,必须是B返回数据给A,现在4.10访问4.5,最终4.100给4.10返回网页数据,所有数据包都会被丢弃!!!

那怎么办呢?地址欺骗!

image

图-6

如图-6所示,我们给web1和web2再额外添加一个伪装的IP地址,这个IP地址因为是用来做地址欺骗用的,假的就是假的,不能暴露(必须配置在lo本地回环网卡上面)。

lo网卡上面默认配置的IP是127.0.0.1。

如果你家里有非法的1000W,你会天天出去跟别人说你有1000W吗?

3.3 步骤

实现此案例需要按照如下步骤进行。

说明:

CIP是客户端的IP地址;

VIP是对客户端提供服务的IP地址(本案例为192.168.4.15);

VIP必须配置在虚拟接口(目的是防止地址冲突);

RIP是后端服务器的真实IP地址(本案例为192.168.4.100和192.168.4.200);

DIP是调度器与后端服务器通信的IP地址(本案例为192.168.4.5)。

步骤一:配置实验网络环境

1)设置Proxy服务器的VIP和DIP

注意:为了防止冲突,VIP必须要配置在网卡的虚拟接口,网卡名称不能照抄!!!

[root@proxy ~]# cd /etc/sysconfig/network-scripts/
[root@proxy ~]# cp ifcfg-eth0  ifcfg-eth0:0
[root@proxy ~]# vim ifcfg-eth0:0
TYPE=Ethernet
#网卡类型为:以太网卡
BOOTPROTO=none
#none手动配置IP,或者dhcp自动配置IP
NAME=eth0:0
#网卡名称
DEVICE=eth0:0
#设备名称
ONBOOT=yes
#开机时是否自动激活该网卡
IPADDR=192.168.4.15
#IP地址
PREFIX=24
#子网掩码
[root@proxy ~]# systemctl restart network        #重启网络服务
[root@proxy ~]# ip  a  s             #会看到一个网卡下面有两个IP地址

常见问题:RHEL7和Centos7系统中有两个管理网络的服务,有可能冲突?

解决方法: 关闭NetworkManager服务后重启network即可。

2)设置Web1服务器网络参数(不能照抄网卡名称)

[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth0

接下来给web1配置VIP地址。

注意:这里的子网掩码必须是32(也就是全255),网络地址与IP地址一样,广播地址与IP地址也一样。

[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 ~]# cp ifcfg-lo  ifcfg-lo:0
[root@web1 ~]# vim ifcfg-lo:0
DEVICE=lo:0
#设备名称
IPADDR=192.168.4.15
#IP地址
NETMASK=255.255.255.255
#子网掩码
NETWORK=192.168.4.15
#网络地址
BROADCAST=192.168.4.15
#广播地址
ONBOOT=yes
#开机是否激活本网卡
NAME=lo:0
#网卡名称

防止地址冲突的问题:

这里因为web1也配置与调度器一样的VIP地址,默认肯定会出现地址冲突;

sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包,只有调度器会响应,其他主机都不做任何响应,这样防止地址冲突的问题。

[root@web1 ~]# vim /etc/sysctl.conf
#文件末尾手动写入如下4行内容,英语词汇:ignore(忽略、忽视),announce(宣告、广播通知)
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时,本机忽略该ARP广播,不做任何回应(防止进站冲突)
#本机不要向外宣告自己的lo回环地址是192.168.4.15(防止出站冲突)
[root@web1 ~]# sysctl -p

重启网络服务

[root@web1 ~]# systemctl restart network        #重启网络服务
[root@web1 ~]# ip  a   s           #会看到一个网卡下面有两个IP地址

常见错误:如果重启网络后未正确配置lo:0,有可能是NetworkManager和network服务有冲突,关闭NetworkManager后重启network即可。(非必须的操作)

[root@web1 ~]# systemctl stop NetworkManager
[root@web1 ~]# systemctl restart network

3)设置Web2服务器网络参数(不能照抄网卡名称)

[root@web2 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.200/24 connection.autoconnect yes
[root@web2 ~]# nmcli connection up eth0

接下来给web2配置VIP地址

注意:这里的子网掩码必须是32(也就是全255),网络地址与IP地址一样,广播地址与IP地址也一样。

[root@web2 ~]# cd /etc/sysconfig/network-scripts/
[root@web2 ~]# cp ifcfg-lo  ifcfg-lo:0
[root@web2 ~]# vim ifcfg-lo:0
DEVICE=lo:0
#设备名称
IPADDR=192.168.4.15
#IP地址
NETMASK=255.255.255.255
#子网掩码
NETWORK=192.168.4.15
#网络地址
BROADCAST=192.168.4.15
#广播地址
ONBOOT=yes
#开机是否激活该网卡
NAME=lo:0
#网卡名称

防止地址冲突的问题:

这里因为web1也配置与调度器一样的VIP地址,默认肯定会出现地址冲突;

sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包,只有调度器会响应,其他主机都不做任何响应,这样防止地址冲突的问题。

[root@web2 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容,英语词汇:ignore(忽略、忽视),announce(宣告、广播通知)
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时,本机忽略该ARP广播,不做任何回应(防止进站冲突)
#本机不要向外宣告自己的lo回环地址是192.168.4.15(防止出站冲突)
[root@web2 ~]# sysctl -p

重启网络服务

[root@web2 ~]# systemctl restart network        #重启网络服务
[root@web2 ~]# ip a  s                 #会看到一个网卡下面有两个IP地址

常见错误:如果重启网络后未正确配置lo:0,有可能是NetworkManager和network服务有冲突,关闭NetworkManager后重启network即可。(非必须的操作)

[root@web1 ~]# systemctl stop NetworkManager
[root@web1 ~]# systemctl restart network

步骤二:proxy调度器安装软件并部署LVS-DR模式调度器

1)安装软件(如果已经安装,此步骤可以忽略)

[root@proxy ~]# yum -y install ipvsadm

2)清理之前实验的规则,创建新的集群服务器规则

[root@proxy ~]# ipvsadm -C                                #清空所有规则
[root@proxy ~]# ipvsadm -A -t 192.168.4.15:80 -s wrr
## -A(add)是创建添加虚拟服务器集群
# -t(tcp)后面指定集群VIP的地址和端口,协议是tcp协议
# -s后面指定调度算法,如rr(轮询)、wrr(加权轮询)、lc(最少连接)、wlc(加权最少连接)等等

3)添加真实服务器(-g参数设置LVS工作模式为DR模式,-w设置权重)

[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.100 -g -w 1
[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.200 -g -w 1
#-a(add)往虚拟服务器集群中添加后端真实服务器IP,指定往-t 192.168.4.15:80这个集群中添加
#-r(real)后面跟后端真实服务器的IP和端口,这里不写端口默认是80端口
#-w(weight)指定服务器的权重,权重越大被访问的次数越多,英语词汇:weight(重量,分量)
#-m指定集群工作模式为NAT模式,如果是-g则代表使用DR模式,-i代表TUN模式

4)查看规则列表(L代表list查看规则,n代表number数字格式显示)

[root@proxy ~]# ipvsadm -Ln
TCP  192.168.4.15:80 wrr
-> 192.168.4.100:80             Route   1      0          0         
-> 192.168.4.200:80             Route   1      0          0

步骤三:客户端测试

客户端使用curl命令反复连接http://192.168.4.15,查看访问的页面是否会轮询到不同的后端真实服务器。

注意:本实验不可以在proxy主机(LVS调度器)使用curl访问网页验证!!!

为什么?请思考图-7示意图。

image

图-7

扩展知识:默认LVS不带健康检查功能,需要自己手动编写动态检测脚本,实现该功能:(参考脚本如下,仅供参考)

[root@proxy ~]# vim check.sh
#!/bin/bash
VIP=192.168.4.15:80
RIP1=192.168.4.100
RIP2=192.168.4.200
while :
do
  for IP in $RIP1 $RIP2
  do
    curl -s http://$IP &>/dev/null
    if [ $? -eq 0 ];then
      ipvsadm -Ln | grep -q $IP || ipvsadm -a -t $VIP -r $IP
    else
      ipvsadm -Ln | grep -q $IP && ipvsadm -d -t $VIP -r $IP
    fi
  done
  sleep 1
done

附加思维导图,如图-7所示:

image
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,254评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,875评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,682评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,896评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,015评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,152评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,208评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,962评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,388评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,700评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,867评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,551评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,186评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,901评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,142评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,689评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,757评论 2 351

推荐阅读更多精彩内容