容器跨主机通讯，了解到的两种方式
1、etcd+flannel方式
2、手动添加路由方式（没实现），能不用插件的肯定想不用插件解决，但是实际上还是第一种方法给解决了问题，如果有那个高手把第二个解决了请@下我，感谢！
第一种方式：
主机1 192.168.6.194
主机2 192.168.6.195
1、安装etcd（下载不了看最下面云盘）
主机1执行，安装单节点etcd
#etcd下载地址https://github.com/etcd-io/etcd
wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz
tar -zxvf etcd-v3.3.9-linux-amd64.tar.gz && cp ./etcd-v3.3.9-linux-amd64/etcd* /usr/bin/
#启动etcd；没有问题后加入到开机启动，可以使用nohup 命令 &
etcd -name etcd-node -data-dir /var/lib/etcd --advertise-client-urls http://192.168.6.194:2379,http://127.0.0.1:2379 --listen-client-urls http://192.168.6.194:2379,http://127.0.0.1:2379
etcd参数
-name名字
--advertise-client-urls集群通讯地址
--listen-client-urls客户端连接地址(因为部署的单节点，所以只写了本机ip和127)
检查etcd数据库命令：第一个查看节点，第二个查看健康状态
etcdctl --endpoints http://127.0.0.1:2379 member list
etcdctl -C http://127.0.0.1:2379 cluster-health
#配置flannel网段
etcdctl set /coreos.com/network/config '{"Network": "10.10.0.0/16", "SubnetLen": 24, "SubnetMin": "10.10.100.0","SubnetMax": "10.10.200.0", "Backend": {"Type": "vxlan"}}'
Network是flannel地址池；
SubnetLen分配的子网长度；
SubnetMin分配给docker0最小的网段范围；
SubnetMax分配给docker0最大的网段范围-上面例子可以分配给docker0的网段从10.10.100.0-10.10.200.0 100个网段也表示100个主机可选；
Backend用于指定数据包以什么方式转发，默认为udp模式，host-gw模式性能最好，但不能跨宿主机网络
查看命令 etcdctl get /coreos.com/network/config
2、安装flannel
主机1和2 都要执行 #flannel安装&运行
wget http://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
tar -zxvf flannel-v0.11.0-linux-amd64.tar.gz
cp mk-docker-opts.sh /usr/bin/
cp flanneld /usr/bin/
#启动flannel-注意修改iface这个参数是本机ip接口(启动之后ifconfig就能看到flannel网络了)创建docker配置参数mk-docker-opts.sh；--完成后加入到开机启动包含创建docker参数命令，或者把配置文件从run中移走！
主机1
/usr/bin/flanneld --etcd-endpoints="http://192.168.6.194:2379" --iface=192.168.6.194 --etcd-prefix=/coreos.com/network &
sleep 3
mk-docker-opts.sh
主机2
/usr/bin/flanneld --etcd-endpoints="http://192.168.6.194:2379" --iface=192.168.6.195 --etcd-prefix=/coreos.com/network &
sleep 3
mk-docker-opts.sh
#完成以上两个步骤后可以看到生成的配置文件
cat /run/flannel/subnet.env
cat /run/docker_opts.env
3、修改docker启动参数(所有主机)，把生成的配置文件加载到docker启动中：
#vim /usr/lib/systemd/system/docker.service
#[Service]#这个块里修改
#新增本行，指定docker配置参数EnvironmentFile=/run/docker_opts.env
sed -i "/Type=notify/a\EnvironmentFile=/run/docker_opts.env" /usr/lib/systemd/system/docker.service
#这一行加入$DOCKER_OPTS这个参数
ExecStart=/usr/bin/dockerd $DOCKER_OPTS -H fd:// --containerd=/run/containerd/containerd.sock
#重新加载配置文件，启动docker；这个时候docker0网络已经改变成指定的网段了，可以用ifconfig查看下，用route -n可以查看路由
systemctl daemon-reload
systemctl restart docker
4、测试连通性
我在两个docker中都跑了一个nginx容器ip分别为10.10.176.2 10.10.110.2；
下图可以看到，在194主机上的nginx容器连接195主机下nginx容器的ip和80端口都是没问题的
etcd和flannel安装包
链接：https://pan.baidu.com/s/1vtIika_fOIuZMTYim1BrYw
提取码：1111
第二种方式没有实现：以下是我的配置和操作，包括后面也添加过iptables的nat，能ping通，但是不是实际的容器地址；
1、因为docker默认分配都是172.17.0.0网段，所以需要修改docker的网络
2、单独使用docker部署服务，没有k8s和rancher会面临的问题，没有网络插件，容器跨主机通信需要手动添加路由
环境：
物理机1: 192.168.5.19
docker: 10.10.100.1/24
物理机2: 192.168.5.20
docker: 10.10.101.1/24
1、修改docker网络
1、直接修改docker0网络 ：修改 /etc/docker/daemon.json下的文件（没有，则创建此文件--需要写在第一行）
vim /etc/docker/daemon.json
{
"bip": "10.10.100.1/24"
}
20主机修改为101网段--重启docker
systemctl restart docker
2、第二种方法 修改 /etc/default/docker 文件，添加 DOCKER_OPTS 参数即可
vim /etc/default/docker
DOCKER_OPTS="--bip 10.10.100.1/24"
可能会不生效：参考https://blog.csdn.net/skh2015java/article/details/82466485
2、添加路由 --5.19和20两个主机上添加到对方网段的路由
19主机：
route add -net 10.10.101.0/24 gw 192.168.5.20
echo "route add -net 10.10.101.0/24 gw 192.168.5.19">>/etc/rc.local
20主机：
route add -net 10.10.100.0/24 gw 192.168.5.19
echo "route add -net 10.10.100.0/24 gw 192.168.5.19">>/etc/rc.local
