- 今天登陆本地跳板机显示所有服务器列表时发现,跳板机所在物理机上的虚拟机显示的ip是192.168.110.31这样的网段,而其他机器都是10.10.10.64网段。
- 于是在web端跳板机页面修改一个机器的ip。然后登陆,失败了!于是推送系统用户试试,失败!
- 在反复尝试跳板机各种配置之后,依然无果!
- 登陆到其他物理机后,使用192.168.110.31对应的10网段地址,ssh可以连接上去。在其他虚拟机里也可以连接192.168.110.31对应的10网段地址.
5.最后基本确定只有该物理机自己无法ssh到其上的虚拟机(使用10网段不行,但是使用192网段可以——这个是虚拟网桥)。 - 检查了下防火墙和路由,认为是路由少加了一条。于是使用 route -v 和 ip route show|column -t 对比可以访问的机器和不可以访问的机器的路由区别。
然后,执行下面的命令:
ip route add default via 192.168.121.1 dev virbr1
结果悲剧了,该物理机卡主不动了。
7.由于该物理机是跳板机,现在所有公网连接都进不去了。去到隔壁办公室,打算使用局域网连接到任意一台主机,结果笔记本搬过去后,连不上任何内网机器。再不行就得赶紧去机房了。。。感觉要完了。。
8.赶紧找了同学里一直做网络这块的讨论了下,确定下一步怎么办。好的方案也无非是想办法直连的10网段,登录任何一个主机即可。
9.尝试了ssh隧道转发的内网nginx的各种服务,都可以访问。就是ssh访问不了。我都打算入侵nginx或者php项目了。
10.反正是折腾了很久。随口问了一句项目组长,人家说我刚才还用了隔壁办公室的wifi登录了本地大数据机器呢。
11.我赶紧让人家连接上去我看看。果然登录上去了,然后再ssh到问题主机,也可以。这我就纳闷了我之前去隔壁办公室时咋连不上呢?确认可能后,再次去隔壁办公室试试,还是连不上啊?检查wifi连接,连接的还是原来办公室的!赶紧切换wifi,再次连接。天哪,可以连接到一个主机了。然后ssh连接问题主机,ip route del删除有问题的路由。
12.世界一下子清净了。之前路由出问题时,也发现在问题主机上的ssh端口转发的进程全都挂了。再次运行起来,OK,可以公网访问本地跳板机的命令行和web端了。还有协同办公程序。
13.尘埃落定后,继续探讨现在该加哪个路由才可以解决之前的问题?
14.结果和同学一起qq分享屏幕检查了近一小时,无法发现路由上的明显问题。最后发现真正的事实是所有物理机都无法使用10网段访问自己上面的虚拟机,只能使用192网段(虚拟网桥),但是所有物理机都可以访问其他物理机上10网段的虚拟机。
15.到了这一步,我们松了一口气,这样就是系统性问题了,不是个别问题。到此就知道现在不是比较什么区别能解决的问题了。得去好好研究资料了。至此,该问题折腾了近一天,我先暂时添加自己的sshcong:
Host 110.*
Hostname 192.168.%h
Host vm* pan dev mex* 110.* 10.*
ProxyCommand ssh root@localjumpssh -W %h:%p
这样可以使用别名快速登录192网段的虚拟机了(我的本意当然是使用10网段登录,但是现在跳板机无法使用10网段访问自己物理机上的虚拟机嘛)。
16.目前使用没有问题。只是这个问题暂时就这样无解了。只有对kvm网络配置了解地更深入,我们才可能姐姐解决这个问题。
综述,问题为:所有物理服务器均无法使用10网段(非虚拟网桥)访问在该物理机上使用kvm创建的虚拟机(有10网段ip和192网段ip,192网段是虚拟网桥),但是可以使用192网段访问。同时这些物理机可以使用10网段访问其他物理机上的kvm虚拟机。10网段是办公室局域网段。
此中尝试过的命令包括:route -v, route -n,ip addr,ip route show|column -t,ip route add,ip route del,traceroute,ping,ssh,arp -a,arp -s ip mac(添加时会报无法路由的错误)。
arp中看到的本物理机上的虚拟机地址都是192网段,没有10网段的。hosts文件中也是这样。