常见问题:
1)描述一次网络请求的流程
2)HttpUrlConnection 和 okHttp 关系 (4.4 以后 HttpUrlConnection内部采用 okHttp)
3)Android代码中实现WAP方式联网
https://blog.csdn.net/asce1885/article/details/7844159
4)服务器只提供数据接收接口,在多线程或多进程条件下,如何保证数据的有序到达?
5)网络框架对比和源码分析。
6)Https请求慢的解决办法
现在下载速度很慢,试从网络协议的角度分析原因,并优化(提示:网络的5层都可以涉及)。
7)自己去设计网络请求框架,怎么做?
8)okHttp源码。网络请求缓存处理,okHttp如何处理网络缓存的。CacheInterceptor
一. UDP和TCP简介
1.1 UDP的特点
- 面向非连接
- 不维护连接状态,支持同时向多个客户端传输相同的消息
- 数据包报头只有8个字节,额外开销较小
- 吞吐量只受限于数据生成速率、传输速率以及机器性能
- 尽最大努力交付,不保证可靠交付,不需要维持复杂的链接状态表
- 面向报文,不对应用程序提交的报文信息进行拆分或者合并
1.2 TCP和UDP的区别
- 面向连接 vs 无连接
- 可靠性
- 有序性
- 速度
- 量级
1.3 TCP的滑动窗口
调整读写缓冲区的大小。
过程动画展示:
https://v.youku.com/v_show/id_XNDg1NDUyMDUy.html
TCP使用滑动窗口做流量控制与乱序重排
- 保证TCP的可靠性
-
保证TCP的流量控制特性
连接两端各有发送窗口与接收窗口。
窗口数据的计算过程
接收端大小:AdvertisedWindow = MaxRcvBuffer - (LastByteRcvd - LaskByteRead)
客户端发送大小为:LastByteSent - LastByteAcked
有效窗口大小:EffectiveWindow = AdvertisedWindow - (LastByteSent - LastByteAcked)
二. TCP 三次握手与四次挥手
2.1 TCP Flags解读
URG:紧急指针标志
ACK:确认序号标志
SYN:同步序号,用于建立连接过程
PSH:push标志
RST:重置连接标志
FIN:finish标志,用于释放连接
2.2 三次握手
第一次,client 端发送SYN包到服务器并进入SYN_SEND状态,等待服务器确认。SYN = 1, seq = x。
第二次是服务器收到SYN包,必须确认客户端的SYN(ack = x+1),同时自己也发送一个SYN包,即SYN+ACK包,服务器进入SYN_RECV状态。server端, SYN =1, ACK=1, seq=y, ack =x + 1
第三次是client端, 客户端收到ACK+SYN包,想服务器发送确认包ACK。ACK=1, seq=x+1, ack=y+1。 客户端和服务器端进入ESTABLISHED 状态,完成三次握手。
为什么需要三次握手才能建立起连接呢?
答:为了初始化 Sequence Number 的初始值。
首次握手的隐患——SYN超时
- Server收到Client的SYN,回复SYN-ACK的时候未收到ACK确认
- Server不断重试直至超时,Linux默认等待63秒才断开连接
针对SYN Flood的防护措施 - SYN队列满后,通过tcp_syncookies参数回发SYN Cookie
- 若为正常连接则Client会回发SYN Cookie,直接建立连接
建立连接后,Client出现故障怎么办
保活机制
- 向对方发送保活探测报文,如果未收到响应则继续发送
- 尝试次数达到保活探测数仍未收到响应则中断连接
2.3 TCP的四次挥手
TCP连接必须经过事件 2MSL 后才真正释放掉。
“挥手”是为了终止连接。
第一次挥手:Client发送一个FIN,用来关闭Client 到Server的数据传送,Client进入 FIN_WAIT_1状态。
第二次挥手:Server收到FIN后,发送一个ACK给Client,确认序号为收到序号+1(与SYN相同,一个FIN占用一个序号),Server进入 CLOSE_WAIT状态;Client进入 FIN_WAIT_2。
第三次挥手:Server发送一个FIN,用来关闭Server到Client的数据传送,Server进入 LAST_ACK状态;
第四次挥手:Client 收到FIN后,Client 进入 TIME_WAIT 状态,接着发送一个 ACK 给 Server,确认序号为收到序号+1,Server进入CLOSED状态,完成四次挥手。
为什么会有TIME_WAIT状态?
- 确保有足够的事件让对方收到ACK包
- 避免新旧连接混淆
为什么需要四次握手才能断开连接?
因为全双工,发送方和接收方都需要FIN报文和ACK报文。
服务器出现大量CLOSE_WAIT状态的原因
对方关闭socket连接,我方忙于读或写,没有及时关闭连接
- 检查代码,特别是释放资源的代码
- 检查配置,特别是处理请求的线程配置
三. 一次网络请求的过程
我们来表述一个浏览器发出HTTP请求的过程:
首先,我们在浏览器输入了URL(例 :www.baidu.com),按下回车,开始我们的HTTP请求
3.1 通过URL找IP
首先我们的浏览器是不认识baidu.com这个域名的,(注意:是baidu.com,不是www.baidu.com。 因为www是服务器的名字,而baidu.com是域名,相当于这个服务器的地址,com是公司的意义,baidu是公司名,www是公司的一个服务器名称),要将这个服务器的IP地址找到。
如何去找IP地址呢,首先先是本地的缓存,一般是以Hosts文件的形式存在,维持着一个带域名的服务器地址对IP的对应关系,路由器缓存(也算是DNS服务器缓存)
如果没有结果,则会向上层DNS服务器询问,上层DNS服务器的本地缓存中如果没有该记录,则再向上层询问,一直到DNS根服务器。
在根域名服务器中虽然没有每个域名的具体信息,但储存了负责每个域(如COM、NET、ORG等)的解析的域名服务器的地址信息。根域名服务器会将其管辖范围内顶级域名(如.com)服务器IP告诉本地DNS服务器,这样你的域名查询请求会进入到相应的顶级域名服务器。顶级域名服务器收到请求后查看区域文件记录,若找到则将其管辖范围内主域名(不带任何前缀的域名,如 baidu.com)服务器的IP地址告诉本地DNS服务器。如果还是没有找到,则进入到下一级域名服务器进行查找。如此重复,直到找到正确的结果为止,返回 IP地址结果给本地DNS服务器。
本地DNS服务器缓存结果,设置(Time-To-Live)即一条域名解析记录在DNS服务器上缓存时间,关于TTL如果IP经常改变,那么TTL设的短一点长一点都没有太大的 影响,而如果IP经常不变,可以把TTL时间拉长,这样有利于提高命中率。
3.2 对IP结果建立TCP连接
自己主机IP端口的对目标IP的端口(例:http://www.baidu.com http协议所占用的TCP端口为80端口)三次握手建立TCP连接。
3.3 向服务器发送数据
浏览器将网络请求封装成HTTP报文,把HTTP报文通过TCP的分包,分成一个个TCP数据包。
IP层把上层传输层数据包打包成IP层数据包,并把该数据包发送到更低层数据链路层,相反,IP层也把从低层接收来的数据包传送到更高层TCP或UDP层。(补:IP数据包是不可靠的,因为IP并没有做任何事情来确认数据包是否按顺序发送的或者有没有被破坏,IP数据包中含有发送它的主机的地址(源地址)和接收它的主机的地址(目的地址))
通过这套封装包过程,发送到服务器端,服务器端则是一个拆包的过程,IP层是不可靠的,所以没有确认的机制,而在上层的TCP层则会对数据包的可靠性进行验证,丢失则会重传数据。保证传输的可靠性。服务器最终解包会拼接成一个完整的HTTP报文,完成整个数据的发送。
3.4 服务器解析,并返回
对HTTP报文进行解析,根据HTTP报文决定它请求了什么。将处理的结果组装成响应报文(如www.baidu.com , 请求报文为GET,要获取的是缺省值默认的index.html这个主页,则返回网页的源码,将网页源码添加到响应报文正文中),其中比较关键的是状态码(200OK表示成功没毛病),然后将响应报文,通过之前的过程返还给咱们的主机IP。
3.5 总结过程
- DNS解析
- TCP连接
- 发送HTTP请求
- 服务器处理请求并返回HTTP报文
- 浏览器解析渲染页面
- 连接结束
四. HTTP
4.1 简介
- 支持客户/服务器模式
- 简单快速
- 灵活
- 无连接
- 无状态
4.2 请求和响应报文
4.3 请求/响应的步骤
- 客户端连接到Web服务器
- 发送HTTP请求
- 服务器端接收请求并返回HTTP响应
- 释放TCP连接
- 客户端浏览器解析HTML内容
4.4 HTTP状态码
- 1xx:指示消息——表示请求已接收,继续处理
- 2xx:成功——表示请求已被成功接收、理解、接收
- 3xx:重定向——要完成请求必须进行更进一步的操作
- 4xx:客户端错误——请求有语法错误或请求无法实现
- 5xx:服务器端错误——服务器未能实现合法的请求
4.5 GET和POST区别
- HTTP报文层面:GET将请求信息放在URL,POST放在报文体中
- 数据库层面:GET符合幂等性和安全性,POST不符合
- 其他层面:GET可以被缓存、被存储,而POST不行
4.6 Cookie和Session的区别
Cookie的设置以及发送过程
Web Client 1)HTTP Request 向 Web Server
2)HTTP Response + Set-Cookie 回
3)HTTP Request + Cookie 向
4)HTTP Response 回
Session简介
- 服务器端的机制,在服务器上保存的信息
- 解析客户端请求并操作session id,按需保存状态信息
可是使用Cookie实现。
Cookie和Session 的区别
- Cookie数据存放在客户的浏览器上,Session数据放在服务器上
- Session相对于Cookie更安全
- 若考虑减轻服务器负担,应当使用Cookie
五. Android常见网络框架对比
六. Https请求慢的解决办法
DNS,携带数据,直接访问IP
七. HTTP和HTTPS
HTTP、TCP、IP
HTTP、SSL/TLS、TCP、IP 后者比前者多了一层即 SSL/TLS
加密方式
- 对称加密:加密和解密用的是同一个密钥
- 非对称加密:加密使用的密钥和解密使用的密钥是不相同的
- 哈希算法:将任意长度的信息转换为固定长度的值,算法不可逆
- 数字签名:证明某个消息或者文件是某人发出/认同的
区别
- HTTPS需要到CA申请证书,HTTP不需要
- HTTPS密文传输,HTTP明文传输
- 连接方式不同,HTTPS默认使用443端口,HTTP使用80端口
- HTTPS=HTTP+加密+认证+完整性保护,较HTTP安全
SSL(Security Sockets Layer,安全套接层)
- 为网络通信提供安全及数据完整性的一种安全协议
- 是操作系统对外的API,SSL3.0后更名为TLS
- 采用身份认证和数据加密保证网络通信的安全和数据的完整性
HTTPS数据传输流程
- 浏览器将支持的加密算法信息发送给服务器
- 服务器选择一套浏览器支持的加密算法,以证书的形式回发浏览器
- 浏览器验证证书的合法性,并结合证书公钥加密信息发送给服务器
- 服务器使用私钥解密信息,验证哈希,加密响应信息回发浏览器
- 浏览器解密响应信息,并对消息进行验证,之后进行加密交互数据
HTTPS够安全吗?
浏览器默认填充htpp://,请求需要进行跳转,有被劫持的风险
可以使用HSTS(HTTP Strict Transport Security)优化
八. Socket
Socket是对TCP/IP 协议的抽象,是操作系统对外开放的接口
8.1 Socket通信流程
8.2 UDP Demo
UDP Server
public class UDPServer {
public static void main(String[] args) throws Exception {
// 服务端接受客户端发送的数据报
DatagramSocket socket = new DatagramSocket(65001); // 监听的端口号
byte[] buff = new byte[100];// 存储从客户端接收到的内容
DatagramPacket packet = new DatagramPacket(buff, buff.length);
//接收客户端发送来的内容,并将内容封装进DatagramPacket对象中
socket.receive(packet);
byte[] data = packet.getData(); // 从DatagramPacket对象中获取到真正存储的数据
// 将数据从二进制转换成字符串形式
String content = new String(data, 0, packet.getLength());
System.out.println(content);
// 将要发送给库护短的数据转换成二进制
byte[] sendedContent = String.valueOf(content.length()).getBytes();
// 服务端给客户端发送数据报
// 从DatagramPacket兑现中获取到数据的来源地址与端口号
DatagramPacket packetToClient = new DatagramPacket(sendedContent, sendedContent.length, packet.getAddress(), packet.getPort());
socket.send(packetToClient); // 发送数据给客户端
}
}
UDPClient
public class UDPClient {
public static void main(String[] args) throws Exception {
// 客户端发数据报给服务端
DatagramSocket socket = new DatagramSocket();
// 要发送给服务端的数据
byte[] buf = "Hellow world".getBytes();
// 将IP地址封装成InetAddress对象
InetAddress address = InetAddress.getByName("127.0.0.1");
// 将要发送给服务端的数据封装成DatagramPacket对象 需要天蝎上ip地址与端口号
DatagramPacket packet = new DatagramPacket(buf, buf.length, address, 65001);
// 发送数据给服务端
socket.send(packet);
// 客户端接收服务端发送过来的数据
byte[] data = new byte[100];
// 创建DatagramPacket对象用来存储服务端发送过来的数据
DatagramPacket receivedPacket = new DatagramPacket(data, data.length);
// 将接收到的数据存储到DatagramPacket对象中
socket.receive(receivedPacket);
// 将服务器发送过来的数据取出来并打印到控制台
String content = new String(receivedPacket.getData(), 0, receivedPacket.getLength());
System.out.println(content);
}
}
8.3 TCP Demo
TCP server
public class TCPServer {
public static void main(String[] args) throws Exception {
// 创建Socket,并将socket绑定到65000端口
ServerSocket ss = new ServerSocket(65000);
// 死循环,使得socket一直等待并处理客户端发送过来的请求
while (true) {
// 监听65000端口,直到客户端返回连接信息后才返回
Socket socket = ss.accept();
// 获取客户端的请求信息后,执行相关业务逻辑
new LengthCalculator(socket).start();
}
}
}
public class LengthCalculator extends Thread {
private Socket socket;
public LengthCalculator(Socket socket) {
this.socket = socket;
}
@Override
public void run() {
try {
// 获取socket的输出流
OutputStream os = socket.getOutputStream();
// 获取socket的输入流
InputStream is = socket.getInputStream();
int ch = 0;
byte[] buff = new byte[1024];
// buff主要用来读取输入的内容,存成byte数组,ch主要用来获取读取数组的额大小
ch = is.read(buff);
// 将接收流的byte数组转换成字符串,这里获取的内容是客户端发送过来的字符
String content = new String(buff, 0, ch);
System.out.println(content);
// 往输出流里写入获得的字符串的长度,回发给客户端
os.write(String.valueOf(content.length()).getBytes());
// 不要忘记关闭输入输出流以及socket
is.close();
os.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
TCP client
public class TCPClient {
public static void main(String[] args) throws Exception {
// 创建Socket,并指定连接的是本机的端口号65000的服务端socket
Socket socket = new Socket("127.0.0.1", 65000);
// 获取输出流
OutputStream os = socket.getOutputStream();
// 获取输入流
InputStream is = socket.getInputStream();
// 将要传递给server的字符串参数转换成byte数组,并数组写入到输出流中
os.write(new String("helloworld").getBytes());
int ch = 0;
byte[] buff = new byte[1024];
// buff主要用来读取输入的内容,存成byte数组,ch主要用来获取读取数组的长度
ch = is.read(buff);
// 将接收流的byte数组转换成字符串,这里是从服务端回发回来的字符串参数的长度
String content = new String(buff, 0, ch);
System.out.println(content);
// 不要忘记关闭输入输出流以及socket
is.close();
os.close();
socket.close();
}
}