WPAD 的原理及实现

WPAD 通过让浏览器自动发现代理服务器,使代理服务器对用户来说是透明的,进而轻松访问互联网。WPAD 可以借助 DNS 服务器或 DHCP 服务器来查询代理自动配置(PAC)文件的位置。

0x01引言

代理服务器大多被用来连接INTERNET(国际互联网)和 INTRANET(企业内部网)。在多个局域网中需设置不同的代理服务器参数来使浏览器访问网络。在微软Internet Explorer(IE)5.0 以上版本中的功能中已经具备了自动切换代理服务器的功能。网络管理员需要事先部署代理服务器配置文件,然而用户方的设置却很简单。在这一功能中使用了被称为“WPAD”(Web Proxy Auto-Discovery protocol)的协议。

浏览器原本具有读入并解析代理服务器的配置文件,并将其配置信息设置到浏览器中的功能。配置文件是使用 Java Script 描述的,通常具有“.js”,“.jvs”,“.pac”(proxy auto-configuration)等扩展名的文件。

自动代理检测由系统确定,Web 代理服务器代表客户端发送请求。自动代理检测启用时,系统会尝试定位到代理发送请求后返回的代理配置文件位置。若查找到代理配置文件,那么在使用 Web 代理服务器实例得到代理信息、数据请求或响应信息时,在本地计算机上进行下载,编译并运行。

被部署的大多数配置文件的格式是Proxy auto-config(PAC)。最初,PAC 是由 Netscape 在 1996 年为 Netscape Navigator 2.0 设计的。WPAD 协议草案由 Inktomi、微软、RealNetworks、Sun Microsystems 几个公司共同提出。WPAD 可支持所有主流浏览器,首次存在于 Internet Explorer 5.0 中。

WPAD 对代理服务器的透明处理使得管理员不再需要去每台客户机上设置代理服务器参数了。自动检测受动态主机配置协议 (DHCP) 和域名系统 (DNS) 的支持,浏览器通过 DHCP 和 DNS 的查询来搜索 PAC 文件的位置。

0x02 Proxy Auto-Config(PAC)文件

在开始介绍 WPAD 原理之前,有必要首先对代理自动配置(PAC)文件有一个概念上的认识。代理自动配置(PAC)文件定义了浏览器和其他用户代理如何自动选择适当的代理服务器来访问一个 URL。要使用 PAC,我们应当在一个网页服务器上发布一个 PAC 文件,并且通过在浏览器的代理链接设置页面输入这个 PAC 文件的 URL 或者通过使用WPAD协议告知用户代理去使用这个文件。

一个 PAC 文件是一个至少定义了一个JavaScript函数的文本文件。该函数 FindProxyForURL(url, host)有 2 个参数:

url 是一个对象的 URL;

host 是一个由这个 URL 所衍生的主机名。

按照惯例,这个文件名字一般是 proxy.pac。WPAD标准使用 wpad.dat。一个非常简单的 PAC 文件内容如下:

1.   function FindProxyForURL(url,host) {

2.       if (url == 'http://www.baidu.com') return 'DIRECT';

3.       if (host == 'twitter.com') return 'SOCKS 127.0.0.10:7070';

4.       if (dnsResovle(host) == '10.0.0.1') return 'PROXY 127.0.0.1:8086;DIRECT';

5.       return 'DIRECT';

6.       }


0x03 WPAD 的原理


DHCP 的自动检测

通过 DHCP 服务器,管理员可以集中指定全局 TCP/IP 参数和子网特定的 TCP/IP 参数,并可使用保留地址定义客户端的参数。如果客户端计算机在子网之间发生了移动,则在启动该计算机时,会自动重新配置 TCP/IP。

通过 DHCP 服务器部署 WPAD 的原理如下。首先确保 DHCP 服务器有效,然后为每个包含客户的子网建立了作用域。DHCP 服务器中的 252 选项通常被当作查询或注册用的指针,我们可以通过 252 项发现打印机、时间服务器、WPAD 主机以及其他的网络服务器。在 DHCP 服务器中添加一个用于查找 WPAD 主机的 252 项,252 项是一个字符串值,内容是部署在 WPAD 主机上 PAC 文件的 URL。为适当的作用域配置 252 项,就算只有一个作用域。具体部署 DHCP 服务器的操作,请见参考文献:ISA 防火墙之利用 DHCP 部署 WPAD。

因此 DHCP 客户机便可获得 PAC 文件的 URL,当客户机需要对浏览器或防火墙客户端进行自动配置时,就可以下载该 PAC 文件并得到代理服务器的地址。

图一.DHCP的自动检测示意图


在上图示意中,用户访问 laptop01.us.division.company.com 时,web 浏览器发送 DHCP INFORM 包于 DHCP 服务器来请求配置文件的位置,DHCP ACK 为 DHCP 服务器返回的数据包,其中 252 选项即为代理自动配置文件的位置。DHCP 报文格式如下图:

图 2.DHCP 报文格式


OP:消息操作代码,既可以是引导请求(1=BOOTREQUEST)也可以是引导答复(2=BOOTREPLY);

Htype:硬件地址类别,ethernet 为 1;

Hlen:硬件地址长度,ethernet 为 6;

Hops:若数据包需经过 router 传送,每站加 1,若在同一网内,为 0;

Transaction ID:事务 ID,是个随机数,用于客户和服务器之间匹配请求和相应消息;

Seconds:由用户指定的时间,指开始地址获取和更新进行后的时间;

Flags:从 0-15bits,最左一 bit 为 1 时表示 server 将以广播方式传送封包给 client,其余尚未使用;

Ciaddr:用户 IP 地址;

Yiaddr:服务器分配给客户的 IP 地址;

Siaddr:用于 bootstrap 过程中的 IP 地址;(服务器的 IP 地址)

Giaddr:转发代理(网关)IP 地址;

Chaddr:客户机的硬件地址;

Sname:可选 server 的名称,以 0x00 结尾;

File:启动文件名;

Options:厂商标识,可选的参数字段。此参数是 WPAD 实现过程中的关键参数,即相关了 PAC 文件的 URL。

DNS 的自动检测

DNS 是 TCP/IP 网络上的一组协议和服务,通过 DNS,用户可以使用分层的用户友好名称(主机)代替数字 IP 地址来搜索其他计算机。

用 DNS 来实现 WPAD,原理如下:

WPAD 工作原理是客户机向 DNS 服务器发起 WPAD+X 的查询。DNS 返回提供 WPAD 主机 IP 地址,客户机通过该 IP 的 80 端口去 WPAD 主机下载 WPAD.DAT(浏览器配置用文件)和 WSPAD.DAT(防火墙配置用文件)两个文件以实现自动配置。

客户机向 DNS 发起的 WPAD 查询的后缀是根据 WPAD 主机所处的环境决定的,如果客户机是在一个域环境下时,发起的查询便是一个“WPAD.所在域的域名”的标准域名查询,这种情况下配合 DNS 里添加 WPAD 主机的 A 或别名记录便可轻松在域环境中对 WPAD 主机的定位。

但是如果在工作组环境下时,客户机发起的查询可能是一个标准的域名查询(如果计算机名有加域名后缀)也可能只是个没有后缀的 WPAD 查询,这时就要通过创建 DNS 私有根域查询或是通过创建单标签域的方式进行 WPAD 主机查询。

从以上的原理分析,首先 WPAD 主机要在 80 端口提供 wpad.dat 和 wspad.dat,有了这两个文件,客户机上的浏览器或防火墙客户端才能实现自动配置。其次,DNS 服务器要创建相关记录,当客户机来查询时,将解析结果指向 WPAD 主机。

图 3.DNS 的自动检测示意图


0x04 WPAD 的实现

通过 DNS 服务器部署 WPAD 在域的环境下比较适宜,但在工作组环境下就需要做一些改变。通过 DHCP 服务器部署 WPAD 还是更加方便,既不限制端口,又不受客户机计算机名影响,无论是工作组还是域都能很好地工作。

以下具体讨论了利用 DHCP 服务器来实现 WPAD 的 C++实例,并已通过 gcc 编译。此实例模拟了浏览器使用 DHCP 服务器实现 WPAD 的过程。同时希望能给有需要的开发人员一些关于如何实现 WPAD 的参考。

由上述通过 DHCP 服务器部署 WPAD 的原理,实现分为两大步骤,即向 DHCP 服务器发送 DHCP INFORM 包和接收 DHCP 服务器返回的 DHCP ACK 包,并解析。首先使用 Socket 实现广播(broadcast)的发送和接收来查找 WPAD 主机。广播是指在一个局域网中向所有的网上节点发送信息,是 UDP 协议的一种。在局域网中,广播 DHCP INFORM 包,当 DHCP 服务器接收到广播信息后,返回 DHCP ACK 包于客户机(本机),报文中的 252 选项即为查找的存储在 WPAD 主机上 PAC 文件的 URL。详细如下:

步骤一.查找 DHCP 服务器

1.在 WPAD 实现过程中,DHCP 报文为主要的数据结构,dhcp_send 代表 DHCP INFORM 包,dhcp_recv 代表 DHCP 服务器返回的 DHCP ACK 包。

DHCP报文结构

typedef struct dhcp_message_ {  

     uint8_t op;           /* message type */    

     uint8_t hwtype;       /* hardware address type */    

     uint8_t hwlen;        /* hardware address length */    

     uint8_t hwopcount;    /* should be zero in client message */    

     uint32_t xid;            /* transaction id */    

     uint16_t secs;           /* elapsed time in sec. from boot */    

     uint16_t flags;    

     uint32_t ciaddr;         /* (previously allocated) client IP */    

     uint32_t yiaddr;         /* 'your' client IP address */    

     uint32_t siaddr;         /* should be zero in client's messages */    

     uint32_t giaddr;         /* should be zero in client's messages */    

     uint8_t chaddr[DHCP_CHADDR_LEN];  /* client's hardware address */     

    uint8_t servername[SERVERNAME_LEN];    /* server host name */    

     uint8_t bootfile[BOOTFILE_LEN];    /* boot file name */    

     uint32_t cookie;    

     uint8_t options[DHCP_OPTION_LEN]; /* message options - cookie */

}dhcp_message;


2.广播的实现首先创建 UDP 的 socket,将发送端口 socket 设置为广播类型,开启发送广播报文:

设置发送端口socket的属性为广播

1. int  bBroadcast=1;

2. setsockopt(sockfd, SOL_SOCKET, SO_BROADCAST, &bBroadcast, sizeof(bBroadcast));


3.接收端口绑定地址和这组广播的端口号(DHCP 统一使用两个IANA分配的端口作为BOOTP服务器端使用 67/udp,客户端使用 68/udp),接受广播信息:

绑定端口号

1. struct sockaddr_in addr;

2. bzero(&addr,sizeof(addr));

3. addr.sin_family = AF_INET;

4. addr.sin_port = htons(DHCP_CLIENT_PORT);//DHCP_CLIENT_PORT=68

5. addr.sin_addr.s_addr = inet_addr("10.0.2.15");//local IP

6. bind(sockfd, (struct sockaddr *)&addr, sizeof(addr));


4.将本机的 IP 地址和 MAC 地址等数据封装成 DHCP INFORM 报文,定义为 dhcp_send:

5.广播DHCP INFORM报文

步骤二.接收 DHCP 服务器返回的 DHCP ACK 包,并解析,报文中的 252 项即为查找的存储在 WPAD 主机上 PAC 文件的 URL:

将接收端口设置超时选项并接收消息

解析 DHCP ACK 包

步骤三.找到返回的 URL 下/data/wpad.dat 代理配置文件,在本地计算机上下载,编译并运行。即完成了 DHCP 的自动检测。

总结

之前的浏览器通常使用手动代理配置和代理自动配置等,而 WPAD 协议的出现更高级别地实现了自动化。使用 DHCP 来实现 WPAD 的思想较简单,是较好的解决方案。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容