前言
最近在某资源论坛发现寻找多日的学习资料，无奈下载附件需要金币，虽然充值并不贵，但正所谓 Write the Code. Change the world，作为程序员，用平身所学来解决问题，那种感觉才爽。在该论坛的积分系统中，是可以通过点击邀请链接来获得金币的，这个模式很多论坛也有，于是乎便想写个小demo，通过代理访问邀请链接，达到刷金币目的，一逸永劳。
采集
原理既然是通过代理访问邀请链接，那么肯定是需要代理ip的，代理IP这个网址有，质量可能不是特别好，不过没关系，又不是找女朋友，不需要宁缺毋滥，量大就行。
之前本来打算手动复制代理保存到本地，然后用代码读取，最后想想怎么能用这么low的方法呢，还是用jsoup来解析html，采集代理ip吧。
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的使用比较简单，api文档也比较清晰明了，我们主要通过getElementsByTag(String tag) ，getElementsByClass(String className)， attr(String key)，text() ，html()等方法查找元素，元素数据等我们需要的内容。
获取详情页地址
通过浏览器的审查元素功能，我们可以看到 class 为 newslist_line 下的所有 <a> 标签对应的 href 就是代理详情页的地址。
这里只解析了前几页，太多了也浪费时间。
/**
* 从首页中获取代理详情页的网址
*/
private static List<String> getProxyList() {
List<String> lists = new ArrayList<>();
// 解析前MAX_PAGE页
for (int i = 1; i <= MAX_PAGE; i++) {
String path = "http://www.youdaili.net/Daili/http/list_" + i + ".html";
try {
Document document = Jsoup.connect(path).timeout(3000).get();
Elements newsListElements = document.getElementsByClass("newslist_line");
// 只有一个
Element list = newsListElements.first();
Elements links = list.getElementsByTag("a");
for (Element link : links) {
String href = link.attr("href");
if (href != null && href.length() > 0) {
lists.add(href);
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
return lists;
}
解析详情页中的代理
同理，详情页中，从 class 为 cont_font 下的 <p> 标签下的 <span> 就能获取到所有的代理ip了。
很多情况 getElementsByClass 返回 Elements 的 size 都大于1，我们也可以通过其他API来获取到我们想要的内容，这里比较简单,获取到的 Emements.size() 都为1。
/**
* 从详情页中解析代理地址
*/
private static List<String> getProxyAddr(String url) {
List<String> lists = new ArrayList<>();
try {
// class cont_font --> tag p --> tag span --> br 分割
Document document = Jsoup.connect(url).timeout(3000).get();
Elements contentElements = document.getElementsByClass("cont_font");
// 只有一个
Element content = contentElements.first();
Elements pElements = content.getElementsByTag("p");
// 也只有一个
Element p = pElements.first();
Element span = p.child(0);
String[] split = span.html().split("<br>");
for (int i = 0; i < split.length; i++) {
lists.add(split[i].trim());
System.out.println(split[i].trim());
}
} catch (IOException e) {
e.printStackTrace();
}
return lists;
}
发起请求
接下来的处理就更加简单了，弄个线程池，开个多线程，给http请求设置下proxy就ok了。
-
初始化线程池，至于最优性能的线程个数这里就不考虑了，随便定义了下。
private static ExecutorService cachedThreadPool = Executors.newFixedThreadPool(10); -
之前我们拿到了代理详情页每行数据(
222.45.196.46:8118@HTTP#江苏省淮安市 铁通)的集合，我们继续获取地址和端口，生成下InetSocketAddress的集合./** * 获取代理地址 */ private static List<InetSocketAddress> generateInetScoketAddr(List<String> proxyList) { List<InetSocketAddress> inetSocketAddresses = new ArrayList<>(); for (String proxyStr : proxyList) { String addr; int port; int firstKeyIndex = proxyStr.indexOf(":"); if (firstKeyIndex != -1) { addr = proxyStr.substring(0, firstKeyIndex); int secondKeyIndex = proxyStr.indexOf("@"); if (secondKeyIndex != -1) { port = Integer.valueOf(proxyStr.substring(firstKeyIndex + 1, secondKeyIndex)); System.out.printf("addr:%sport:%d%n", addr, port); inetSocketAddresses.add(new InetSocketAddress(addr, port)); } } } return inetSocketAddresses; } -
最后通过线程池发起请求
/** * 开始任务 * * @param proxyLists */ private static void excuteTask(List<InetSocketAddress> proxyLists) { for (InetSocketAddress intSocketAddrees : proxyLists) { cachedThreadPool.execute(new Runnable() { @Override public void run() { doGet(intSocketAddrees); } }); } } /** * 执行请求 * * @param intSocketAddrees */ private static void doGet(InetSocketAddress intSocketAddrees) { HttpURLConnection conn = null; try { URL url = new URL(Main.url); // 设置代理 Proxy proxy = new Proxy(Proxy.Type.HTTP, intSocketAddrees); conn = (HttpURLConnection) url.openConnection(proxy); // 设置user-agent conn.setRequestProperty("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"); // 设置不缓存 conn.setRequestProperty("Cache-Control", "no-store"); conn.setRequestProperty("Pragrma", "no-cache"); conn.setUseCaches(false); conn.setRequestMethod("GET"); conn.setConnectTimeout(6000); conn.setReadTimeout(6000); conn.connect(); if (conn.getResponseCode() == HttpURLConnection.HTTP_OK) { // 有可能也会失败的 System.out.println("may success"); } } catch (MalformedURLException e) { System.out.println("Exception"); } catch (IOException e) { System.out.println("Exception"); } finally { if (conn != null) { conn.disconnect(); } } }
最后看下效果。（对了，老司机友情提示，这个方法还可以刷1024！1024！1024！具体怎么玩，自己去尝试吧！）
