目的
如果我想知道张艺谋是谁？我会去百度百科或维基百科搜索一下,那么百度百科或维基百科会返回张艺谋网页结果。如果批量的去操作这种，手动去搜索是很浪时间和人力的。于是，我就写了一个SearchWord程序。
在百科上搜索张艺谋
介绍程序原理
其实我们去在浏览器里搜索一个词条，然后点击一下“进入词条”，网页会返回一个页面，用百度百科举例如下：
搜索张艺谋结果页面
那么我们用程序来做这样一件事情，也是同样的道理。具体步骤如下：
- 模拟一个虚拟浏览器（等同于我们电脑里安装的浏览器）
- type 一个词条（等同于我们在搜索框里输入一个“张艺谋”）
- 触发click事件（等同于我们在浏览器上点击“进入词条”）
- 保存下返回的page页面（等同于我们看到张艺谋这个页面）
核心代码
模拟生成浏览器
准备htmlunit工具，模拟生成webclient,生成浏览器代码如下：
public static WebClient ConstructWebClient()
{
//set the Brower’s version
WebClient webClient = new WebClient(BrowserVersion.getDefault());
// set Brower support javascript和 css
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(false);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
// set Brower link time limit
webClient.getOptions().setTimeout(120000);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setAppletEnabled(false);
return webClient;
}
type and click
/**
* Search the word on WIKI
*/
HtmlForm form = page.getForms().get(0);
HtmlTextInput htmlTextInput = form.getInputByName("search");
htmlTextInput.setValueAttribute(word);
HtmlSubmitInput go = form.getInputByName("go");
resultPage = go.dblClick();
/**
* Enter the word on search
*/
HtmlForm form = page.getForms().get(0);
HtmlTextInput htmlTextInput = form.getInputByName("word");
htmlTextInput.setValueAttribute(word);
HtmlButton button = (HtmlButton) page.getElementById("search");
resultPage = button.click();
结束语
其实实现一个简单功能是很容易的，但是要结构化解析返回结果页面还是一件很费神的事情。
