目的

如果我想知道张艺谋是谁？我会去百度百科或维基百科搜索一下,那么百度百科或维基百科会返回张艺谋网页结果。如果批量的去操作这种，手动去搜索是很浪时间和人力的。于是，我就写了一个SearchWord程序。

在百科上搜索张艺谋

介绍程序原理

其实我们去在浏览器里搜索一个词条，然后点击一下“进入词条”，网页会返回一个页面，用百度百科举例如下：

搜索张艺谋结果页面

那么我们用程序来做这样一件事情，也是同样的道理。具体步骤如下：

• 模拟一个虚拟浏览器（等同于我们电脑里安装的浏览器）
• type 一个词条（等同于我们在搜索框里输入一个“张艺谋”）
• 触发click事件（等同于我们在浏览器上点击“进入词条”）
• 保存下返回的page页面（等同于我们看到张艺谋这个页面）

核心代码

模拟生成浏览器

准备htmlunit工具，模拟生成webclient,生成浏览器代码如下：

public static WebClient ConstructWebClient()
    {
        //set the Brower’s version 
        WebClient webClient = new WebClient(BrowserVersion.getDefault());
        // set Brower support javascript和 css
        webClient.getOptions().setJavaScriptEnabled(true);
        webClient.getOptions().setCssEnabled(false);
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());
        // set Brower link time limit
        webClient.getOptions().setTimeout(120000);
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
        webClient.getOptions().setAppletEnabled(false);
        return webClient;
    }

type and click

 /**
             * Search the word on WIKI 
             */
            HtmlForm form = page.getForms().get(0);
            HtmlTextInput htmlTextInput = form.getInputByName("search");
            htmlTextInput.setValueAttribute(word);
            HtmlSubmitInput go = form.getInputByName("go");
            resultPage = go.dblClick();

/**
             * Enter the word on search 
             */
            HtmlForm form = page.getForms().get(0);
            HtmlTextInput htmlTextInput = form.getInputByName("word");
            htmlTextInput.setValueAttribute(word);
            HtmlButton button = (HtmlButton) page.getElementById("search");
            resultPage = button.click();

结束语

其实实现一个简单功能是很容易的，但是要结构化解析返回结果页面还是一件很费神的事情。