我不過就是想把飯否導到 Day One 裏面嘛

心血來潮想把飯否導到 Day One 裏面。主要是因爲一直在用的「飯嘮」收錄得不全,可能是出於性能考慮沒有全部抓取下來。所以,就想着能不能導到 Day One 裏面,一方面也是擔心哪天飯否突然就宕了。

因爲記得說飯否提供了「開放接口」,加上之前有用 Python 抓漫畫的經歷,決定試試用最愛的 Ruby 來抓狀態。

啥是「開放接口」?

飯否最下面赫然寫着 API ,應該就是這玩意吧。那時對 API 的理解也就是「一鏈接,類似圖片網址那玩意」。好吧,讓我們來看看飯否的 API 長啥樣:

GET /statuses/user_timeline

尼瑪,這是啥?!

進去一看,哦,果真是個網址(黑話叫路徑):

http://api.fanfou.com/statuses/user_timeline.[json|xml|rss]

我記得 GET 是 HTTP 裏面的東西吧!需要用到這麼底層的東西嗎?這咋整!好吧,我們還是回歸到理論上,看看「理性之光」如何指引我們。

上網搜了搜,所謂「開放接口」,開放的無非是某種 Web 服務。現在主流的有三種 Web服務 : REST 是最簡單的一種。簡單地說, REST 把網上的一切都看作資源(和 UNIX 的「一切皆文件」好像),任何交互都是對資源的操作,而且僅用「創建」「讀取」「更新」「刪除」四種操作就可以實現[1]。這正好對應了 HTTP 協議提供的 POST, GET, PUT, DELETE 四種方法。

現在,我們就要想辦法 GET 到http://api.fanfou.com/statuses/user_timeline.json?id=**usr**(記得把usr換成你自己的用戶名)。

然後呢?

怎麼才能 GET 到某個資源?

Ruby 提供了兩個跟 HTTP 打交道的庫。最簡單的是open-uri。另一個是Net::HTTP,這個庫更底層一些,也更強大。先來看看open-uri

require 'open-uri'

# ...   
resp = open(url) {|f| f.read}

再試試Net::HTTP#get

require 'net/http'

# ...   
resp = Net::HTTP.get(URI.parse(url))

好了,現在飯否有回聲了,但這是坨啥玩意啊?

怎麼解析回應啊?

飯否告訴我們:這是一個 JSON 序列。把這玩意丟到JSON#parse裏試試。下面就簡單了,提取感興趣的項就行了:

js = JSON.parse(resp.body)

js.each do |item|
    puts item["text"]
end

當初,選 JSON 作爲響應格式是因爲它簡單。 XML 就不說了,理論上簡單,細節上無比複雜。 RSS 則是包裝過的 XML 。

解析 XML ,最傳統的是調用REXML庫,圖省事可以用XmlSimpleREXML的好處是集成在標準庫裏頭的,壞處是難用。你必須先知道要解析的 XML 文檔的結構。在嘗試了無數次之後,終於-_-!:

require "rexml/document"

# ...
data = REXML::Document.new(resp)
data.root.each_element {|e| puts e.elements["text"].text}

XmlSimple能把 XML 轉換成一個映射(hash)。這個庫據說是從 Perl 的XML::Simple模塊轉譯過來的,就xml_in()xml_out()來回倒:

require 'xmlsimple'

# ...
data = XmlSimple.xml_in(resp) 

然後,就可以像處理映射那樣隨你搗騰了:

data["status"].each do |item|
  puts item["text"]
end

其實 RSS 因爲格式固定,解析起來倒也還簡單:

require 'rss'

# ...
data = RSS::Parser.parse(resp)
data.items.each {|e| puts e.description}

好了,現在內容抓下來了,剩下的就剩調格式了。

「時間」不是件小事

記得用上Time#strftime,至於那控制字串怎麼寫,查吧。


  1. 可以看看阮一峯的理解RESTful架構

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容