Scala爬虫刷博客阅读量

一、写在前面

最近尝试在简书上写一些技术博客。每天看着可怜的阅读量很是着急。刚好最近接触爬虫,有需求就有办法。因此想到能否用爬虫刷阅读量呢?答案是可行的。

友情提示:
酒香不怕巷子深,要着力提高内功,刷出的阅读量骗不了别人也骗不了自己,提升自身技术才是关键。

二、实现思路

知识点

  1. 爬虫主要的手段是通过HTTP请求,获取并解析HTML网页,获取指定数据
  2. HTML 网页是一种格式数据,解析可通过JSOUP(java 包)解析
  3. 获取网页可通过 HTTP 协议的 Request 请求
  4. HTML网页可分为动态和静态。静态网页可直接解析,动态网页的解析一种方法是通过模拟浏览器生成HTML,另一种是逆向工程分析页面加载逻辑
  5. 模拟浏览器的过程实际是构造一个自动的JS解析引擎

实现流程

由于目前暂时未找到支持Scala 运行的JS 引擎,而待解析的页面又是动态页面,所以大致分为两个模块:
Python: 使用selenium + PhantomJS 构造一个自动化的JS 引擎,接受一个链接,然后刷新阅读量,返回新的阅读量和文章名称,将刷新后的结果打印到控制台
Scala: 解析静态页面,获取要刷新的文章列表,接受一个文章列表的页面,返回文章明细的地址信息。

环境要求

  1. 安装selenium
  2. 安装PhantomJS(速度要比Chrome快)

三、代码实现

Python 解析动态页面

from bs4 import BeautifulSoup
from selenium import webdriver
import time
import sys
import io
# sys.setdefaultencoding('utf8')
# TODO 如何刷赞
# TODO 微信公众号如何刷新阅读量和赞
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf8')
url = ('http://www.jianshu.com/p/c20351c842bc')
# driver = webdriver.PhantomJS()
# 在pycharm 中必须指明PhantomJS的绝对路径
driver = webdriver.PhantomJS("/Users/hhl/PycharmProjects/phantomjs-2.1.1-macosx/bin/phantomjs")

for i in range(2):
    time.sleep(2)
    driver.get(url)
    soup = BeautifulSoup(driver.page_source, 'xml')
    titles = soup.find_all('h1', {'class': 'title'})
    nums = soup.find_all('span', {'class': 'views-count'})
    for title, num in zip(titles, nums):
        print(title.get_text(), num.get_text())

Scala 解析静态页面,并调用Python脚本

package org.hhl.spark.pc
import org.jsoup.Jsoup

import scala.collection.JavaConverters._
import scala.sys.process._
/**
  * Created by huanghl4 on 2017/11/12.
  */
object RefreshBlogVistorNums {
  def main(args: Array[String]): Unit = {
    val l = blogList
    for (i <- 1 to 100) {
      l.foreach(x=>{
        val url = x
        println("当前的URL是:" + url)
        val pe = s"python3 /Users/hhl/test.py $url"!
      })
    }
  }

  def blogList:List[String] = {
    val mainPageUrl = "http://www.jianshu.com/u/ea9356f37a06"
    val doc = Jsoup.connect(mainPageUrl).get()
    val hrefs = doc.select("a.title").eachAttr("href").asScala.toList
    // fixme scala 循环如何像 java element: Elements 的写法?
   // val title = doc.select("a.title").eachText().asScala.toList
    hrefs.map(x=>"http://www.jianshu.com/" +x)
  }
  
}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,658评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,482评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,213评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,395评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,487评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,523评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,525评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,300评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,753评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,048评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,223评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,905评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,541评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,168评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,417评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,094评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,088评论 2 352

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,980评论 25 707
  • 你可能会把 NodeJS 用作网络服务器,但你知道它还可以用来做爬虫吗? 本教程中会介绍如何爬取静态网页——还有那...
    张嘉夫阅读 5,090评论 3 51
  • 在火车上,没有信号,图片啥的也都发不出去,一直请求超时,瞬间没了心情...睡觉算了,晚安。
    一把玻璃阅读 103评论 0 1
  • 道吾山在浏阳北,而石霜在浏阳的南边。从江西万载这边过来,到花炮之乡大瑶镇,再往南到金刚镇,石霜寺就在此。浏阳汽车南...
    洪州禅心阅读 739评论 0 3
  • 初读曹禺先生的《雷雨》,便恰似读懂了那个时代的一类人,他们曾经无视流言蜚语爱上门第悬殊的下层人家的姑娘,他们曾经都...
    黄宸阅读 6,150评论 2 8