简书爬虫
此功能纯粹为个人意想功能,利用业余时间来学习Node。
所有内容均已开源,欢迎各种PR和Fork。
-
源代码
-
需求
-
效果图
-
ShowCase
-
Home
HomePage -
Articles
Articles -
Authors
Authors -
Collections
Collections -
Search
UnSearch
Search
-
-
启动
DB:
sudo mongod程序:
gulp测试:
gulp test
-
版本
Node: 4.4.3
Mongo: 3.0.3
-
引用包列表
-
express: http://expressjs.com/,node web框架
body-parser: 请求数据体的转换
中间件cookie-parser: 请求头的
cookie管理debug: 调试工具
morgan: 日志中间件
serve-favicon: favicon中间件
async: https://github.com/caolan/async,异步框架
cheerio: https://github.com/cheeriojs/cheerio,加载
html元素,并可使用jQuery进行操作browser-sync: http://browsersync.io浏览器数据同步框架
-
gulp: http://gulpjs.com构建工具
gulp-mocha: 运行
mocha测试gulp-nodemon: gulp的
nodemon工具,用于监控node文件变化
highcharts: http://www.highcharts.com,图表控件
jade: http://jade-lang.com/模板引擎
moment: http://momentjs.com,轻量级的时间转换库
mongoose: http://mongoosejs.com/,
mongo的对象模型工具node-schedule: https://github.com/node-schedule/node-schedule,Node的任务调度
should: https://github.com/shouldjs/should.js, 断言库
superagent: http://visionmedia.github.io/superagent/,模拟客户端
HTTP请求supertest: https://github.com/visionmedia/supertest, 将
superagent-HTTP测试简单化sleep: https://github.com/erikdubbelboer/node-sleep, 添加
sleep等待时间bootstrap: http://getbootstrap.com/,前端样式处理
bootstrap-table: 基于http://getbootstrap.com/的Table处理http://bootstrap-table.wenzhixin.net.cn/
bootstrap-select: 基于http://getbootstrap.com/的select处理https://silviomoreto.github.io/bootstrap-select/
-
-
变更记录
