240 发简信
牛耀
IP属地：山西
  • 180
    牛耀
  • 180
    牛耀
    吞吐率、吞吐量、TPS、性能测试，纸上不谈兵-构建高性能Web站点

    一、吞吐率 我们一般使用单位时间内服务器处理的请求数来描述其并发处理能力。称之为吞吐率（Throughput），单位是 “req/s”。吞吐率特指Web服务器单位时间内处理的...

    AQ王浩
    10598 8 63
  • 180
    牛耀
    软件测试面试

    1、开发犯低级错误怎么办？开发首先要规范好编码，出低级错时不要指责，内心指出错误。让他们自己进行测试，反思找出错误。 2、你进行过那些测试，擅长什么?我主要从事web测试，搭...

    瘦不下去了
    1162 2 9
  • 180
    牛耀
  • 180
    牛耀
    web测试流程

    项目的测试流程大只包含的几个阶段：立项、需求评审、用例评审、测试执行、测试报告文档 一、立项后测试需要拿到的文档1、需求说明书2、原型图（及UI图）3、接口文档4、数据库字典...

    瘦不下去了
    860 0 12
  • 180
    牛耀
  • 180
    牛耀
    Python爬虫模拟登录遇到的问题——CSRF防御

    背景 去年在公司写过一个爬虫工具，用于抓取自动化报告通过率、自动发送报告。由于当时是第一次接触爬虫，难免会遇到各种问题，解决方案全都是按照网上的一些爬虫文章示例，照猫画虎写的...

    sheenaghWS
    13614 2 4
  • 120
    180
    牛耀
    pyspider爬虫框架

    官方文档：http://docs.pyspider.org/ PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，...

    1562 0 0
  • 180
    牛耀
    scrapy爬虫部署

    第一步：安装使用到的相关库,终端进入有XXX.cfg文件的这个目录下 scrapyd 是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序...

    760 0 0
  • 120
    180
    牛耀
    scrapy--分布式爬虫

    为什么使用分布式爬虫 分布式：MongoDB的主从（一主多从）分布式就比如说一个工厂生产线，有车间主人，车间主人分配任务给一个员工，和任务分给多个员工的时候，那是一个人还是多...

    1871 0 0
  • 180
    牛耀
    redis五大数据类型及常用操作

    所有键： keys * string 增： 一个（键存在修改，不存在添加）： set 键 值一个并设置过期时间：setex 键 second 值键不存在的时候添加：SETNX...

    524 0 0
  • 180
    牛耀
    scrapy -- settings文件

    setings配置并不需要全部开启，根据自己需求设定

    581 0 0
  • 180
    牛耀
    爬虫断点爬取

    有些情况下，例如爬取大的站点，我们希望能暂停爬取，之后再恢复运行。 Scrapy通过如下工具支持这个功能: 一个把调度请求保存在磁盘的调度器一个把访问请求保存在磁盘的副本过滤...

    1082 0 0
  • 180
    牛耀
    Scrapy下载中间件

    下载中间件处于引擎和下载器之间，在发起request请求之前我们可以通过下载中间件设置一些反爬虫的措施，反爬虫措施大致分为以下几点： 基于请求头的反爬（合理构建请求头-hea...

    1474 0 0
  • 180
    牛耀
    通用爬虫--CrawlSpider

    本次以下厨房为例 创建（继承自CrawlSpider类） scrapy genspider -t crawl xcfCrawlSpider xiachufang.com 打开...

    557 0 1
  • 180
    牛耀
  • 180
    牛耀
  • 180
    牛耀
  • 180
    牛耀
    Scrapy Request和Response相关参数介绍

    Request 部分源码： 如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls...

    1144 0 1
暂无个人介绍