pyspider爬虫iframe blocked解决：pyspider解析JSON

写文初衷

需求：爬取事件的标题、时间和url地址

微信截图_20180802093258.png

列表页的标题和时间可能是动态加载的，pyspider框架里面显示iframe blocked（加了fetch_type='js'也没用），尝试找一下JSON地址

微信截图_20180802093119.png

微信截图_20180802093137.png

在列表页F12打开开发者工具，选择network里面的XHR，F5刷新发现多出来几个文件
每个文件点开看一下，发现最后一个文件是我们需要的，得到地址1：http://www.chinamoney.com.cn/ags/ms/cm-u-notice-issue/bIssuAn

image.png
往下翻，翻到最后的form data，选择view source，得到地址2：typeCode=null&isNewTab=1&pageNo=1&pageSize=30&sDate=2018-8-6&eDate=2018-8-7&limit=1&timeln=1

image.png

image.png

回到列表页，随便点击一个列表页JSON页中url为空的事件，通过同样的方法，得到详情页的JSON地址（简称JSON2），在JSON2里面通过同样的方法获得所需要的标题、发布时间和url。（F12，F5，拼接等操作）

http://www.chinamoney.com.cn/ags/ms/cm-u-notice-an/viewBondIssu?bondCode=3979882019&channelId=2560%2C2583%2C2563&pageNo=1&pageSize=10&timeln=0
这仅仅是一个事件的json2，想拿到所有的，bondCode=3979882019中的3979882019应该替换成each['bondDfndCd']
需要注意的就是，response.json['records']是一个列表，里面每一条对应每一个事件，通过for我们可以拿到每一个事件的bondCode：代码如下

        for each in response.json['records']:
            return each['bondDfndCd']

获得了url为空的事件的标题名称、事件和url

image.png

最后编辑于：2018.08.07 10:09:33

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。