前段时间在开发全自动抓取,用了很长时间,当时总是差那么一点能完成,最终的效果是要做到你随便打开一个页面,然后点击抓取插件,会读取到相关栏目,然后自动抓取,当时为了做到任何网页打开都可以抓取,我一直选了一个端口号不是80的网址打开,然后测试,后来发现使用localStorage保存的信息,我在跳转到正式抓取页面的时候一直获取不到,当时认为是思路不对,然后换了很多种,其实都一样,但还是没效果。
之前对localStorage的认识就是永久性存储,后来去查了一下,localStorage只有在相同的协议、相同的主机名、相同的端口下,才能读取/修改到同一份localStorage数据。然后,我之前测试的网址一直用的端口号不是80,而大部分的要抓取的网页是80端口,所以数据一直无法读取到,后来用了一个80端口的,果然就可以了,很心酸。