有时候页面上的数据是通过ajax请求获取回来在前端渲染的,这样百度爬虫就爬不到了。现在有很多框架有做服务端渲染了,可以尝试改造成服务端渲染,全新的项目的话就使用这类框架就行。
如果是老项目并且不好改造的话,可以尝试一下这样做,试用于后端路由(非单页):
原有的代码不用动它,每次进入一个页面后端多返回一份数据,这份数据是后端直接吐出来的,然后把它简单处理一下隐藏起来就可以了。
这样做的优点是,改动很小,缺点也比较明显,就是后端需要多处理一次数据,如果数据量大的话就不建议这么做了。
有时候页面上的数据是通过ajax请求获取回来在前端渲染的,这样百度爬虫就爬不到了。现在有很多框架有做服务端渲染了,可以尝试改造成服务端渲染,全新的项目的话就使用这类框架就行。
如果是老项目并且不好改造的话,可以尝试一下这样做,试用于后端路由(非单页):
原有的代码不用动它,每次进入一个页面后端多返回一份数据,这份数据是后端直接吐出来的,然后把它简单处理一下隐藏起来就可以了。
这样做的优点是,改动很小,缺点也比较明显,就是后端需要多处理一次数据,如果数据量大的话就不建议这么做了。