网易云爬取歌曲评论问题(iframe)

爬取歌曲:<玻璃之情>-张国荣
爬取链接:https://music.163.com/#/song?id=186436
爬取内容:歌曲评论

遇到的iframe问题

用的是Selenium爬取,找到了定位评论的元素(如下图),很明显,class="itm"就是要爬取的评论内容,于是根据定位写好代码
info_list=self.driver.find_elements_by_xpath('//div[@class="itm"]')


image.png

但是在运行时,一直出现下图的错误提示,说是找不到元素,但是网页源码中却能看到元素。检查了好几遍,一直解决不了,心态崩了。于是百度,了解到内容被放在了框架(iframe)中,必须切换到框架中才能获取到里面的内容。


image.png
解决:

定位到框架:

image.png

参考链接:<u>https://www.cnblogs.com/technologylife/p/5851496.html</u>

遇到的其他问题:

1、class属性中含有空格,例如class="zbtn znxt js-n-1554443266982"
使用find_element_by_xpath()时会报如下错误

image.png

解决:<u>https://blog.csdn.net/fengqiaoxian/article/details/81101844</u>
image.png

2、在做自动化测试时,当要点击的元素(页码)在浏览器页面中不可见时,selenium将无法进行自动点击,错误信息及解决方式参考链接:<u>https://www.cnblogs.com/desperado0807/p/4956253.html</u>
我是在页面运行的手动将滚动条滑动到底部,使页码可见。这样也可以正常爬取。

完整代码

class ZGR():
    def __init__(self):
        self.url='https://music.163.com/#/song?id=186436'
        self.driver=webdriver.Chrome()

    def paser(self):
        self.driver.get(self.url)
        # 切换到iframe框架
        frame=self.driver.find_element_by_xpath('//*[@id="g_iframe"]')
        self.driver.switch_to.frame(frame)
        time.sleep(2)
        while True:
            info_list=self.driver.find_elements_by_xpath('//div[@class="itm"]')
            for each in info_list:
                id=each.find_element_by_class_name('s-fc7').text
                content=each.find_element_by_xpath('div[2]/div/div').text
                # 存储为字典
                item={
                    'id':id,
                    'content':content
                }
                print(item)
                time.sleep(0.3)
            # 点击下一页
            next_page=self.driver.find_element_by_link_text('下一页')
            next_page.click()
            print('====='*30)
            time.sleep(2)

if __name__ == '__main__':
    zgr=ZGR()
    zgr.paser()

ps:本人是小白一枚,只是为了记录分享平时练习,内容可能不太专业,有不严谨的地方请指点,谢谢呢~

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。