网易云爬取歌曲评论问题(iframe)

爬取歌曲:<玻璃之情>-张国荣
爬取链接:https://music.163.com/#/song?id=186436
爬取内容:歌曲评论

遇到的iframe问题

用的是Selenium爬取，找到了定位评论的元素(如下图)，很明显，class="itm"就是要爬取的评论内容，于是根据定位写好代码
info_list=self.driver.find_elements_by_xpath('//div[@class="itm"]')

image.png

但是在运行时，一直出现下图的错误提示，说是找不到元素，但是网页源码中却能看到元素。检查了好几遍，一直解决不了，心态崩了。于是百度，了解到内容被放在了框架(iframe)中，必须切换到框架中才能获取到里面的内容。

image.png

解决:

定位到框架:

image.png

参考链接:https://www.cnblogs.com/technologylife/p/5851496.html

遇到的其他问题:

1、class属性中含有空格，例如class="zbtn znxt js-n-1554443266982"
使用find_element_by_xpath()时会报如下错误

image.png

解决:https://blog.csdn.net/fengqiaoxian/article/details/81101844

image.png

2、在做自动化测试时，当要点击的元素(页码)在浏览器页面中不可见时，selenium将无法进行自动点击，错误信息及解决方式参考链接：https://www.cnblogs.com/desperado0807/p/4956253.html
我是在页面运行的手动将滚动条滑动到底部，使页码可见。这样也可以正常爬取。

完整代码

class ZGR():
    def __init__(self):
        self.url='https://music.163.com/#/song?id=186436'
        self.driver=webdriver.Chrome()

    def paser(self):
        self.driver.get(self.url)
        # 切换到iframe框架
        frame=self.driver.find_element_by_xpath('//*[@id="g_iframe"]')
        self.driver.switch_to.frame(frame)
        time.sleep(2)
        while True:
            info_list=self.driver.find_elements_by_xpath('//div[@class="itm"]')
            for each in info_list:
                id=each.find_element_by_class_name('s-fc7').text
                content=each.find_element_by_xpath('div[2]/div/div').text
                # 存储为字典
                item={
                    'id':id,
                    'content':content
                }
                print(item)
                time.sleep(0.3)
            # 点击下一页
            next_page=self.driver.find_element_by_link_text('下一页')
            next_page.click()
            print('====='*30)
            time.sleep(2)

if __name__ == '__main__':
    zgr=ZGR()
    zgr.paser()

ps:本人是小白一枚，只是为了记录分享平时练习，内容可能不太专业，有不严谨的地方请指点，谢谢呢~

最后编辑于：2019.05.14 16:47:24