股票数据的网站抓取(四)

搜索所有股票的相关信息并保存

草稿算完成了,但是代码显然价值很低,未进行任何优化,就是图个快速写完,所以看官别骂
下一步考虑在这个代码的基础上做优化,估计首先应该是解决代码'味道'的问题,然后是多线程的问题。其实有点想能否将这个代码修改成golang的,不过不知道golang是否有selenium的包包。

#coding=utf-8
from selenium import webdriver
import time
import os
import re
import sys  
from selenium.common.exceptions import NoSuchElementException
reload(sys)  
sys.setdefaultencoding('utf8')   

def showlink(linklist):
    for x in linklist:
        print x.get_attribute('href')
    print "股票数:%d"%(len(linklist))

def getinfo(mydriver,gourl):
    linetext=""
    mydriver.get(gourl)
    try:
        gupiaoming=mydriver.find_element_by_xpath(title).text
        gupiaocode=mydriver.find_element_by_xpath(code).text
        hexinshuju=mydriver.find_element_by_class_name('pad5')
        shujuhang=hexinshuju.find_elements_by_tag_name('tr')
        for i in range(len(shujuhang)-2):
            shujulie=shujuhang[i].find_elements_by_tag_name('td')
            tmpshuju=myre.split(shujulie[0].text)
            linetext=linetext+"~"+tmpshuju[1]
        shuju=myre.split(shujuhang[8].text)
    
        linetext=linetext+"~"+shuju[1]
        tmpshuju=myre.split(shujuhang[9].text)
        linetext=linetext+"~"+tmpshuju[1]
        linetext="%s~%s%s"%(gupiaoming,gupiaocode,linetext)
        print "数据写入",linetext
        myfile.write("%s\n"%(linetext))
    except  NoSuchElementException,e:
        print "不是股票"
######################

br=webdriver.Firefox()
brsub=webdriver.Firefox()
baseurl="http://quote.eastmoney.com/"
indexurl="stocklist.html"
gourl="%s%s"%(baseurl,indexurl)
br.get(gourl)

shxpath="/html/body/div[9]/div[2]/div/ul[1]"
szxpath="/html/body/div[9]/div[2]/div/ul[2]"

shgupiao=br.find_element_by_xpath(shxpath)
szgupiao=br.find_element_by_xpath(szxpath)

shgupiaolist=shgupiao.find_elements_by_tag_name('a')
szgupiaolist=szgupiao.find_elements_by_tag_name('a')


title='//*[@id="name"]'
code='//*[@id="code"]'
hexinshujuxpath="/html/body/div[14]/div[1]/div[4]/div[1]"
restr=":".decode('utf8')
myre=re.compile(restr,re.I|re.M|re.S)


#mylist=['http://quote.eastmoney.com/sh603678.html','http://quote.eastmoney.com/sh603686.html']
print "####    获得上海股票数据               ############"
print "####    数据保存到shgupiaodata.text   ############"
filename='shgupiaodata.txt'
myfile = open(filename, 'w')
for i in shgupiaolist:
    myurl=i.get_attribute('href')
    print myurl
    if myurl!=None:
        getinfo(brsub,myurl)
myfile.close()


print "####    获得深圳股票数据               ############"
print "####    数据保存到szgupiaodata.text   ############"
filename='szgupiaodata.txt'
myfile = open(filename, 'w')
for i in szgupiaolist:
    myurl=i.get_attribute('href')
    print myurl
    if myurl!=None:
        getinfo(brsub,myurl)
myfile.close()

print "数据下载完成"
br.quit()
brsub.quit()

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 174,073评论 25 709
  • 1. Java基础部分 基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语...
    子非鱼_t_阅读 31,805评论 18 399
  • Java8张图 11、字符串不变性 12、equals()方法、hashCode()方法的区别 13、...
    Miley_MOJIE阅读 3,757评论 0 11
  • 答应老师写一篇简书,却不知道该写些什么。 所以写一些话给10年后的自己吧。 十年后的自己,请你收起来你的脾气,易怒...
    熹妃娘娘阅读 96评论 0 0
  • 2017.11.16 星期四 晴 随着时间的流逝,暮色渐沉,咖啡厅早早就已经将昏黄的灯打开,伴随着轻扬的音乐,浮躁...
    妖无格阅读 809评论 18 19