Python 获取指定（可转债）公告信息1/3

需求：
想获取近五年的可转债公告（可转债期限一般为五年），下载所有的pdf公告文档
需求拆分：
1.寻找有可转债公告的数据源（网站）http://www.cninfo.com.cn/new/index
，并获取所有pdf公告的链接地址
2.根据链接地址下载pdf公告文档

所有上市公司的公告都会在巨潮咨讯公告，所以选择巨潮为获取可转债公告的数据源。通过开发者工具分析http报文信息可以发现是以POST方式发送报文请求

image.png

再看请求数据格式，是Json的数据格式：可以通过该标准格式获取到单页的数据

image.png

返回的报文是json数据格式，信息如下：

image.png

总搜索出来的数量：

image.png

每一页会返回一个page的json数据：

image.png

软件设计第一步：正确获取第一个page中的所有json返回值。
使用requests库：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.5 Safari/605.1.15',
    'X-Requested-With': 'XMLHttpRequest'
}
query_path = 'http://www.cninfo.com.cn/new/hisAnnouncement/query'
query = {
        'pageNum': '',
        'pageSize': 30,
        'column': '',
        'tabName': '',
        'plate': '',
        'stock': '',
        'searchkey': "可转债",
        'secid': '',
        'category': '',
        'trade': '',
        'seDate': '2019-09-01+~+2020-02-02'
    }
r = requests.post(query_path, data=query, headers=headers)
print(r.json())

在这里调试的时候发生一个报错
<class 'json.decoder.JSONDecodeError'>, JSONDecodeError('Expecting value: line 1 column 1

image.png

当pageSize设置为大于30的时候就会报json数据错误，猜测原因是最大每页的展示数量需要小于30.

image.png

第二步：抽取出公告地址和公告名称

image.png

需要在announcements里面抽取'secCode' 'secName' 'announcementTitle'

python字符串处理：
拼接字符串：使用“+”可以对多个字符串进行拼接

截取字符串：语法格式： string[start : end : step]

检索字符串：find()方法-语法格式： str.find(sub[, start[, end]])
作用：检索是否包含指定的字符串，如果检索的字符串不存在则返回-1，否则返回首次出现该字符串时的索引。

a = "http://static.cninfo.com.cn/finalpage/2013-02-28/62162993.PDF"
print(a[::-1])
print(a[::-1].find('.'))
print(-a[::-1].find('.'))
print(a[-a[::-1].find('.')-1:])

#结果如下，获取文件类型的后缀
FDP.39926126/82-20-3102/egaplanif/nc.moc.ofninc.citats//:ptth
3
-3
.PDF

python for循环语句
Python for循环可以遍历任何序列的项目，如一个列表或者一个字符串。

for iterating_var in sequence:
   statements(s)

python continue语句
continue语句用来告诉Python跳过当前循环的剩余语句，然后继续进行下一轮循环

image.png

for letter in 'Python':     # 第一个实例
   if letter == 'h':
      continue
   print '当前字母 :', letter
 
var = 10                    # 第二个实例
while var > 0:              
   var = var -1
   if var == 5:
      continue
   print '当前变量值 :', var
print "Good bye!"

#结果
当前字母 : P
当前字母 : y
当前字母 : t
当前字母 : o
当前字母 : n
当前变量值 : 9
当前变量值 : 8
当前变量值 : 7
当前变量值 : 6
当前变量值 : 4
当前变量值 : 3
当前变量值 : 2
当前变量值 : 1
当前变量值 : 0
Good bye!

#抽取json包里面的内容
for each in my_query['announcements'] :
    file_url = 'http://static.cninff.com.cn' + str(each['adjunctUrl'])
    file_name = str(each['secCode']) + str(each['secName']) + str(each['announcementTitle']) + '.' +'(' + str(
        each['adjunctSize']) + 'k)' + file_url[-file_url[::-1].find('.')-1:]
    result_list.append([file_name,file_url])

print (result_list[2])

实现了从JSON报文中的报表名称以及链接
结果如下：

Connected to pydev debugger (build 193.6494.30)
['300506名家汇关于发行股份及定向可转债购买资产事项的进展公告.(238k).PDF', 'http://static.cninff.com.cnfinalpage/2020-01-23/1207281029.PDF']

Process finished with exit code 0

第三步：将获得的报表名称以及链接地址写入CSV文件

Python Open 函数在windows下的路径三种正确表达方式：
#第一种
with open('D:/myproject/python/a1234.txt') as f:
    print(f.readlines())
#第二种
with open('D://myproject//python//a1234.txt') as f:
    print(f.readlines())
#第三种
with open('D:\\myproject\\python\\a1234.txt') as f:
    print(f.readlines())

Python中open与with open都是用来操作文件（IO）
#读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。

读取
f = open('D://outputOfAnnouncementList.csv')
try:
    for line in f.readlines():
#我们首先以读取模式打开CSV文件。文件对象被命名为f。
        print(line)
except:
    print("error")
finally:
    f.close()

写入
f = open('D://outputOfAnnouncementList.csv',"w",encoding='gb18030')
try:
    a = ['nihao', 'zaijian']
    csvwriter = csv.writer(f)
#我们首先以写模式打开CSV文件。文件对象被命名为f。文件对象被转换为csv。我们保存csv.writer对象作为csvwriter。
    csvwriter.writerows(a)
#现在我们使用writerow方法来写入第一行，这一行就是字段名。
finally:
    f.close()

将公告名称以及链接地址写入csv文件

csv_out = open('D://outputOfAnnouncementList.csv', 'w', encoding='gb18030')
csvwriter = csv.writer(csv_out)
csvwriter.writerows(result_list)

第四步构建循环
将所有满足搜索条件的公告名称以及链接地址全部写入csv文件
首先将获得json报文功能封装成为函数

# get_response函数 获取JSON报文，并拆解拼接所需字段
def get_response(start_date, end_date, page_num, return_total_count=False):
    query = {
        'pageNum': page_num,
        'pageSize': MAX_PAGESIZE,
        'column': '',
        'tabName': '',
        'plate': '',
        'stock': '',
        'searchkey': "可转债",
        'secid': '',
        'category': '',
        'trade': '',
        'seDate': start_date + '~' + end_date
    }
    result_list = []
    r = requests.post(query_path, data=query, headers=headers)
    my_query = r.json()

    if return_total_count:
        return my_query['totalRecordNum']
    # 抽取json包里面的内容
    else:
        for each in my_query['announcements']:
            file_url = 'http://static.cninff.com.cn' + str(each['adjunctUrl'])
            file_name = str(each['secCode']) + str(each['secName']) + str(each['announcementTitle']) + '.' + '(' + str(
                each['adjunctSize']) + 'k)' + file_url[-file_url[::-1].find('.') - 1:]
            result_list.append([file_name, file_url])
        return result_list

封装将所有页的Json报文内容写入CSV文件

def get_url(start_date, end_date):
    # csv_out = open(output_csv_file, 'w', newline='', encoding='gb18030')
    # writer = csv.writer(csv_out)
    csv_out = open('D://outputOfAnnouncementList.csv', 'w', newline='', encoding='gb18030')
    csvwriter = csv.writer(csv_out)
    # 获取记录数、页数
    item_count = get_response(start_date, end_date, 1, True)
    begin_pg = 1
    end_pg = int(math.ceil(item_count / MAX_PAGESIZE))
    print('Page count: ' + str(end_pg) + '; item count: ' + str(item_count) + '.')
    time.sleep(2)

    # 逐页抓取
    # with open(output_csv_file, 'w', newline='', encoding='gb18030') as csv_out:
    # writer = csv.writer(csv_out)
    for i in range(begin_pg, end_pg + 1):
        row = get_response(start_date, end_date, i)
        csvwriter.writerows(row)
        last_item = i * MAX_PAGESIZE if i < end_pg else item_count
        print('Page ' + str(i) + '/' + str(end_pg) + ' fetched, it contains items: (' +
              str(1 + (i - 1) * MAX_PAGESIZE) + '-' + str(last_item) + ')/' + str(item_count) + '.')
    csv_out.close()

#这里有个细节就是python中没有括号将一个for方法括起来，所以进退格就很关键。
    for i in range(begin_pg, end_pg + 1):
        row = get_response(start_date, end_date, i)
    csvwriter.writerows(row)
    last_item = i * MAX_PAGESIZE if i < end_pg else item_count
    print('Page ' + str(i) + '/' + str(end_pg) + ' fetched, it contains items: (' +
              str(1 + (i - 1) * MAX_PAGESIZE) + '-' + str(last_item) + ')/' + str(item_count) + '.')
    csv_out.close()
for循环写成这样csvwriter.writerow(row)就不在for循环中，所以造成执行只是将最后获取的一个page的数据存下来。

至此，拿到报表清单并存储到csv文件功能已经实现。