一、主要内容

1.导入package

import pandas as pd  # 数据处理，数据分析
import json  # 读取json格式数据
import seaborn as sns  # 画图
import matplotlib.pyplot as plt  # 画图
import re  # 用于正则化表达式，匹配字符串的模式
import requests  # 用于网络连接，发送网络请求，使用域名获取对应信息
from bs4 import BeautifulSoup  # 用于爬取arxiv的数据

2.读取数据

data = []  # 初始化
with open("xxx.json", 'r') as f:
     for line in f:
         data.append(json.loads(line))

data = pd.DataFrame(data)  # list格式变df格式
data.shape  # 显示数据大小

知识拓展1 -- with语句
使用with语句优势：1.自动关闭文件句柄；2.自动显示(处理)文件读取数据异常。简化资源的获取和释放：打开文件时，用with可确保打开的文件在离开with语句后关闭。enter打开资源；exit释放资源

with语句通过在所谓的上下文管理器中封装try...finally语句的标准用法来简化异常处理。

with语句一般用来管理系统资源的安全获取和释放。资源首先由with语句获取，并在执行离开with上下文时自动释放。

有效地使用with有助于避免资源泄漏的问题，让代码更加易于阅读。

知识拓展2 -- json读取
编码和解码 JSON 对象，JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于人阅读和编写。
json.dumps 将 Python 对象编码成 JSON 字符串
json.loads 将已编码的 JSON 字符串解码为 Python 对象

3.查看统计数据

data["categories"].describe()  # 统计某列特征的信息
'''
count      1796911
unique       62055
top       astro-ph
freq         86914
Name: categories, dtype: object
'''

'''
count：一列数据的元素个数；
unique：一列数据中元素的种类；
top：一列数据中出现频率最高的元素；
freq：一列数据中出现频率最高的元素的次数；
'''

unique_categories = set([i for l in [x.split(' ') for x in data["categories"]] for i in l])  
# 提取所有的种类
# 每个样本可能有多个种类；多个样本可能有相同的种类
len(unique_categories) # 173个不同的样本

知识拓展3-x.split(' ')

二、群内问题集锦

三、自己的bug历程

环境配置：

image.png

# 1.创建虚拟环境，python版本3.7
conda create --name datawhale python=3.6

# 2.配置环境，部署jupyter kernel
seaborn==0.9.0
BeautifulSoup4==4.8.0
requests==2.22.0
pandas==0.25.1
matplotlib==3.1.1

conda install ipykernel
python -m ipykernel install --user --name CWRU --display-name "Wind"

requirment.txt文件中，包名后是双等于号
json 自带，无需安装
BeautifulSoup包安装，后面带一个4；导入的时候为 from bs4 import BeautifulSoup
【soup = BeautifulSoup(website_url,'lxml') #爬取数据，这里使用lxml的解析器，加速】错误，**原因：未安装lxml pip install lxml 然后重启jupyter生效 **

时间：2020.01.10--2020.01.13

最后编辑于：2021.01.13 22:36:44