一.读取txt文件,并使用JSON解析为list.
1.open函数可以指定编码方式为utf-8
- [ ]使用列表生成式解析
path = '/Users/lidaoyuan/Desktop/python/test02/govTest/example.txt'
#with open(path, "r", encoding="utf-8") as f:
records = [json.loads(line) for line in open(path,"r",encoding="utf-8")]
二.使用pandas对tz元素计数
#使用pandas
frame = DataFrame(records)
# 从frame["tz"]返回的Series对象,有一个value_counts方法. 可以对各个对象计数
print(frame["tz"].value_counts())
三.使用pandas对处理数据,并绘制简易条形图
tz_series = frame["tz"]
clean_tz = tz_series.fillna('Missing') # fillna函数可以替换缺失值
clean_tz[clean_tz==''] = 'Unknown' #可以便利clean_tz中的值,判断满足条件者.这里的用法不是很懂.
clean_tz_counts = clean_tz.value_counts()
clean_tz_counts[:10].plot(kind='barh',rot=0)
# import matplotlib.pyplot as plt , 这里手动调用show方法才会弹出绘制的图片,书上没有写. 不知道是什么原因.
plt.show()
四.
# split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则仅分隔 num 个子字符串
#将frame中a字段对应下的字符串分割,然后提取出第一个.
results = Series([x.split()[0] for x in frame.a.dropna()])
In [61]: results
Out[61]:
0 Mozilla/5.0
1 GoogleMaps/RochesterNY
2 Mozilla/4.0
3 Mozilla/5.0
4 Mozilla/5.0
5 Mozilla/5.0
6 Mozilla/5.0
7 Mozilla/5.0
8 Opera/9.80
9 Mozilla/5.0
10 Mozilla/5.0
11 Mozilla/5.0
12 Mozilla/5.0
13 Mozilla/5.0
14 Mozilla/5.0
15 Mozilla/5.0
16 Mozilla/5.0
17 GoogleMaps/RochesterNY
18 Mozilla/5.0
.......
五.使用numpy找出包含指定字符串的元素.
# 将a字段下为空的从数据中移除.
cframe = frame[frame.a.notnull()]
#使用numpy的where函数,查找出a字段下包含windows字样的元素,并且使用参数x, y 替换对应的结果
operating_system = np.where(cframe['a'].str.contains('Windows'),'Windows','Not use windows')
print(operating_system)
注:
1.同时安装多个版本的python,可以使用 如:python3.6 制定某一版本的python
python 自带的有easy_install 如果要安装pip, 使用 sudo easy_install pip. 同理也可以制定某一版本 sudo easy_install-3.6 pip
使用pip 也可指定某一版本 pip3.6 install numpy
DataFrame 是pandas中的数据结构,用于将数据表示为一个表格.
callable() 函数用于检查一个对象是否是可调用的。如果返回True，object仍然可能调用失败；但如果返回False，调用对象ojbect
绝对不会成功。
对于函数, 方法, lambda 函式, 类, 以及实现了 call 方法的类实例, 它都返回 True。
callable(object)getitem() 可以让对象像数组或者字典那样,使用下标取数据
matplotlib.pyplot.show() ,plot出的图像才出现(不知道是什么原因)
