1. 抽样读取 1%
读取某 100 G 大小的 big_data.csv 数据
import pandas as pd
import numpy as np
df = pd.read_csv("big_data.csv",skiprows = lambda x: x>0 and np.random.rand() > 0.01)
print("数据的大小 {}.这里只展示其中的1%".format(df.shape))
#使用 skiprows 参数，x > 0 确保首行读入，np.random.rand() > 0.01 表示 99% 的数据都会被随机过滤掉；言外之意，只有全部数据的 1% 才有机会选入内存中。
2.使用replace
在某列上使用 replace 方法和正则，快速完成值的清洗。
d = {"customer": ["A", "B", "C", "D"],
"sales":[1100, "950.5RMB", "$400", " $1250.75"]}
df = pd.DataFrame(d)
df
#
customer sales
0 A 1100
1 B 950.5RMB
2 C $400
3 D $1250.75
看到 sales 列的值，有整型，浮点型+RMB后变为字符串型，还有美元+整型，美元+浮点型。
我们的目标：清洗掉 RMB，$ 符号，转化这一列为浮点型。
df["sales"] = df["sales"].replace("[$,RMB]", "", regex = True).astype("float")
#使用正则替换，将要替换的字符放到列表中 [$,RMB]，替换为空字符，即 ""；
#最后使用 astype 转为 float
#
customer sales
0 A 1100.00
1 B 950.50
2 C 400.00
3 D 1250.75
df["sales"].apply(type)#如果不放心，再检查下值的类型：
#
0 <class 'float'>
1 <class 'float'>
2 <class 'float'>
3 <class 'float'>
3、宽 数据 变成长 数据
d = {"district_code": [12345, 56789, 101112, 131415],
"apple": [5.2, 2.4, 4.2, 3.6],
"banana": [3.5, 1.9, 4.0, 2.3],
"orange": [8.0, 7.5, 6.4, 3.9]}
df = pd.DataFrame(d)
df
#
district_code apple banana orange
0 12345 5.2 3.5 8.0
1 56789 2.4 1.9 7.5
2 101112 4.2 4.0 6.4
3 131415 3.6 2.3 3.9
把apple banana orange这三列合并为一列？使用 pd.melt
df = df.melt(id_vars = "district_code",var_name = "fruit_name",value_name = "price")
df
#
district_code fruit_name price
0 12345 apple 5.2
1 56789 apple 2.4
2 101112 apple 4.2
3 131415 apple 3.6
4 12345 banana 3.5
5 56789 banana 1.9
6 101112 banana 4.0
7 131415 banana 2.3
8 12345 orange 8.0
9 56789 orange 7.5
10 101112 orange 6.4
11 131415 orange 3.9
4、转成datetime
给出year（年份）和 dayofyear（一年中的第几天），怎么转 datetime?
d = {"year": [2019, 2019, 2020],
"day_of_year": [350, 365, 1]}
df = pd.DataFrame(d)
df
#
year day_of_year
0 2019 350
1 2019 365
2 2020 1
df["int_number"] = df["year"]*1000 + df["day_of_year"]
df
#
year day_of_year int_number
0 2019 350 2019350
1 2019 365 2019365
2 2020 1 2020001
df["date"] = pd.to_datetime(df["int_number"], format = "%Y%j")
df
#
year day_of_year int_number date
0 2019 350 2019350 2019-12-16
1 2019 365 2019365 2019-12-31
2 2020 1 2020001 2020-01-01
