1.简单计算
指通过已有字段进行四则运算得出新的字段
import pandas
data = pandas.read_csv(
'/users/bakufu/desktop/4.13/data.csv',
sep = '|'
)
Out[3]:
name price num
0 A 6058 408
1 B 1322 653
2 C 7403 400
3 D 4911 487
4 E 3320 56
5 F 3245 475
6 G 4881 746
7 H 8035 980
8 I 6772 316
9 J 4050 661
10 K 2673 783
11 L 2787 975
12 M 2839 221
13 N 331 480
data['total'] = data.price * data.num
Out[5]:
name price num total
0 A 6058 408 2471664
1 B 1322 653 863266
2 C 7403 400 2961200
3 D 4911 487 2391657
4 E 3320 56 185920
5 F 3245 475 1541375
6 G 4881 746 3641226
7 H 8035 980 7874300
8 I 6772 316 2139952
9 J 4050 661 2677050
10 K 2673 783 2092959
11 L 2787 975 2717325
12 M 2839 221 627419
13 N 331 480 158880
2.数据标准化
指将数据按比例缩放，使之落入到特定区间，用于进行不同变量间的比较分析。
通常在综合评价分析、聚类分析、因子分析、主成分分析等分析开展之前，消除各个变量由于量纲不同、自身变异或者数值相差较大所引起的误差。
0-1标准化计算公式
屏幕快照 2018-07-03 05.32.15.png
将向量中的每个值与所在向量中的最小值的差，除以所在向量中的最大值与向量中最小值的差。
可以方便进行十分制与百分制的换算。
import pandas
data = pandas.read_csv(
'/users/bakufu/desktop/4.14/data.csv'
)
Out[8]:
class name score
0 一班 朱志斌 120
1 一班 朱凤 122
2 一班 郑丽萍 140
3 一班 郭杰明 131
4 一班 许杰 122
5 二班 郑芬 119
6 二班 林龙 96
7 二班 林良坤 135
8 二班 黄志红 105
9 三班 方小明 114
10 三班 陈丽灵 115
11 三班 方伟君 136
12 三班 庄艺家 119
#round()函数是保留多少位小数的意思，本例中保留2位小数
data['scale'] = round(
(
data.score - data.score.min()
)/(
data.score.max() - data.score.min()
),
2
)
Out[11]:
class name score scale
0 一班 朱志斌 120 0.55
1 一班 朱凤 122 0.59
2 一班 郑丽萍 140 1.00
3 一班 郭杰明 131 0.80
4 一班 许杰 122 0.59
5 二班 郑芬 119 0.52
6 二班 林龙 96 0.00
7 二班 林良坤 135 0.89
8 二班 黄志红 105 0.20
9 三班 方小明 114 0.41
10 三班 陈丽灵 115 0.43
11 三班 方伟君 136 0.91
12 三班 庄艺家 119 0.52
#140分对应的标准化分数是1，是所有学生中的最高分。
#96分对应的标准化分数是0，是所有学生中的最低分。
3.数据分组
根据数据分析对象的特征，按照一定的数值指标，把数据分析对象划分为不同的区间进行研究，以揭示其内在的联系和规律性。
屏幕快照 2018-07-03 06.01.35.png
cut函数cut(series, bins, right=True, labels=NULL)
| 参数 | 注释 |
|---|---|
| series | 需要分组的数据 |
| bins | 分组的划分数组 |
| right | 分组的时候，右边是否闭合 |
| labels | 分组的自定义标签，可以不自定义 |
import pandas
data = pandas.read_csv(
'/users/bakufu/desktop/4.15/data.csv',
sep = '|'
)
Out[30]:
tel cost
0 166424556600 2.0
1 166424557199 5.0
2 166424561768 75.3
3 166424569696 20.0
4 166424569924 97.3
5 166424579238 3.0
6 166424581334 100.0
7 166424589730 77.0
8 166424591167 5.5
9 166424598020 50.0
10 166424598259 28.6
11 166424606270 10.8
12 166424632819 76.7
13 166424635250 84.6
14 166424641824 10.0
#定义分组区间
bins = [
min(data.cost)-1, 20, 40, 60,
80, 100, max(data.cost)+1
]
Out[32]: [1.0, 20, 40, 60, 80, 100, 101.0]
#分析消费金额的分布情况，
#此处设置的最小值和最大值，并非原始的最小值和最大值，
#把分组的最小值设置为数据的最小值减一，
#把分组的最大值设置为数据的最大值加一，
#为什么设置的开始和结束值，是最小值减一和最大值加一，
#因为有时分组的时候，会碰到边界值，
#即需要分组的值等于最小值或最大值，
#会导致找不到范围
#cut函数进行分组，如果不自定义标签，
#则默认标签是数学的范围表达式，
#标签默认使用左开右闭
data['cut'] = pandas.cut(
data.cost,
bins
)
Out[34]:
tel cost cut
0 166424556600 2.0 (1.0, 20.0]
1 166424557199 5.0 (1.0, 20.0]
2 166424561768 75.3 (60.0, 80.0]
3 166424569696 20.0 (1.0, 20.0]
4 166424569924 97.3 (80.0, 100.0]
5 166424579238 3.0 (1.0, 20.0]
6 166424581334 100.0 (80.0, 100.0]
7 166424589730 77.0 (60.0, 80.0]
8 166424591167 5.5 (1.0, 20.0]
9 166424598020 50.0 (40.0, 60.0]
10 166424598259 28.6 (20.0, 40.0]
11 166424606270 10.8 (1.0, 20.0]
12 166424632819 76.7 (60.0, 80.0]
13 166424635250 84.6 (80.0, 100.0]
14 166424641824 10.0 (1.0, 20.0]
#设置right=False后变成左闭右开
data['cut'] = pandas.cut(
data.cost,
bins,
right=False
)
Out[36]:
tel cost cut
0 166424556600 2.0 [1.0, 20.0)
1 166424557199 5.0 [1.0, 20.0)
2 166424561768 75.3 [60.0, 80.0)
3 166424569696 20.0 [20.0, 40.0)
4 166424569924 97.3 [80.0, 100.0)
5 166424579238 3.0 [1.0, 20.0)
6 166424581334 100.0 [100.0, 101.0)
7 166424589730 77.0 [60.0, 80.0)
8 166424591167 5.5 [1.0, 20.0)
9 166424598020 50.0 [40.0, 60.0)
10 166424598259 28.6 [20.0, 40.0)
11 166424606270 10.8 [1.0, 20.0)
12 166424632819 76.7 [60.0, 80.0)
13 166424635250 84.6 [80.0, 100.0)
14 166424641824 10.0 [1.0, 20.0)
#定义分组的标签
labels = [
'20以下', '20到40', '40到60',
'60到80', '80到100', '100以上'
]
Out[38]:
['20以下', '20到40',
'40到60', '60到80',
'80到100', '100以上']
data['cut'] = pandas.cut(
data.cost, bins,
right=False, labels=labels
)
Out[40]:
tel cost cut
0 166424556600 2.0 20以下
1 166424557199 5.0 20以下
2 166424561768 75.3 60到80
3 166424569696 20.0 20到40
4 166424569924 97.3 80到100
5 166424579238 3.0 20以下
6 166424581334 100.0 100以上
7 166424589730 77.0 60到80
8 166424591167 5.5 20以下
9 166424598020 50.0 40到60
10 166424598259 28.6 20到40
11 166424606270 10.8 20以下
12 166424632819 76.7 60到80
13 166424635250 84.6 80到100
14 166424641824 10.0 20以下
