M函数

power query的M公式使用官方文档
学习视频链接
调用函数：新建查询-空查询，fx=#shared，可以查看所有函数，到表中。

Table.FromRecords使用记录字段名称作为列名称，通过记录创建表。
Table.FromRecords({
    [CustomerID = 1, Name = "Bob", Phone = "123-4567"],
    [CustomerID = 2, Name = "Jim", Phone = "987-6543"],
    [CustomerID = 3, Name = "Paul", Phone = "543-7890"]
})
Table.AddColumn添加列
Text.Range(列，开始位数，要取的位数）

转换奇偶：转换-标号列-信息-偶数，显示TRUE或者FALSE，然后转换数据类型。

横向合并数据(相当于vlookup函数）：选择主表，开始-合并查询，选择副表，选择匹配字段（用来连接两表的字段），连接种类（内连接，左外连接，右外连接），确定，然后选择要显示的字段。

纵向合并流程：将有相同字段名的字段纵向合并到一起，将不同字段名的字段追加在最后，非匹配的字段标记为空值。选择主表，开始-追加查询，选择副表，确定。

错误提示：找不到文件，需在步骤中退回到源的步骤，修改文件路径。

数据处理方法

1、处理重复数据

识别重复行的方法
1：使用公式countif
countif结果大于1，说明有重复值
2：排序关键字段后使用公式if
排序后，如果值等于上一个单元格，说明有重复值
3：利用数据透视表

去重方式
1：Excel数据-排序和筛选-高级-去掉重复值
2：识别重复行后删除
3：power query 开始-删除重复项

2、处理不完整数据

查找缺失值
1，使用CTRL+F
2，使用定位条件CTRL+G
3，利用排序筛选

处理缺失值
1，使用0替换数值类缺失值
2，使用平均值替换数值类缺失值
3，删除含有缺失值的记录或者不对此类记录进行操作
4，暂时保留缺失值行，在有必要时在进行处理

3、处理异常值

根据业务逻辑去判断，或者使用散点图查看

image.png

处理格式错误数据
转换类型：
1，设置格式：设置单元格格式
2，使用分列功能：数据-分列
3，使用公式不全信息后转换：

image.png

需要相互转换的数据类型有：文本型，日期型，数值型

4、数据标准化

1，min-max标准化：新数据=（原数据-极小值）/(极大值-极小值)
2，使用标准分进行标准化：标准分=（原始分-平均分）/标准差
标准差使用STDEV公式计算

5、设置变量权重

加权平均
---纵向和横向对比，横向重要则为1，纵向重要则为0
---横向加总
----每个阶段合计值/合计总值100%
加权平均值=变量1变量1的权重+变量N*变量N的权重

大气质量数据处理案例

image.png

源文件

image.png

处理流程：将数据导入power query中--处理导入的数据--合并个表信息生成完成数据信息

image.png

从日期提取年，月，季度——添加列-日期-年/季度/月

主页—将第一行用作标题