49 filter
-
可以通过 根据自己需求对表进行过滤，等同于sql的where
image.png
50 Aggregate
-
有两个参数,group by分组， aggregate 分组后的表达式SUM AVG COUNT
image.png
51Join
- join 类似于sql里的join，有union,left join,right join, cross join,inner join(交集)
52 condition split
-
根据条件将一个表分成多个表
image.png
53 derived column
- 对列进行修改，可以是修改原来的列的数据，也可以根据条件增加新的列，例如将原来的一列分为两列等
54Exists
- 求两个表的交集，输出一个新的交集表
55 union
- 和SQL的UNION 功能一样
56 look up
- 类似于Left join，但是只能是2个表之间
57. sort
和sql里sort 一样，用来排序
58 new branch
-
一个data flow 里，如果一个source需要多次使用，那么就使用new branch
image.png
59 select
- 对一个数据源进行简单的行和列的处理
60 pivot
-
行转列，和sql的概念一样
image.png
使用data flow 实现上面的表格
1.group by name
2.pivot by course
3.表达式
image.png
4.实现
image.png
61 unpivot
- 列转行
62 surrogate key
- 添加一个新的列，可以指定从1开始
63 window
- 等于sql 的over (PARTITION BY xx order by XX desc)
select id, name, rank() over(partittion by dep_id order by salary desc)
-
使用data flow实现上面的语句
image.png
64 alter row
- 根据条件更改表的行，
注意：alter row最后的sink必须是database
65 flatten
- 用来扁平化json
66 parameter
image.png
68 schema drift
- 不勾选allow schema drift，向前补位，例如有 id和name列，删除了id，name就补去了id,name变空
69-71 wrangling
- 没学
74 Azure devops
75 azure key value
-
创建key value
image.png -
创建secret，其中value值是blob的 connection string
image.png -
创建过程中会出现权限问题，在key value的Access control里面给当前的用户添加key - value administrator的权限，这里我们使用Key Value的是data factory，所以需要将该DF的名字加入
image.png
