Data Flow Function(最新)

49 filter

  • 可以通过 根据自己需求对表进行过滤,等同于sql的where


    image.png

50 Aggregate

  • 有两个参数,group by分组, aggregate 分组后的表达式SUM AVG COUNT


    image.png

51Join

  • join 类似于sql里的join,有union,left join,right join, cross join,inner join(交集)

52 condition split

  • 根据条件将一个表分成多个表


    image.png

53 derived column

  • 对列进行修改,可以是修改原来的列的数据,也可以根据条件增加新的列,例如将原来的一列分为两列等

54Exists

  • 求两个表的交集,输出一个新的交集表

55 union

  • 和SQL的UNION 功能一样

56 look up

  • 类似于Left join,但是只能是2个表之间

57. sort

和sql里sort 一样,用来排序

58 new branch

  • 一个data flow 里,如果一个source需要多次使用,那么就使用new branch


    image.png

59 select

  • 对一个数据源进行简单的行和列的处理

60 pivot

  • 行转列,和sql的概念一样


    image.png

    使用data flow 实现上面的表格
    1.group by name
    2.pivot by course
    3.表达式


    image.png

    4.实现
    image.png

61 unpivot

  • 列转行

62 surrogate key

  • 添加一个新的列,可以指定从1开始

63 window

  • 等于sql 的over (PARTITION BY xx order by XX desc)
select id, name, rank() over(partittion by dep_id order by salary desc)
  • 使用data flow实现上面的语句


    image.png

64 alter row

  • 根据条件更改表的行,
    注意:alter row最后的sink必须是database

65 flatten

  • 用来扁平化json

66 parameter

image.png

68 schema drift

  • 不勾选allow schema drift,向前补位,例如有 id和name列,删除了id,name就补去了id,name变空

69-71 wrangling

  • 没学

74 Azure devops

75 azure key value

  1. 创建key value


    image.png
  2. 创建secret,其中value值是blob的 connection string


    image.png
  3. 创建过程中会出现权限问题,在key value的Access control里面给当前的用户添加key - value administrator的权限,这里我们使用Key Value的是data factory,所以需要将该DF的名字加入


    image.png

82 Cache

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容