HUE 的 Oozie 中获取 'yyyy-MM-dd' 格式前一天的时间
${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'DAY'), 'yyyy-MM-dd')}
使用sqoop导入数据至hive常用语句
- 直接导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name--username user_name --table table_name --hive-import -m 5- 内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hive表名相同的表，3，将hdfs上数据传入hive表中
- sqoop根据postgresql表创建hive表
sqoop create-hive-table --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-table hive_table_name( --hive-partition-key partition_name若需要分区则加入分区名称) - 导入hive已经创建好的表中
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-import -m 5 --hive-table hive_table_name (--hive-partition-key partition_name --hive-partition-value partititon_value);
- sqoop根据postgresql表创建hive表
- 内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hive表名相同的表，3，将hdfs上数据传入hive表中
- 使用query导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --query "select ,* from retail_tb_order where \$CONDITIONS" --hive-import -m 5 --hive-table hive_table_name (--hive-partition-key partition_name --hive-partition-value partititon_value);- 注意：$CONDITIONS条件必须有，query子句若用双引号，则$CONDITIONS需要使用\转义，若使用单引号，则不需要转义。
Sqoop-从hive导出分区表到MySQL
经多次验证，发现并没有特殊的方法能够直接把多个分区一次性读入，并插入MySQL的方法，以后发现会在此添加。
Sqoop只提供了从MySQL导入到HIVE分区表的相关参数，反向并无特别参数。
从HIVE分区表导入到MySQL，需要依次导入每个分区的数据
sqoop export \
--connect jdbc:mysql://server74:3306/Server74 \
--username root \
--password 123456 \
--table dw_pvs_hour \
--hive-partition-key datestr \
--hive-partition-value ‘2017-11-05’ \
--export-dir /user/hive/warehouse/dw_pvs_hour/datestr=2017-11-15/ \
--input-fields-terminated-by '\001' \
--input-lines-terminated-by '\n'
根据官方文档的说法，---export-dir这个参数是必须的，指定hive表源文件路径后，sqoop回到路径下路径下的文件，文件不是路径否则报错。所以分区表需要单独指定每个分区的目录，分别导入。
The --export-dir argument and one of --table or --call are required. These specify the table to populate in the database (or the stored procedure to call), and the directory in HDFS that contains the source data.
b l o g.c s d n.n e t/lichangzai/article/details/88709796
| 常量表示形式 | 含义说明 |
|---|---|
| ${coord:minutes(int n)} | 返回日期时间：从一开始，周期执行n分钟 |
| ${coord:hours(int n)} | 返回日期时间：从一开始，周期执行n * 60分钟 |
| ${coord:days(int n)} | 返回日期时间：从一开始，周期执行n * 24 * 60分钟 |
| ${coord:months(int n)} | 返回日期时间：从一开始，周期执行n * M * 24 * 60分钟（M表示一个月的天数） |
| ${coord:endOfDays(int n)} | 返回日期时间：从当天的最晚时间（即下一天）开始，周期执行n * 24 * 60分钟 |
| ${coord:endOfMonths(1)} | 返回日期时间：从当月的最晚时间开始（即下个月初），周期执行n * 24 * 60分钟 |
| ${coord:current(int n)} | 返回日期时间：从一个Coordinator动作（Action）创建时开始计算，第n个dataset实例执行时间 |
| ${coord:dataIn(String name)} | 在输入事件（input-events）中，解析dataset实例包含的所有的URI |
| ${coord:dataOut(String name)} | 在输出事件（output-events）中，解析dataset实例包含的所有的URI |
| ${coord:offset(int n, String timeUnit)} | 表示时间偏移，如果一个Coordinator动作创建时间为T，n为正数表示向时刻T之后偏移，n为负数向向时刻T之前偏移，timeUnit表示时间单位（选项有MINUTE、HOUR、DAY、MONTH、YEAR） |
| ${coord:hoursInDay(int n)} | 指定的第n天的小时数，n>0表示向后数第n天的小时数，n=0表示当天小时数，n<0表示向前数第n天的小时数 |
| ${coord:daysInMonth(int n)} | 指定的第n个月的天数，n>0表示向后数第n个月的天数，n=0表示当月的天数，n<0表示向前数第n个月的天数 |
| ${coord:tzOffset()} | ataset对应的时区与Coordinator Job的时区所差的分钟数 |
| ${coord:latest(int n)} | 最近以来，当前可以用的第n个dataset实例 |
| ${coord:future(int n, int limit)} | 当前时间之后的dataset实例，n>=0，当n=0时表示立即可用的dataset实例，limit表示dataset实例的个数 |
| ${coord:nominalTime()} | nominal时间等于Coordinator Job启动时间，加上多个Coordinator Job的频率所得到的日期时间。例如：start=”2009-01-01T24:00Z”，end=”2009-12-31T24:00Z”，frequency=” |
| ${coord:actualTime()} | Coordinator动作的实际创建时间。例如：start=”2011-05-01T24:00Z”，end=”2011-12-31T24:00Z”，frequency=”${coord:days(1)}”，则实际时间为：2011-05-01，2011-05-02，2011-05-03，…，2011-12-31 |
| ${coord:user()} | 启动当前Coordinator Job的用户名称 |
| ${coord:dateOffset(String baseDate, int instance, String timeUnit)} | 计算新的日期时间的公式：newDate = baseDate + instance * timeUnit，如：baseDate=’2009-01-01T00:00Z’，instance=’2′，timeUnit=’MONTH’，则计算得到的新的日期时间为’2009-03-01T00:00Z’。 |
| ${coord:formatTime(String timeStamp, String format)} | 格式化时间字符串，format指定模式 |
例如，昨天的日期就可以写为昨天日期 ${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'DAY'), 'yyyy-MM-dd')}
例：年月日小时
${coord:formatTime(coord:nominalTime(), 'dd')}
${coord:formatTime(coord:nominalTime(), 'MM')}
${coord:formatTime(coord:nominalTime(), 'yyyy')}
${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'HOUR'), 'HH')}
