升级spark3遇到的问题
https://github.com/cjuexuan/mynote/issues/73
caused by: You may get a different result due to the upgrading of Spark 3.0: reading dates before 1582-10-15 or timestamps before 1900-01-01T00:00:00Z from Parquet files can be ambiguous, as the files may be written by Spark 2.x or legacy versions of Hive, which uses a legacy hybrid calendar that is different from Spark 3.0+'s Proleptic Gregorian calendar. See more details in SPARK-31404. You can set spark.sql.legacy.parquet.datetimeRebaseModeInRead to 'LEGACY' to rebase the datetime values w.r.t. the calendar difference during reading. Or set spark.sql.legacy.parquet.datetimeRebaseModeInRead to 'CORRECTED' to read the datetime values as it is.
//控制写入到parquet中的日期，会根据历法做转换
.config("spark.sql.avro.datetimeRebaseModeInWrite", "CORRECTED")
.config("spark.sql.parquet.datetimeRebaseModeInWrite", "CORRECTED")
.config("spark.sql.parquet.int96RebaseModeInWrite", "CORRECTED")
//此配置仅在Parquet文件的编写器信息(如Spark, Hive)未知时有效。
.config("spark.sql.avro.datetimeRebaseModeInRead", "CORRECTED")
.config("spark.sql.parquet.datetimeRebaseModeInRead", "CORRECTED")
.config("spark.sql.parquet.int96RebaseModeInRead", "CORRECTED")
- EXCEPTION:如果Spark看到两个日历之间有不明确的古老日期/时间戳，将导致写入失败。
- CORRECTED: Spark不会像现在这样做重基和写日期/时间戳
- LEGACY: 当写入Parquet文件时，Spark会将日期/时间戳从预期公历重基到传统混合(儒略历+公历)日历。
变基
名词解释
- 儒略历（Julian Calendar） （1852年前使用的历法）
- 格里高利历（Gregorian Calendar） （1852年开始到至今天使用的历法）
- 倒推格里高利历（proleptic Gregorian calendar）
https://zhuanlan.zhihu.com/p/342965627
日期和日历
Date的定义非常简单:它是年、月和日字段的组合，如(year=2012, month=12, day=31)。但是，年、月和日字段的值具有约束，因此日期值在现实世界中是有效的一天。例如month的取值范围为1 ~ 12,day的取值范围为1 ~ 28/29/30/31(具体取决于年份和月份)，依此类推。
这些约束由许多可能的日历之一定义。其中一些只在特定地区使用，比如农历。其中一些只在历史上使用过，比如儒略历。在这一点上，公历是事实上的国际标准，几乎在世界各地用于民用目的。它于1582年推出，并扩展到支持1582年之前的日期。这种扩展的日历被称为预言公历。
从3.0版本开始，Spark使用Proleptic公历，这已经被其他数据系统(如pandas、R和Apache Arrow)所使用。在Spark 3.0之前，它使用儒略历和公历的组合:1582年之前的日期使用儒略历，1582年之后的日期使用公历。这是从遗留的Java .sql. date API继承而来的，在Java 8中被Java .time取代。LocalDate，它也使用预言公历。
DATE、TIMESTAMP_MILLIS、TIMESTAMP_MICROS逻辑类型的值从预言公历到儒略历的重基模式:
