Q: 在读取文件的时候，如何忽略空 gzip 文件?
A: 从 Spark 2.1 开始，你可以通过启用 spark.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。可以将下面的选项添加到你的 spark-submit 或者 pyspark命令中。
--conf spark.sql.files.ignoreCorruptFiles=true
另外 spark支持的选项可以通过在spark-shell中输入下面的命令查看
scala> sql("SET -v").show(200, false)
参考 # Spark - how to skip or ignore empty gzip files when reading
