HIVE 获取所有分区表的表名 2024-01-11

在迁移HDFS和hive的时候需要拿到所有分区表, 并执行MSCK REPAIR TABLE xxx

这个小脚本可以拿到所有表名

# 指定数据库名
database_name="your_database"

# 切换到指定数据库并获取所有表名
tables=$(hive -e "USE $database_name; SHOW TABLES;")

# 遍历每个表
for table in $tables; do
    # 检查表是否为分区表
    partitions=$(hive -e "SHOW PARTITIONS $table" 2>/dev/null)
    if [ -n "$partitions" ]; then
        echo "分区表: $table"
    fi
done

echo 语句可以改成MSCK REPAIR TABLE $table ;
复制结果就可以修复所有分区表

spark-shell 会比较快一点

import org.apache.spark.sql.SparkSession
import scala.util.Try

val spark = SparkSession.builder.appName("ListPartitionedTables").enableHiveSupport().getOrCreate()

// 指定数据库名
val databaseName = "your_database"

// 使用 SQL 来确定哪些表是分区表
def isPartitionedTable(tableName: String): Boolean = {
  Try(spark.sql(s"SHOW PARTITIONS $databaseName.$tableName").count() > 0).getOrElse(false)
}

// 获取数据库中的所有表
val tables = spark.catalog.listTables(databaseName).collect()

// 过滤出分区表
val partitionedTables = tables.filter(table => isPartitionedTable(table.name))

// 打印分区表名
partitionedTables.foreach(table => println(table.name))