spark通过jdbc可以从oracle中直接读取数据，返回dataframe。有时由于数据量较大，我们可以采用分区方式通过jdbc多线程并行从oracle中读取数据。
- oracle中的数据如下
TIME字段是年月，为字符串类型，ACCOUNT_BOOK为INT类型
image.png
object OraclePartitionReadTest {
def main(args: Array[String]): Unit = {
val spark = spark = SparkSession.builder()
.appName(appName)
.master("local")
.getOrCreate()
// 1. 通过jdbc从oracle中直接读取数据，不分区
val dfReadFromOra = spark.read.jdbc(url, "tableName", properties)
println(dfReadFromOra.count())
/* 2. 通过设定字段的条件来划分分区。
如下把TIME字段，按日期区间划分为两个子区间，[2018-01，2018-12]为一个区间，[2019-01，2019-12]为一个区间。定义一个字符串数组来存放区间，区间个数即为spark从oracle读取数据时的分区个数。
*/
val whereClause = Array("TIME>='2018-01' AND TIME <= '2018-13'", "TIME >= '2019-01' AND TIME <= '2019-12'")
val dfReadFromOraByPartUseWhereClause = spark.read.jdbc(url,"tableName", whereClause, oracleProp)
println(dfReadFromOraByPartUseWhereClause.rdd.getNumPartitions) // 打印分区个数
println(dfReadFromOraByPartUseWhereClause.count())
/* 3. 针对数值类型的字段ACCOUNT_BOOK，设定上边界和下边界，并指定分区个数，jdbc方法会根据这三个条件划分分区从oracle读取数据。
*/
val dfReadFromOraByPartitionUseBound = spark.read.jdbc(url, "tableName", "ACCOUNT_BOOK", 2000, 2500, 5，oracleProp)
println(dfReadFromOraByPartitionUseBound .rdd.getNumPartitions) // 打印分区个数
println(dfReadFromOraByPartitionUseBound.count())
}
}
通过验证，采用分区的方式从oracle中读取数据，提升读取数据的效果很明显。 分区个数根据情况而定，如果分区个数较大，可能会影响oracle数据库的正常运行。百十个分区一般不会有问题。
