创建SparkContent和SqlContent
from pyspark import SparkContext
from pyspark.sql import SQLContext
url = "jdbc:mysql://172.20.51.134:3308/test"
table = "backend_dataset"
properties = {"user":"root","password":"123456"}
sc = SparkContext() #创建spark上线文
sqlContext = SQLContext(sc) #创建sqlContext
spark执行数据查询
#获取目标表信息访问对象
df = sqlContext.read.jdbc(url,table,properties = properties)
query_sql = "select name,create_date from backend_dataset order by name"
#指定数据查询表
df.registerTempTable("backend_dataset") #跟上面指定的表名一致
# 执行sql查询
df2 = sqlContext.sql(query_sql)
#转换pandas的df
pd_df = df2.toPandas()
遇到错误
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
