Spark SQL和DataFrames重要的类有：

• pyspark.sql.SQLContext： DataFrame和SQL方法的主入口
• pyspark.sql.DataFrame： 将分布式数据集分组到指定列名的数据框中
• pyspark.sql.Column ：DataFrame中的列
• pyspark.sql.Row： DataFrame数据的行
• pyspark.sql.HiveContext： 访问Hive数据的主入口
• pyspark.sql.GroupedData： 由DataFrame.groupBy()创建的聚合方法集
• pyspark.sql.DataFrameNaFunctions： 处理丢失数据(空数据)的方法
• pyspark.sql.DataFrameStatFunctions： 统计功能的方法
  -pyspark.sql.functions DataFrame：可用的内置函数
• pyspark.sql.types： 可用的数据类型列表
• pyspark.sql.Window： 用于处理窗口函数

4.pyspark.sql.Column(jc):DataFrame的一列

# 1. Select a column out of a DataFrame
df.colName
df["colName"]
# 2. Create from an expression
df.colName + 1
1 / df.colName

4.1.alias(*alias):使用新名称返回此列的别名

>>> df.select(df.age.alias("age2")).collect()
[Row(age2=2), Row(age2=5)]

4.2.asc():基于给定名称的升序返回一个排序表达式

4.3.astype():将列转换为dataType类型

df.select(df.age.astype('string').alias('age')).collect()
[Row(ages=u'2'), Row(ages=u'5')]
from pyspark.sql.types import StringType
df.select(df.age.astype(StringType()).alias('age').collect()
[Row(ages=u'2'), Row(ages=u'5')]

4.4.between(lowerBound,upperBound):一个布尔表达式，如果此表达式的值位于给定列之间，则该表达式的值为TRUE

df.select(df.name,df.age.between(2,4)).show()
+-----+--------------------------+
| name|((age >= 2) && (age <= 4))|
+-----+--------------------------+
|Alice|                      true|
|  Bob|                     false|
+-----+--------------------------+

4.5.bitwiseAND(other):二元运算符

4.6.bitwiseOR(other):二元运算符

4.7.bitwiseXOR(other):二元运算符

4.8.cast(dataType):将列表转换为dataType类型

df.select(df.age.cast('string').alias('ages')).collect()

4.9.desc():基于给定列名称的降序返回一个排序表达式

4.10.getField(name):在tructField中通过名称获取字段的表达式

from pyspark.sql import Row
df = sc.parallelize([Row(r=Row(a=1,b='b))]).toDF()
df.select(df.r.getField('b')).show()
+----+
|r[b]|
+----+
|   b|
+----+
>>> df.select(df.r.a).show()
+----+
|r[a]|
+----+
|   1|
+----+

4.11.getItem(key):从列表中获取位置序号项，或者通过字段的key获取项的表达式

df = sc.parallelize([([1, 2], {"key": "value"})]).toDF(["l", "d"])
df.show()
+------+--------------+
|     l|             d|
+------+--------------+
|[1, 2]|[key -> value]|
+------+--------------+
df.select(df.l.getItem(0), df.d.getItem("key")).show()
+----+------+
|l[0]|d[key]|
+----+------+
|   1| value|
+----+------+
df.select(df.l[0], df.d["key"]).show()
+----+------+
|l[0]|d[key]|
+----+------+
|   1| value|
+----+------+

4.12.inSet(*cols):一个布尔表达式，如果此表达式的值由参数的评估值包含，则该值被评估为TRUE.注：在1.5中已过时,用Column.isin()代替。

>>> l=[('Alice',2),('Bob',5)]
>>> df = sqlContext.createDataFrame(l,['name','age'])
>>> df[df.name.inSet("Bob", "Mike")].collect()
[Row(name=u'Bob', age=5)]
>>> df[df.age.inSet([1, 2, 3])].collect()
[Row(name=u'Alice', age=2)]

4.13.isNotNull():如果当前表达式不为null，则为真。

4.14.isNull():如果当前表达式为null，则为真。

4.15.isin(*cols):个布尔表达式，如果此表达式的值由参数的评估值包含，则该值被评估为true。

>>> df[df.name.isin("Bob", "Mike")].collect()
[Row(name=u'Bob', age=5)]
>>> df[df.age.isin([1, 2, 3])].collect()
[Row(name=u'Alice', age=2)]

4.16.like(other):二元运算符

4.17.otherwise(value):评估条件列表并返回多个可能得结果表示之一。如果不调用Column.otherwise(),则不匹配条件返回None。例如，请参阅pyspark.sql.functions.when()

1.value：一个文字值或一个Column表达式
from pyspark.sql import functions as F
df.select(df.name,F.when(df.age>3,1).otherwise(0)).show()
+-----+---------------------------------+
| name|CASE WHEN (age > 3) THEN 1 ELSE 0|
+-----+---------------------------------+
|Alice|                                0|
|  Bob|                                1|
+-----+---------------------------------+

4.18.over(window):定义一个窗口列

1.window：一个windowspec
2.返回：一列
注：Window方法仅再HiveContext1.4支持。

4.19.rlike(other):二元运算符

4.20.startwith(other):二元运算符

4.21.substr(startPos,length):返回一个新列，它是列的一个子字符串

1.startPos:起始位置（int或者Column）
2.length:子串的长度（int或者Column）
>>> l=[('Alice',2),('Bob',5)]
>>> df = sqlContext.createDataFrame(l,['name','age'])
>>> df.select(df.name.substr(1, 3).alias("col")).collect()
[Row(col=u'Ali'), Row(col=u'Bob')]

4.22.when(condition,value):评估条件列表并返回多个可能得结果表达式之一。如果不调用Column.otherwise(),则不匹配条件返回None。例如，请参阅pyspark.sql.functions.when()。

1.condition:一个布尔型表达式
2.value:一个文字值或者一个表达式
>>> from pyspark.sql import functions as F
>>> df.select(df.name, F.when(df.age > 4, 1).when(df.age < 3, -1).otherwise(0)).show()
+-----+--------------------------------------------------------+
| name|CASE WHEN (age > 4) THEN 1 WHEN (age < 3) THEN -1 ELSE 0|
+-----+--------------------------------------------------------+
|Alice|                                                      -1|
|  Bob|                                                       1|
+-----+--------------------------------------------------------+

[引用原文]（https://www.cnblogs.com/wonglu/p/7941417.html#autoid-0-0-0）