模(又名餘數)表達式。

布爾和。

/ / Scala:以下選擇的人在學校和工作在同一時間。人。選擇(people(“優異”)& & (“加上”))Java: / /人。選擇(人。坳(“優異”),(people.col (“加上”)));

這個表達式,另一個表達式的乘法。

/ / Scala:下麵增加一個人的身高,體重。人。選擇(people(“高度”)*人(“重量”))Java: / /人。選擇(人。坳(“高度”).multiply (people.col (“重量”)));

這個表達式和另一個表達式。

/ / Scala:以下選擇的和一個人的身高和體重。人。選擇(people(“高度”)+ (“重量”))Java: / /人。選擇(人。坳(“高度”)的話語(people.col (“重量”)));

減法。從這個表達式減去其他表達式。

/ / Scala:以下選擇人的身高和體重之間的區別。人。選擇(people(“高度”)- - -人(“重量”))Java: / /人。選擇(人。坳(“高度”).minus (people.col (“重量”)));

部門這個表達式由另一個表達式。

/ / Scala:以下劃分一個人的身高,體重。人。選擇(people(“高度”)/人(“重量”))Java: / /人。選擇(人。坳(“高度”).divide (people.col (“重量”)));

不到。

/ / Scala:以下選擇年輕的人比21。人。選擇(people(“年齡”)<21)Java: / /人。選擇(人。坳(“年齡”)中的(21));

小於或等於。

/ / Scala:以下選擇人21歲或未滿21歲。人。選擇(people(“年齡”)< =21)Java: / /人。選擇(人。坳(“年齡”).leq (21));

平等為null值測試是安全的。

不平等的測試。

/ / Scala:df。選擇(df (“可樂”)= != df (“colB”df))。選擇(!(df(“可樂”)= = = df (“colB”)))Java: / /進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).notEqual(坳(“colB”)));

平等的測試。

/ / Scala:df。過濾器(df (“可樂”)= = = df (“colB”))/ / Java進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).equalTo(坳(“colB”)));

大於。

/ / Scala:以下選擇21歲以上的人。人。選擇(people(“年齡”)>21)Java: / /進口靜態org.apache.spark.sql.functions。*;人。選擇(人。坳(“年齡”)gt (21));

大於或等於一個表達式。

/ / Scala:以下選擇21人21歲或以上。人。選擇(people(“年齡”)> =21)Java: / /人。選擇(人。坳(“年齡”).geq (21))

給列別名。一樣作為。

/ /重命名可樂colB選擇輸出。df.select ($“可樂”.alias (“colB”))

布爾和。

/ / Scala:以下選擇的人在學校和工作在同一時間。人。選擇(people(“優異”)& & (“加上”))Java: / /人。選擇(人。坳(“優異”),(people.col (“加上”)));

提取一個值從一個複雜類型或值。支持以下類型的提取:

• 給定一個數組,一個整數序數可以用來檢索單個值。
• 給定一個圖,一個關鍵的正確類型可以用於檢索單個值。
• 給定一個結構體,一個字符串字段名可以用來提取該字段。
• 給定一個結構數組,字符串字段名可以用來提取申請每一個結構體的數組,並返回字段的數組。

給出了與元數據列別名。

瓦爾元數據:元數據=…df.select ($“可樂”。as (“colB”、元數據)

給列別名。

/ /重命名可樂colB選擇輸出。df.select ($“可樂”。as (“colB”))

如果當前列具有與之相關的元數據,這些元數據將被傳遞到新列。如果這不是理想的,可以使用API(別名:字符串,元數據:元數據)用顯式的元數據。

分配給定的別名來表生成函數的結果。

/ /重命名可樂colB選擇輸出。df.select(爆炸(美元“關聯”)。as (“關鍵”::“價值”::Nil))

(Scala-specific)分配給定的別名表生成函數的結果。

/ /重命名可樂colB選擇輸出。df.select(爆炸(美元“關聯”)。as (“關鍵”::“價值”::Nil))

給列別名。

/ /重命名可樂colB選擇輸出。df.select ($“可樂”。as (“colB”))

如果當前列具有與之相關的元數據,這些元數據將被傳遞到新列。如果這不是理想的,可以使用API(別名:字符串,元數據:元數據)用顯式的元數據。

提供了一種暗示的預期返回值這一列。這些信息可以通過操作等選擇在一個數據集JVM自動將結果轉換為正確的類型。

返回一個表達式基於列的升序排序。

/ / Scala: DataFrame年齡列按升序排序。df.sort (df (“年齡”.asc)/ / Javadf.sort (df.col (“年齡”).asc ());

返回一個表達式基於列的升序排序,之前和null值返回空值。

/ / Scala: DataFrame年齡列按升序排序和null值出現。df.sort (df (“年齡”.asc_nulls_first)/ / Javadf.sort (df.col (“年齡”).asc_nulls_first ());

返回一個表達式基於列的升序排序,和null值出現在非空值。

/ / Scala: DataFrame年齡列按升序排序和null值出現。df.sort (df (“年齡”.asc_nulls_last)/ / Javadf.sort (df.col (“年齡”).asc_nulls_last ());

是:如果當前列是下界和上界,包容性。

計算位和表達式與另一個表達式。

df.select ($“可樂”.bitwiseAND ($“colB”))

這個表達式計算按位或與另一個表達式。

df.select ($“可樂”.bitwiseOR ($“colB”))

這個表達式的計算位XOR和另一個表達式。

df.select ($“可樂”.bitwiseXOR ($“colB”))

投不同數據類型的列,使用規範化字符串表示的類型。支持的類型有:字符串,布爾,字節,短,int,長,浮動,雙,小數,日期,時間戳。

/ /將可樂轉換為整數。df.select (df (“可樂”).cast (“int”))

不同數據類型的列。

/ /強製類型轉換IntegerType可樂。進口org.apache.spark.sql.types。IntegerType df.select (df (“可樂”).cast (IntegerType))/ /相當於df.select (df (“可樂”).cast (“int”))

包含了其他元素。返回一個布爾列基於字符串匹配。

返回一個表達式基於列的降序排序。

/ / Scaladf.sort (df (“年齡”.desc)/ / Javadf.sort (df.col (“年齡”).desc ());

返回一個表達式基於列的降序排序,和null值出現在非空值。

/ / Scala:按照降序DataFrame年齡列進行排序和null值出現。df.sort (df (“年齡”.desc_nulls_first)/ / Javadf.sort (df.col (“年齡”).desc_nulls_first ());

返回一個表達式基於列的降序排序,和null值出現在非空值。

/ / Scala:按照降序DataFrame年齡列進行排序和null值出現。df.sort (df (“年齡”.desc_nulls_last)/ / Javadf.sort (df.col (“年齡”).desc_nulls_last ());

部門這個表達式由另一個表達式。

/ / Scala:以下劃分一個人的身高,體重。人。選擇(people(“高度”)/人(“重量”))Java: / /人。選擇(人。坳(“高度”).divide (people.col (“重量”)));

滴字段的一個表達式StructType的名字。這是一個空操作如果模式不包含字段名(年代)。

瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.dropFields (“b”))/ /結果:{“a”: 1}瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.dropFields (“c”))/ /結果:{“a”: 1、“b”: 2}瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2 ' c ', 3) struct_col”)df.select(美元)“struct_col”.dropFields (“b”,“c”))/ /結果:{“a”: 1}瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.dropFields (“一個”,“b”))/ /結果:org.apache.spark.sql。AnalysisException:cannot resolve 'update_fields(update_fields(`struct_col`))' due to data type mismatch: cannot drop all fields in struct瓦爾df = sql (“選擇(NULL作為struct < int, b: int >) struct_col”)df.select(美元)“struct_col”.dropFields (“b”))/ /結果:零struct類型的<答:int >瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2 ' b ', 3) struct_col”)df.select(美元)“struct_col”.dropFields (“b”))/ /結果:{“a”: 1}瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.dropFields (“a.b”))/ /結果:{" a ": {“a”: 1}}瓦爾df = sql (“選擇named_struct (a, named_struct (' b ', 1), a, named_struct (' c ', 2)) struct_col”)df.select(美元)“struct_col”.dropFields (“交流”))/ /結果:org.apache.spark.sql。AnalysisException:Ambiguous reference to fields

這種方法支持如直接刪除多個嵌套的字段。

瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.dropFields (“a.b”,“交流”))/ /結果:{" a ": {“a”: 1}}

然而,如果你要掉多個嵌套的字段,它是更優的提取出嵌套結構之前刪除多個字段如。

瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“一個”美元,“struct_col.a”.dropFields (“b”,“c”)))/ /結果:{" a ": {“a”: 1}}

與另一個字符串文字字符串結束。返回一個布爾列基於字符串匹配。

字符串結尾。返回一個布爾列基於字符串匹配。

平等為null值測試是安全的。

平等的測試。

/ / Scala:df。過濾器(df (“可樂”)= = = df (“colB”))/ / Java進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).equalTo(坳(“colB”)));

將表達式打印到控製台用於調試目的。

大於或等於一個表達式。

/ / Scala:以下選擇21人21歲或以上。人。選擇(people(“年齡”)> =21)Java: / /人。選擇(人。坳(“年齡”).geq (21))

一個表達式中的一個字段的名字StructType。

一個表達式,得到一個項目的位置序數一個數組,或被鍵值關鍵在一個MapType。

大於。

/ / Scala:以下選擇21歲以上的人。人。選擇(people(“年齡”)>點燃(21))Java: / /進口靜態org.apache.spark.sql.functions。*;人。選擇(人。坳(“年齡”)gt (21));

SQL ILIKE表達式(不分大小寫)。

一個布爾表達式計算為true如果這個表達式的值包含由所提供的集合。

注意:由於集合中的元素的類型推斷隻在運行時,將“up-casted”的元素比較的最常見的類型。如:1)對於“Int vs字符串”,“Int”將up-casted“字符串”和比較的樣子“字符串和字符串”。2)在“浮vs雙”,“浮動”將up-casted“替身”,比較會看起來像“雙vs雙”

一個布爾表達式計算為true如果這個表達式的值包含由所提供的集合。

注意:由於集合中的元素的類型推斷隻在運行時,將“up-casted”的元素比較的最常見的類型。如:1)對於“Int vs字符串”,“Int”將up-casted“字符串”和比較的樣子“字符串和字符串”。2)在“浮vs雙”,“浮動”將up-casted“替身”,比較會看起來像“雙vs雙”

如果當前表達式是南。

是:如果當前表達式不是零。

如果當前表達式是null。

一個布爾表達式計算為true如果這個表達式的值包含評估值的參數。

注意:由於在列表中元素的類型推斷隻有在運行時,這些元素將“up-casted”最常見的類型的比較。如:1)對於“Int vs字符串”,“Int”將up-casted“字符串”和比較的樣子“字符串和字符串”。2)在“浮vs雙”,“浮動”將up-casted“替身”,比較會看起來像“雙vs雙”

小於或等於。

/ / Scala:以下選擇人21歲或未滿21歲。人。選擇(people(“年齡”)< =21)Java: / /人。選擇(人。坳(“年齡”).leq (21));

SQL表達式。返回一個布爾值基於SQL列匹配。

不到。

/ / Scala:以下選擇年輕的人比21。人。選擇(people(“年齡”)<21)Java: / /人。選擇(人。坳(“年齡”)中的(21));

減法。從這個表達式減去其他表達式。

/ / Scala:以下選擇人的身高和體重之間的區別。人。選擇(people(“高度”)- - -人(“重量”))Java: / /人。選擇(人。坳(“高度”).minus (people.col (“重量”)));

模(又名餘數)表達式。

這個表達式,另一個表達式的乘法。

/ / Scala:下麵增加一個人的身高,體重。人。選擇(people(“高度”)*人(“重量”))Java: / /人。選擇(人。坳(“高度”).multiply (people.col (“重量”)));

給列名稱(別名)。

/ /重命名可樂colB選擇輸出。df.select ($“可樂”. name (“colB”))

如果當前列具有與之相關的元數據,這些元數據將被傳遞到新列。如果這不是理想的,可以使用API(別名:字符串,元數據:元數據)用顯式的元數據。

不平等的測試。

/ / Scala:df。選擇(df (“可樂”)! = = df (“colB”df))。選擇(!(df(“可樂”)= = = df (“colB”)))Java: / /進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).notEqual(坳(“colB”)));

布爾或。

/ / Scala:以下選擇的人在學校或工作。人。過濾器(人(“優異”)| |人(“加上”))Java: / /人。過濾器(people.col (“優異”)或者(people.col (“加上”)));

評估條件的列表並返回多個可能的結果表達式之一。如果沒有定義的最後,否則返回空的無與倫比的條件。

/ /例如:性別字符串列成整數編碼。/ / Scala:people.select(當人(“性別”)= = =“男性”,0)當(人(“性別”)= = =“女性”,1).otherwise (2))Java: / /people.select(當(坳(“性別”).equalTo (“男性”),0)當(坳(“性別”).equalTo (“女性”),1).otherwise (2))

定義一個空分析條款。在這種情況下,應用解析函數,提出了結果集的所有行。

df。選擇(金額(“價格”).over (), avg (“價格”).over ())

定義一個窗口列。

瓦爾w = Window.partitionBy (“名稱”).orderBy (“id”df)。選擇(金額(“價格”).over (w.rangeBetween (Window.unboundedPreceding,2)),avg (“價格”).over (w.rowsBetween (Window.currentRow,4)))

這個表達式和另一個表達式。

/ / Scala:以下選擇的和一個人的身高和體重。人。選擇(people(“高度”)+ (“重量”))Java: / /人。選擇(人。坳(“高度”)的話語(people.col (“重量”)));

SQL RLIKE表達式(如與正則表達式)。返回一個布爾值列基於正則表達式的匹配。

字符串開始與另一個字符串。返回一個布爾列基於字符串匹配。

字符串開始的。返回一個布爾列基於字符串匹配。

返回一個字符串表達式。

返回一個字符串表達式。

反演的布爾表達式,即不是。

/ / Scala:選擇行不活躍(isActive = = = false)df。過濾器(! df (“isActive”))Java: / /進口靜態org.apache.spark.sql.functions。*;df。過濾器(不是(df.col (“isActive”)));

一元-,即否定表達。

/ / Scala:選擇列和否定所有的值。df。選擇(df (“數量”))Java: / /進口靜態org.apache.spark.sql.functions。*;df。選擇(否定(坳(“數量”));

評估條件的列表並返回多個可能的結果表達式之一。如果沒有定義的最後,否則返回空的無與倫比的條件。

/ /例如:性別字符串列成整數編碼。/ / Scala:people.select(當人(“性別”)= = =“男性”,0)當(人(“性別”)= = =“女性”,1).otherwise (2))Java: / /people.select(當(坳(“性別”).equalTo (“男性”),0)當(坳(“性別”).equalTo (“女性”),1).otherwise (2))

一個表達式添加/替換字段StructType的名字。

瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.withField (“c”點燃(3)))/ /結果:{“a”: 1、“b”: 2,“c”: 3}瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.withField (“b”點燃(3)))/ /結果:{“a”: 1、“b”: 3}瓦爾df = sql (“選擇(NULL作為struct < int, b: int >) struct_col”)df.select(美元)“struct_col”.withField (“c”點燃(3)))/ /結果:零struct類型的< int, b: int, c: int >瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2 ' b ', 3) struct_col”)df.select(美元)“struct_col”.withField (“b”點燃(One hundred.)))/ /結果:{“a”: 1、“b”: 100年,“b”: 100}瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“交流”點燃(3)))/ /結果:{" a ": {“a”: 1、“b”: 2,“c”: 3}}瓦爾df = sql (“選擇named_struct (a, named_struct (' b ', 1), a, named_struct (' c ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“交流”點燃(3)))/ /結果:org.apache.spark.sql。AnalysisException:Ambiguous reference to fields

這種方法支持添加/更換直接如嵌套的字段。

瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“交流”點燃(3).withField (“公元”點燃(4)))/ /結果:{" a ": {“a”: 1、“b”: 2,“c”: 3,“d”: 4}}

然而,如果你想添加/替換多個嵌套的字段,它是更優的提取出添加/更換多個字段如前嵌套的結構體。

瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“一個”美元,“struct_col.a”.withField (“c”點燃(3).withField (“d”點燃(4))))/ /結果:{" a ": {“a”: 1、“b”: 2,“c”: 3,“d”: 4}}

布爾或。

/ / Scala:以下選擇的人在學校或工作。人。過濾器(人(“優異”)| |人(“加上”))Java: / /人。過濾器(people.col (“優異”)或者(people.col (“加上”)));

不平等的測試。

/ / Scala:df。選擇(df (“可樂”)! = = df (“colB”df))。選擇(!(df(“可樂”)= = = df (“colB”)))Java: / /進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).notEqual(坳(“colB”)));