功能

適用於:勾選“是”磚運行時

Spark SQL提供了兩個函數特性來滿足廣泛的需求:內置函數和用戶定義函數(udf)。

內置函數

本文介紹了用於聚合、數組和映射、日期和時間戳以及JSON數據的常用內置函數類別的用法和描述。

SQL用戶定義函數

SQL用戶定義函數(udf)是您可以自己定義的函數，可以返回標量值或結果集。

看到創建函數(sql)獲取更多信息。

用戶定義函數

當係統內置函數不足以執行所需的任務時，udf允許您定義自己的函數。要使用udf，首先定義函數，然後向Spark注冊該函數，最後調用已注冊的函數。UDF可以作用於單行，也可以同時作用於多行。Spark SQL還支持集成現有的Hive實現的udf、用戶自定義聚合函數(UDAF)和用戶自定義表函數(UDTF)。