AnalysisException當運行SQL查詢

[Merchiv]

當運行一些SQL查詢使用spark.sql(…),我們有時得到以下錯誤的變體:

AnalysisException:未定義的函數:current_timestamp。這個函數既不是內置/臨時函數,也不是一個持久性函數spark_catalog.default.current_timestamp資格。第2行pos 35

缺失的功能有時變化(例如,在其他情況下的UUID()),但它們的功能是標準磚SQL內置命令。

的SQL查詢使用pyspark被稱為代碼是在一個模塊中。

例子:

(不是實際的代碼,但是編輯的版本,因為我這裏不能粘貼一切)

我們在筆記本上運行:

從sql_utilities進口example_log_status example_log_status (id、狀態)

從我們的模塊sql_utilities.py進口代碼:

def example_log_status (id、地位):查詢= f”“foo”更新。exampleTable設置狀態= "{地位}”,ModifiedAt = current_timestamp () RunLogId =”““{RunLogId} spark.sql(查詢)

額外信息:

LTS磚運行時:11.3

這隻有當從Azure DataFactory工作計劃。我們不能複製這個手動運行這些查詢。並行工作一般安排在同一集群。

[BilalAslamDbrx]

請打開一個票的支持,這可能是一個錯誤。

[Merchiv]

謝謝,我打開一張票,我將更新的時候我有一個響應。

[Vidula_Khanna]

嗨@Ivo Merchiers

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!

[GRCL]

你好,我們有同樣的問題,因為從Azure數據工廠幾天在執行筆記本:

AnalysisException:未定義的函數:計數。這個函數既不是內置/臨時函數,也不是一個持久的函數作為spark_catalog.default.count合格。

我們嚐試很多事情找到問題,但是沒有找到在哪裏,支持票已被打開……

現在,我們認為,這是相對於SparkContext jar鏈接似乎被打破,如果我們分離和重新筆記本(不需要重新啟動它)。

11.3 LTS