PythonException:“RuntimeError:在標量輸出迭代器的長度熊貓UDF應該相同的輸入;然而,輸出是1的長度和輸入的長度是2。'。

[Ancil]

pandas_udf,其為1行工作,但我試著與多個行得到以下錯誤。

PythonException:“RuntimeError:在標量輸出迭代器的長度熊貓UDF應該相同的輸入;然而,輸出是1的長度和輸入的長度是2。'。

代碼

@func.pandas_udf (StringType ()) def find_data(輸入:迭代器[pd.Series]) (pd - >迭代器。係列:在輸入:輸入——做邏輯回路,如果等產量pd.Series (str (result_json)) df = df.withColumn (“outData find_data (“inputData”))

[Hubert_Dudek1 · Accepted solution]

我正在測試,你的函數是正確的。所以你需要在inputData有一個錯誤

(都是字符串)或result_json類型。也請檢查運行時版本。我用11個LTS。

[Ancil]

由於@Hubert杜德克。讓我檢查版本。

[Ancil]

嗨@Hubert杜德克

我試過了,硬編碼的數據幀輸入數據,其按預期工作。

但如果是相同加載數據從文件獲得上述錯誤,你有什麼想法。