concat_ws()拋出AnalysisException時提供太多的列

[gzenz]

你好,

我使用scala中的concat_ws dataframe計算校驗和,即:

df。withColumn(用戶“校驗和”,sha2(功能。concat_ws (" ", dataframe.columns.map (col): _ *), 512年)

我這裏有一個例子隻有24列已經拋出以下異常:org.apache.spark.sql。AnalysisException:不能解決concat_ws(”, <列表的列)

任何想法發生了什麼?我假設列表太長了(char明智的),但是我不知道如何做這個工作。

謝謝!

[Hubert_Dudek1 · Accepted solution]

• 至少一個列名可以有一些奇怪的字符,空格之類的,
• 或至少一列類型不兼容(例如StructType)
• 你可以單獨的代碼兩個或兩個以上的步驟。首先生成列表的列一些變量,比新建連接列比列與沙列。它也更容易調試和更高效的火花,因為它使用懶惰的進化和邏輯/物理和自適應查詢執行計劃。