磚

@Nick Studenski,你能嚐試宣布聯合國和pw變量為每個分區的範圍之外?這樣做之前,你隻是通過一個變量在函數而不是dbutils對象。

明白了——使用UnionAll怎麼樣?我相信這個代碼片段做什麼你想要:從pyspark。sql進口行數組=[行(值= 1)、行(值= 2)、行(值= 3)]df = sqlContext.createDataFrame (sc.parallelize(數組))array2 = [(value = 4)行,Ro……

@Deepak Chokkadi %運行不需要dbfs路徑——它把筆記本的路徑從工作區。

1)使用sc.parallelize來創建表。2)注冊隻是一個臨時表。3)你可以繼續添加在這個表中插入語句。注意,SQL支持從其他表插入火花。所以,你可能需要創建臨時表……

您可以使用python庫的火花。我建議使用毛茸茸、軟綿綿計算相似之處。然後你隻需要加入內部數據集的客戶名單。如果你想確保你嚐試每一個客戶名單對實習生…