如何將每一行的df數組的行(行)列表

[SailajaB]

你好,

如何將每一行的dataframe數組的行嗎?

這是我們的場景中,我們需要傳遞每一行的dataframe函數作為dict應用轉換的關鍵水平。但正如我們的數據是非常巨大的,我們不能用收集df.toJson () .collect()遍曆每一行,因為它隻使用驅動程序的內存。

請在這裏添加你的建議。

謝謝你！

[Hubert_Dudek1]

優化性能,我會寫熊貓矢量化功能和注冊udf。https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.functions.pandas_udf.html

如果是一次去還可以使用基本的火花像foreachhttps://spark.apache.org/docs/3.1.1/api/python/reference/api/pyspark.sql.DataFrame.foreach.html

[SailajaB]

@Hubert杜德克,謝謝你的回複。

我們是新的亞行。使用以下代碼,尋找一個優化的方法

.collect dfJSONString = df.toJSON () ()

stringList = []

在dfJSONString行:

# = = = = = = = = # Unflatten JSON字符串

jsonString = unflatten (json.loads(行),dictreg [reg.upper ()))

stringList.append (json.dumps (jsonString))

謝謝你！

[Dan_Z · Accepted solution]

你有兩個選擇:

1. 常規PySpark UDF,你定義一個函數,接受一個原始DF作為輸入,並返回一行。看到文檔。
2. 熊貓UDF,你定義一個函數,一塊在DF的行作為輸入,並返回的行。看到文檔。

選項2是大多數性能,但它涉及在許多行操作。然而,一個常見的方法是定義一個行級函數PandasUDF和稱之為使用一個蘋果。看一看文檔和嚐試一些選項。

[jose_gonzalez]

嗨@Sailaja B,

隻是一個友好的後續。你看到丹的反應嗎?你有任何後續問題或你可以選擇丹的最好的答案嗎?