有辦法CONCAT兩dataframes兩側的軸(行/列)和轉置dataframe PySpark嗎?

[RiyazAli]

我重塑dataframe按要求和我遇到這情況我連接2 dataframes然後更換它們。我做這之前使用熊貓,熊貓的語法如下:

熊貓作為pd df1 = pd.DataFrame導入(some_dict) df2 = pd.DataFrame new_df = pd (some_dict)。concat ([df1 df2],軸=“列”)#疊加dfs並排trans_df = new_df.transpose()或隻是new_df.T

有一種我在PySpark可以這樣做嗎?任何領導將不勝感激。

[RiyazAli]

嗨@Kaniz開羅,

我不再看到答案你已經發布了,但是我看到你被建議使用“聯盟”。根據我的理解,結合用於堆棧的dfs在另一個類似的模式/列名。

以我的情況,我有2個不同的DataFrames不同列(和模式),但相同數量的記錄。我想它們堆並排。

為e。g: DF1 2列(a和b)和10行和DF2有3列(x, y, z)相同的10行。我想要結果DataFrame 10行5列(a, b, c, d, e)。

謝謝你！

[Kaniz]

嗨@Riyaz阿裏,這個配方幫助你棧兩個DataFrames Pyspark水平。請讓我知道這是否有幫助。

[RiyazAli]

謝謝@Kaniz開羅,這解決了問題的一半,另一半是我需要轉置的pyspark dataframe。任何幫助嗎?

[Kaniz · Accepted solution]

嗨@Riyaz阿裏,這是一個通用的轉置方法(TransposeDF)可以轉置引發數據幀。點擊這裏完整的技術細節。請讓我知道是否對你有幫助。