取消
顯示的結果
而不是尋找
你的意思是:

如何壓縮dataframe嗎

amitdatabricksc
新的貢獻者二世

如何壓縮dataframe這樣我得到一個壓縮csv輸出文件。請分享命令。隻有1 dataframe參與,而不是多個。

3回複3

Ryan_Chynoweth
尊敬的貢獻者三世

如果您使用的是pyspark你可以像下麵這樣:

df.coalesce (1) .write.option(“壓縮”、“gzip”) . csv(“路徑”)

注意,合並將減少分區的數量,以便保存為一個文件。除了gzip可以使用bzip2”、“lz4”、“時髦的”,“縮小”。

如果你不使用pyspark然後使用熊貓熊貓可以使用壓縮選項,可以發現在這裏

amitdatabricksc
新的貢獻者二世

如果我的路徑是我的本地目錄,那麼我該如何寫

當我做df.coalesce (1) .write.option(“壓縮”、“gzip”) . csv (“C: /用戶/ ag)”)我得到一個錯誤。

還有,你能提供一個示例輸出路徑blob存儲文件夾

werners1
尊敬的貢獻者三世

寫信給一個本地目錄不工作。

看到這個話題:

https://community.www.eheci.com/s/feed/0D53f00001M7hNlCAJ

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map