06-16-202105:39我
在試圖讀100 gb的csv。gz文件從火花永遠正在讀,最好選擇讀這個文件速度是什麼?
06-17-202104:06點
問題的一部分是,. gz文件不是可剝離。如果你有一個巨大的100 gb . gz文件,它隻能處理一個任務。你能改變你的輸入使用可剝離壓縮bz2嗎?它會工作得更好。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
