06-07-2021上午09:51
示例用例:當連接大型數據集的情節破折號示例應用程序,以測試性能,我需要文件格式hdf5或箭頭。
根據這個文檔:優化PySpark和熊貓DataFrames之間的轉換dataframes之間,似乎可以轉換和箭頭對象用熊貓作為中介,但是有一些限製(例如,它收集DataFrame中的所有記錄的司機,應該做一個小的子集數據)。
這怎麼能沒有類型轉換不成警告和內存不足錯誤?
09-02-202106:41我
你好@josephine.ho!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在論壇上先回答你的問題。否則我們將很快跟進與回複。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。