06-11-2021上午11:55
我有一個NLP我在本地機器上構建的應用程序使用寬大的和熊貓,但現在我想我的應用程序很大生產規模數據集和利用火花分布式計算的好處。我如何進口和利用圖書館像寬大的磚/火花嗎?
06-17-202104:23點
這取決於你的意思,但是如果你隻是想(說)標記和並行處理數據和寬大的,然後這是微不足道的。寫一個“熊貓UDF”函數,表示你想怎麼用寬大的轉換數據,熊貓DataFrame輸入。那麼你就將之運用到熊貓UDF和引發你的數據;火花會自動將您的數據為大熊貓DataFrames,應用你的函數,並處理結果。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。