取消
顯示的結果
而不是尋找
你的意思是:

我如何使用非火花相關庫喜歡寬大的磚和火花嗎

User16752239203
新的因素

我有一個NLP我在本地機器上構建的應用程序使用寬大的和熊貓,但現在我想我的應用程序很大生產規模數據集和利用火花分布式計算的好處。我如何進口和利用圖書館像寬大的磚/火花嗎?

1回複1

sean_owen
尊敬的貢獻者二世
尊敬的貢獻者二世

這取決於你的意思,但是如果你隻是想(說)標記和並行處理數據和寬大的,然後這是微不足道的。寫一個“熊貓UDF”函數,表示你想怎麼用寬大的轉換數據,熊貓DataFrame輸入。那麼你就將之運用到熊貓UDF和引發你的數據;火花會自動將您的數據為大熊貓DataFrames,應用你的函數,並處理結果。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map