什麼是新pyspark導入的正確方法。熊貓圖書館嗎?

[cconnell]

我現有的移動,熊貓項目工作成磚。我想使用新的pyspark。熊貓庫,並改變我的代碼盡可能少。看來,我應該做到以下幾點:

1)添加從pyspark進口熊貓ps在頂部

2)出現的所有變化pd.pandas_function來ps.pandas_function

這是正確的嗎?

[Dan_Z · Accepted solution]

是的,這是一個偉大的開始。現在代碼覆蓋率為83%,我們正在拍攝為90%。請文件的問題如果你找到一個缺口需要填滿。請注意——熊貓火花(考拉)做一些有趣的事情,它分發大型dataframes的索引。它可能好複習開始在二十20://www.eheci.com/session_na20/koalas-making-an-easy-transition-from-pandas-to-apache-spark

[cconnell]

謝謝你！我將這段代碼移植,將文件問題,我看到它們…https://medium.com/@chuck.connell.3疫苗- vs -死亡-關聯- - -縣一級- 922 - a10236a…

[Hubert_Dudek1]

進口pyspark。熊貓作為ps但代碼覆蓋率是83% @Dan征服者表示,不能保證你的舊代碼將工作。你可以在這裏找到更多的網站//www.eheci.com/blog/2021/10/04/pandas - api -在即將到來的- apache -火星- 3 - 2. - html

[cconnell]

我讀過博客。這是有用的但暗示我可以把代碼從筆記本熊貓引發熊貓通過改變一行的代碼,這似乎並不真實。