熊貓API火花

請注意

這個特性可以在集群運行磚運行時的10.0(不支持)及以上。為集群運行磚運行時9.1 LTS下麵,請使用考拉代替。

常用的數據科學家,熊貓是一個Python包,它提供了簡單易用的數據結構和數據分析工具的Python編程語言。但是,大熊貓不規模大數據。熊貓熊貓API火花填補了這一空白,提供相同的API, Apache火花。熊貓API火花不僅為熊貓用戶有用而且PySpark用戶,因為熊貓API支持許多火花與PySpark任務困難,例如繪製數據直接從PySpark DataFrame。

需求

熊貓API在Apache 3.2引發火花可以開始(包括開始磚運行時的10.0(不支持)通過使用以下)進口聲明:

進口pyspark.pandas作為ps

筆記本

下麵的筆記本顯示了如何從熊貓遷移到熊貓API火花。

熊貓熊貓API在火花筆記本

在新標簽頁打開筆記本

資源