你能使用磚上的熊貓嗎?

熊貓在磚存儲數據哪裏來的呢?

您可以使用熊貓將數據存儲在許多不同的位置數據磚。你的能力來存儲和加載數據從一些位置取決於配置管理員設定的工作空間。

快速勘探和數據不敏感信息,您可以安全地使用相對路徑或保存數據DBFS,比如下麵的例子:

進口熊貓作為pddf=pd。DataFrame([[“一個”,1),(“b”,2),(“c”,3]])df。to_csv(”。/ relative_path_test.csv”)df。to_csv(“/ dbfs / dbfs_test.csv”)

你可以探索文件寫入DBFS和% fs神奇的命令,如以下示例。請注意,/ dbfs這些命令的目錄是根路徑。

% fs ls

當您保存相對路徑,文件的位置取決於你執行你的代碼的地方。如果你使用磚筆記本,您的數據文件保存到卷存儲集群的司機。數據存儲在這個位置是被永久刪除,當集群終止。如果您正在使用磚回購啟用了任意文件支持,數據保存當前項目的根源。在這兩種情況下,您可以探索使用的文件% sh神奇的命令,允許簡單的bash操作相對於當前的根目錄,如以下示例:

% sh ls

對磚存儲各種文件的更多信息,參見如何處理文件數據磚嗎。

你如何加載數據與熊貓磚嗎?

磚提供了大量的選項為探索促進上傳數據到工作區。熊貓的首選方法將數據加載不同取決於你如何加載數據到工作區。

如果你有小數據文件存儲在本地機器上與筆記本電腦,你可以上傳你的數據和代碼一起回購。然後,您可以使用相對路徑加載數據文件。

磚提供廣泛的基於ui選項數據加載。大多數這些選項δ表存儲你的數據。你可以讀一本差值表火花DataFrame,然後它轉換為一個熊貓DataFrame。

如果你有使用DBFS或相對路徑保存的數據文件,您可以使用DBFS或相對路徑重新加載這些數據文件。下麵的代碼提供了一個示例:

進口熊貓作為pddf=pd。read_csv(”。/ relative_path_test.csv”)df=pd。read_csv(“/ dbfs / dbfs_test.csv”)

磚建議將生產數據存儲在雲存儲對象。看到使用Amazon S3中的數據。

如果你在一個聯合Catalog-enabled工作空間,您可以訪問雲存儲與外部的位置。看到管理外部位置和存儲憑證。

你可以直接從S3數據加載使用熊貓和一個完全合格的URL。您需要提供訪問雲數據雲憑證。

df=pd。read_csv(f“s3: / /{bucket_name}/{file_path}”,storage_options={“關鍵”:aws_access_key_id,“秘密”:aws_secret_access_key,“令牌”:aws_session_token})