以編程方式與工作區文件

您可以通過編程方式與工作區文件存儲在數據磚。這使任務,如:

  • 存儲較小的數據文件和筆記本和代碼。

  • 寫日誌文件與Git目錄同步。

  • 導入模塊使用相對路徑。

  • 創建或修改一個環境規範文件。

  • 從筆記本寫輸出。

  • 如Tensorboard寫作輸出執行庫。

你可以閱讀和導入工作區文件使用磚回購的磚運行時8.4或以上。您可以通過編程方式創建、編輯和刪除工作區中的文件數據磚運行時11.2及以上。

請注意

禁用寫入工作區文件,設置集群環境變量WSFS_ENABLE_WRITE_SUPPORT = false。有關更多信息,請參見環境變量。

工作區文件讀取數據

您可以通過編程方式讀取小數據文件等. csv或. json文件從代碼在您的筆記本電腦。下麵的示例使用熊貓查詢存儲在一個文件/數據相對於根目錄的項目回購:

進口熊貓作為pddf=pd。read_csv(”。/數據/ winequality-red.csv”)df

您可以使用火花來讀取數據文件。你必須提供火花的完全限定路徑。在回購工作區文件使用的道路文件:/工作區/回購/ <用戶文件> / < repo-name > /文件。

你可以複製文件的絕對或相對路徑回購從旁邊的下拉菜單文件:

文件下拉菜單

下麵的例子顯示了使用{os.getcwd ()}的完整路徑。

進口操作係統火花。讀。格式(“csv”)。負載(f“文件:{操作係統。getcwd()}/ my_data.csv”)

了解更多關於磚上的文件,看到如何處理文件數據磚嗎。

以編程方式創建、更新和刪除文件和目錄

在磚運行時的11.2及以上,可以直接操作工作區中的文件數據磚。下麵的例子使用標準的Python包和功能來創建和操作文件和目錄。

#創建一個新目錄操作係統。mkdir(“dir1”)#創建一個新文件和寫與開放(“dir1 / new_file.txt”,“w”)作為f:f。寫(“新內容”)#添加到一個文件與開放(“dir1 / new_file.txt”,“一個”)作為f:f。寫(“繼續”)#刪除一個文件操作係統。刪除(“dir1 / new_file.txt”)#刪除一個目錄操作係統。刪除文件夾(“dir1”)