dbfs訪問集群和集群互動工作

[Praveen2609]

你好,

我的新磚需要一些了解對我的要求。

我們的要求:

答:我們在azure blob存儲zip文件,我們將該文件dbfs和解壓文件和執行我們在多個步驟的轉換步驟(3),每一步都是在不同的筆記本。所以我們使用3筆記本。

b的輸出1日筆記本成為輸入數據下筆記本已經使用在dbfs通過數據庫中創建表。

c。同樣第三筆記本也從2日筆記本使用產生的輸出。

d。當我們執行這些活動通過交互式集群這一切都好。

問題:

1:在生產中加強集群現在在組織工作將分拆為每個筆記本可以從多個作業我們可以訪問相同的dbfs集群或我們需要安裝一些存儲來處理這種情況。

問候,

Praveen

[Debayan]

嗨,磚使用戶能夠山雲磚文件對象存儲係統(DBFS)來簡化數據訪問模式為用戶不熟悉雲的概念。

相同的Azure blob存儲可以安裝在多個集群。

• 當您創建一個掛載點通過一個集群,集群用戶可以立即訪問掛載點。使用掛載點運行在另一個集群,您必須運行dbutils.fs.refreshMounts(),運行集群使用新創建的掛載點。

請參考:https://learn.microsoft.com/en-gb/azure/databricks/dbfs/mounts——mount-adls-gen2-or-blob-storage-wit……

[Vidula_Khanna]

嗨@praveen rajak

@Debayan穆克吉反應回答你的問題嗎?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

我們很想聽到你的聲音。

謝謝!