磚雲環境之間的互操作性

[基於]

而磚目前可用的和集成到三大雲平台(Azure, AWS, GCP),以下是相關的問題遇到的真實場景,Beplay体育安卓版本

1)磚是否可以雲不可知論者(即),以防我們開發筆記本數據工程管道Azure的磚——同樣可以出口和用於其他雲平台中客戶端想要切換雲平台在稍後的時間點嗎?Beplay体育安卓版本

2)如何三角洲湖/表支持在這些環境中在上麵的場景中,例如說:如果包含三角洲表數據的根文件夾複製到另一個雲存儲(例:ADLS S3)和三角洲的表上創建這些數據——將它無縫地工作嗎?

3)在另一個案件中多的雲環境,使用相同的可能性是什麼筆記本/代碼磚工作區整個雲環境

上麵有任何文檔的指針,將有助於得到相同的參考如果可用。

[Hubert_Dudek1]

我有幾個想法:

• 您可以使用相同的運行時版本所以火花肯定在所有雲將是相同的,
• 問題可以有時磚使用額外的新特性,如SQL警報等介紹了他們在不同時期根據平台(通常不是這樣的問題通常是新一開始你使用它隻用於發展/培訓),Beplay体育安卓版本
• 關於在Azure存儲你仍然可以掛載S3和Azure數據湖在AWS連接將不通過專用的私人端點和交通費用將適用,
• 關於代碼“回購”將使你的生活更容易,因為所有的筆記本等可以托管在git (github,代碼提交,Azure devops或其他地方)
• 最大的也可以解決的問題我看代碼自動部署池通過CLI和集群服務器規範不同平台之間(虛擬機名稱、硬盤驅動器名稱)可以讓腳本和一些映射(VM在Azure =什麼VM在AWS)Beplay体育安卓版本

[werners1]

磚希望避免廠商鎖定,所以理論上是雲平台不可知論者。Beplay体育安卓版本

然而,這並不隻是工作。你必須考慮所有的配置在磚工作區和做同樣的配置在其他雲平台上,不是字麵上相同,但在概念上是相同的(例如ADLS vs S3,防火牆,git,壇子,…)。Beplay体育安卓版本

代碼本身。我沒有特定的知識可能沒有可用的雲提供商,預覽功能不包括!

的很酷的是,DBFS,磚的作品是一個語義層物理存儲。

隻要你DBFS路徑是相同的供應商你會好的。

但任何配置應考慮。

[Hubert_Dudek1]

“某些可能性不可以在一個雲提供商”路線圖為每個平台都是不同的。Beplay体育安卓版本我認為今天的情況是所有的平台都是一樣的但可能可以在聖誕節後略有不同Beplay体育安卓版本

[匿名]

你會感興趣的統一目錄。

筆記本應該是相同的所有雲,沒有語法差異。關鍵的事情將會是改變路徑從S3 ADL2和擁有不同的用戶名/登錄不同的賬戶上麵提到的沃納。