在另一個Azure地區寫作突觸實例

[KTheJoker]

我有一個需要磚的位置在美國中部,它將需要編寫一個突觸實例2在東。按照我的理解,混合基負載利用存儲。通常,它是一個很好的實踐保持所有三個資源在同一地區,但我的客戶他們有一些原因。

我想要一些反饋方法,其中1 TB的數據是由磚寫我們突觸中部東2。任何問題嗎?增量加載將小得多的規模,所以我認為不應該成為一個問題。

[KTheJoker · Accepted solution]

這完全是好但是你的客戶將被一個1 TB的出口費用。

當寫作突觸(假設你使用磚內置連接器(https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/azure/synapse-analytics)你會指定一個tempDir應該存儲賬戶在東我們突觸賬戶訪問。

磚將負責從中央我們存儲的數據複製到東2存儲,然後執行複製命令(或混合基根據磚運行時)。

tempDir可以是wasbs或abfssURI

df。寫.format (com.databricks.spark.sqldw) .option (“url”, " jdbc::狀態"置疑" / / < the-rest-of-the-connection-string >”) .option .option (“forwardSparkAzureStorageCredentials”、“true”)(“數據表”,“< your-table-name >”) .option (“tempDir”、“wasbs: / / < your-container-name > @ < your-storage-account-name >.blob.core.windows.net/ < your-directory-name >”) .save ()

[Hubert_Dudek1]

我將嚐試使用私人端點+ VNET凝視https://azure.microsoft.com/cs-cz/blog/vnet-peering-and-vpn-gateways/但是正如你所說有egrees費用,降低當你將確保你的交通不會離開內部Azure基礎設施(開放型