取消
顯示的結果
而不是尋找
你的意思是:

之前做磚鎖Adls Gen 2中的文件編寫(附加)文件如果是的那麼我們如何獲取文件被鎖定

Akshith_Rajesh
新的貢獻者三世

我有一個要求,我運行2筆記本平行平行我想覆蓋文件。

如果2筆記本試圖覆蓋文件在同一時間,我將失去覆蓋的數據,因為文件在同一時間。

我想要覆蓋該文件通過閱讀和添加一些新行,然後覆蓋。

我們怎麼處理這種情況呢

4回複4

daniel_sahal
尊敬的貢獻者三世

@Rajesh Akshith

δ是酸的抱怨,所以寫入同一個文件平行可能導致失敗。

https://docs.www.eheci.com/lakehouse/acid.html how-does-databricks-implement-consistency

如何處理這種情況,這取決於用例。

我建議分區數據,所以並行進程將r / w不同的文件。

Tayyab_Vohra
貢獻者

嗨@Rajesh Akshith,

你不覺得更好的主意是同時運行的筆記本和寫在不同的文件中,在寫數據您可以添加datetime列,寫的專欄後,你可以將它們合並成一個文件。

整個過程可以實現在同一筆記本或不同取決於你的使用。

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

你好,

ADLS gen1是有限的,用來鎖文件,然而,ADLS gen2支持並行運行到一個特定的大小。

我有兩個在線文章可以幫助:

https://stackoverflow.com/questions/58301154/datalake-locks-on-read-and-write-for-the-same-file

https://social.msdn.microsoft.com/forums/en us/8d354c9b - 588 d - 44 - de - 83 a1 - bac28acc2085/adls gen2 concur..。

請讓我們知道這有幫助。

也請標記@Debayan你的下一個反應,將通知我,謝謝!

Vidula_Khanna
主持人
主持人

嗨@Rajesh Akshith

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map