取消
顯示的結果
而不是尋找
你的意思是:

spark.read.parquet()——如何檢查文件鎖之前閱讀?(azure)

jakubk
新的貢獻者三世

我有一些python代碼將檢查機關文件從一個adlsv2位置合並成三角洲表(作為一個工作流運行的工作安排)

我試著抓住包裝這所以失敗,任何文件得到進入使用dbutils.fs文件夾失敗。mv時處理的文件歸檔到另一個位置

我遇到一個場景是這樣的:

外部上傳somefile上傳過程。鑲木地板,adlsv2

——工作流的工作開始

——spark.read.parquet()失敗,造成的:. io .IOException:不能讀文件頁腳:

——dbutils.fs。mv移動文件(噓)

——外部過程失敗因為mv刪除目標在上傳過程中

我認為mv會失敗,因為會有獨占鎖在文件上傳,但情況並非如此(? ?)

任何建議如何處理呢?

有沒有辦法讓我檢查一個文件是否鎖定/被寫入?

有什麼錯誤/異常捕獲這個錯誤嗎?我花了一個小時(s)試圖弄明白,但通用的python的不覆蓋它,我得到一個nameerror特定火花的我試一試

2回答2

werners1
尊敬的貢獻者三世

你知道如何文件會被鎖定?因為不應如此(除非該文件實際上是被寫入,所以沒有完成)。

jakubk
新的貢獻者三世

這就是問題所在——它不是被鎖(或fs.mv()不檢查/紀念鎖)。上傳過程/工具是一個3 rd-prty外部工具

我可以看到通過上傳文件上傳工具,是在進步的

我還可以看到0字節adlsv2容器中的目標文件(盡管其上傳)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map