緩慢的Azure上的真空性能數據存儲Gen2湖

[gbrueckl]

我們需要我們的一個最大的表上運行真空自由存儲。根據我們的分析使用

真空bigtable排練

這會影響30 m +文件需要刪除。

如果我們最後真空運行,文件列表需要2 h(好),但實際刪除超級慢大約40文件/秒。

我們已經嚐試過不同的集群配置和spark-settings但沒有產生任何重大影響。

瓶頸似乎是單線程刪除的物理文件運行驅動程序一次隻能刪除一個文件。

任何想法如何加速這?

[Kaniz]

你好@gbrueckl!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我們將很快跟進與回複。

[gbrueckl]

所以,任何更新從你或你的同事嗎?

[Kaniz]

你好@gbrueckl,

我轉發這個團隊。

他們很快就會恢複的。

謝謝你的耐心。

[匿名]

@Gerhard Brueckl——對不起,我們仍然沒有一個更新給你。我再次嚐試。