什麼“確定DBIO文件碎片的位置……”的意思是,我怎麼加速?

[ajaypanday6781]

確定的位置DBIO文件片段。這個操作可能要花費一些時間。

這是什麼意思,我怎麼阻止它每次都必須執行這個apparently-expensive操作嗎?這種情況即使所有底層表三角洲表。

[LandanG · Accepted solution]

嘿,@Ajay Pandey,

相關信息是δ緩存,基本上如果集群不斷擴大或偶爾你可能會失去三角洲緩存碎片。確定DBIO文件碎片的位置操作確定哪些執行人文件緩存。

這是可以通過努力幫助一個更新的DBR如11.3或12. x。你也可以嚐試關閉緩存通過設置以下配置在筆記本上和觀察的行為:

spark.conf.set (“spark.databricks.io.cache。啟用”、“假”)

你也可以嚐試優化表(年代)

% sql優化(表名)

[ajaypanday6781]

謝謝

[AdrianLobacz]

這是一個三角洲緩存信息。它決定了執行人的緩存,緩存路由任務最佳位置。優化你的表更頻繁地減少將使這個文件更好

你可以嚐試:

% sql優化(表名)

[ajaypanday6781]

謝謝