取消
顯示的結果
而不是尋找
你的意思是:

孤兒(?)上的文件數據磚S3 bucket

alejandrofm
價值貢獻

嗨,我是看到很多空(而不是)目錄等航線:

xxxxxx.jobs / FileStore / job-actionstats /

xxxxxx.jobs / FileStore / job-result /

xxxxxx.jobs /命令的結果

我可以創建一個生命周期,刪除舊的對象(文件/目錄)?多少天?這種情況下的最佳實踐是什麼?

還有其他的目錄需要生命周期配置嗎?

謝謝!

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

在辦公時間,我問一年前添加清洗集群日誌API,甚至不考慮。我認為硒。

您可以限製為集群通過玩log4j日誌記錄,例如,把下麵類似. sh腳本放在dbfs作為集群的啟動腳本(你需要另外指定日誌屬性調整的司機和執行人):

# !/bin/bash回聲”DB_IS_DRIVER美元上執行司機:“如果[[$ DB_IS_DRIVER = " TRUE "]];然後LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /司機/ log4j。其他屬性”LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /執行人/ log4j。“fi回聲”調整log4j屬性。屬性:$ {LOG4J_PATH}“回聲”log4j。< custom-prop > = <價值> " > > $ {LOG4J_PATH}

在筆記本上,您可以禁用日誌記錄通過使用:

sc.setLogLevel(“關閉”);

此外,對於集群配置,您可以設置為三角洲文件:

spark.databricks.delta.logRetentionDuration spark.databricks.delta.deletedFileRetentionDuration 3天3天

在原帖子查看解決方案

4回複4

Hubert_Dudek1
尊敬的貢獻者三世

在管理控製台中,有幹淨的存儲,您可以使用的選項。

所有可配置(DB位置,檢查站),請使用您的存儲控製來控製它。

image.png

alejandrofm
價值貢獻

這就跟你問聲好!現在我不知道,清除,是否有辦法安排,所以日誌保留較少的時間嗎?也許我想保持的最後7天一切嗎?

謝謝!

Hubert_Dudek1
尊敬的貢獻者三世

在辦公時間,我問一年前添加清洗集群日誌API,甚至不考慮。我認為硒。

您可以限製為集群通過玩log4j日誌記錄,例如,把下麵類似. sh腳本放在dbfs作為集群的啟動腳本(你需要另外指定日誌屬性調整的司機和執行人):

# !/bin/bash回聲”DB_IS_DRIVER美元上執行司機:“如果[[$ DB_IS_DRIVER = " TRUE "]];然後LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /司機/ log4j。其他屬性”LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /執行人/ log4j。“fi回聲”調整log4j屬性。屬性:$ {LOG4J_PATH}“回聲”log4j。< custom-prop > = <價值> " > > $ {LOG4J_PATH}

在筆記本上,您可以禁用日誌記錄通過使用:

sc.setLogLevel(“關閉”);

此外,對於集群配置,您可以設置為三角洲文件:

spark.databricks.delta.logRetentionDuration spark.databricks.delta.deletedFileRetentionDuration 3天3天

不是最好的解決方案,將不會執行這樣的刺激,但它是最好的答案,謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map