在辦公時間,我問一年前添加清洗集群日誌API,甚至不考慮。我認為硒。
您可以限製為集群通過玩log4j日誌記錄,例如,把下麵類似. sh腳本放在dbfs作為集群的啟動腳本(你需要另外指定日誌屬性調整的司機和執行人):
# !/bin/bash回聲”DB_IS_DRIVER美元上執行司機:“如果[[$ DB_IS_DRIVER = " TRUE "]];然後LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /司機/ log4j。其他屬性”LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /執行人/ log4j。“fi回聲”調整log4j屬性。屬性:$ {LOG4J_PATH}“回聲”log4j。< custom-prop > = <價值> " > > $ {LOG4J_PATH}
在筆記本上,您可以禁用日誌記錄通過使用:
sc.setLogLevel(“關閉”);
此外,對於集群配置,您可以設置為三角洲文件:
spark.databricks.delta.logRetentionDuration spark.databricks.delta.deletedFileRetentionDuration 3天3天
在辦公時間,我問一年前添加清洗集群日誌API,甚至不考慮。我認為硒。
您可以限製為集群通過玩log4j日誌記錄,例如,把下麵類似. sh腳本放在dbfs作為集群的啟動腳本(你需要另外指定日誌屬性調整的司機和執行人):
# !/bin/bash回聲”DB_IS_DRIVER美元上執行司機:“如果[[$ DB_IS_DRIVER = " TRUE "]];然後LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /司機/ log4j。其他屬性”LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /執行人/ log4j。“fi回聲”調整log4j屬性。屬性:$ {LOG4J_PATH}“回聲”log4j。< custom-prop > = <價值> " > > $ {LOG4J_PATH}
在筆記本上,您可以禁用日誌記錄通過使用:
sc.setLogLevel(“關閉”);
此外,對於集群配置,您可以設置為三角洲文件:
spark.databricks.delta.logRetentionDuration spark.databricks.delta.deletedFileRetentionDuration 3天3天
不是最好的解決方案,將不會執行這樣的刺激,但它是最好的答案,謝謝!