設置執行器日誌級別

了解如何在Databricks執行器上設置日誌級別。

寫的亞當Pavlacka

最後發布時間:2022年3月4日
刪除

警告

本文描述了與客戶使用Log4j 1相關的步驟。在Databricks集群中使用。Log4j 1。x不再維護，並且有三個已知的cve (cve - 2021 - 4104，cve - 2020 - 9488,cve - 2019 - 17571)．如果您的代碼使用其中一個受影響的類(JMSAppender或SocketServer)，您的使用可能會受到這些漏洞的潛在影響。

要在所有執行器上設置日誌級別，必須在每個worker的JVM中設置。

例如:

% scala sc.parallelize (Seq(" "))。foreachPartition(x => {import org.apache.log4j. log。{LogManager, Level}導入org.apache.commons.logging.LogFactory LogManager. getrootlogger ().setLevel(Level.DEBUG) val log = LogFactory.getLog(" execute - log:") log. DEBUG ("START EXECUTOR調試日誌級別")})

要驗證級別是否已設置，請導航到火花UI，選擇執行人選項卡，並打開stderr任何執行程序的日誌:

這篇文章有用嗎?