在哪裏存儲集群日誌數據磚的工作。

[kjoth]

我運行一個預定的工作工作集群。我沒有提到集群的日誌位置。我們在哪裏可以得到存儲日誌的位置。

是的,我可以看到運行的日誌,但是我需要日誌的位置。

[kalyani1]

嗨@karthick J你得到這個嗎?

[kalyani1]

@Kaniz開羅

我不能找到日誌存儲默認沒有給出任何路徑在高級選項。請幫我做這個嗎?

[kjoth]

嗨@Sai Kalyani P,是的它幫助。謝謝

[kalyani1]

@karthick J

你能幫我找到日誌位置的位置在哪裏嗎?我無法找到

[kjoth]

嗨@Sai Kalyani P,

在磚的一個集群運行這個命令火花配置

.getAll spark.sparkContext.getConf () ()

上麵的命令將列出所有配置。

在這個返回的結果,尋找這個配置

(“spark.databricks.eventLog。dir”、“事件日誌”)這是事件日誌存儲的地方。

樹脂黃檢查這個屬性,它的默認情況下禁用。

(“spark.eventLog。啟用”、“錯誤”),

檢查這兩個文件。

ls將磚/司機/日誌/ stdout

ls將/磚/ /日誌/火花

默認情況下這些日誌不定期保存。

我們需要提到集群日誌位置,如果我們想要它ti可靠地存儲。