Pyspark日誌——自定義Azure blob掛載的目錄

[kjoth]

我使用日誌模塊日誌事件的工作,但似乎創建文件的日誌隻有1行。連續日誌事件未被記錄。有什麼參考自定義登錄數據磚。

[Kaniz]

嗨@karthick J,請讓我知道如果這個線程幫助:-

https://community.www.eheci.com/s/question/0D53f00001GHVNHCA5/how-to-add-i-custom-logging-in-databr..。

[Kaniz]

嗨@karthick J,當您創建您的集群在磚,有一個選項卡,您可以指定日誌目錄(默認空)。

日誌寫在DBFS,所以你隻需要指定你想要的目錄。

[kjoth]

謝謝你的回答。

而不是集群日誌,我想隻有特定的程序運行日誌記錄到一個文件與旋轉。有辦法寫日誌和append模式安裝blob存儲目錄。我讀過在data-bricks文件寫不支持append模式。

[jose_gonzalez · Accepted solution]

嗨@karthick J,

如果你想創建一個自定義日誌,那麼您將需要使用log4j來創建你的日誌記錄器。的第一篇文章將向您展示如何去做。如果你想保存你的捕獲的事件,那麼您將需要遵循第二個帖子Kaniz共享。你會閱讀它時需要分析你的數據。