我們最近在升級的過程中我們的磚集群LTS 11.3版本。作為升級的一部分,我們一直在努力整合引發事件的日誌LogAnalytics使用可用的存儲庫https://github.com/mspnp/spark-monitoring/tree/l4jv2。
然而,我們遇到了一個問題,以前的某些信息可以在azure日誌分析表SparkLoggingEvent_CL LTS 10.4似乎失蹤的11.3 LTS版。這個問題的一個具體的例子是有關“消息”字段。在LTS 10.4中,使用的“消息”字段包含驅動程序日誌消息,但與11.3 LTS在我們當前的設置,這個領域似乎是填充空間,和司機日誌消息都出現在這一領域。
我們正在接觸請請求你幫助解決這個問題。對我們來說是至關重要的準確捕捉和分析這些驅動程序日誌消息提供有價值的見解火花應用程序的行為。你能指導我們如何確保司機日誌消息被正確地記錄和反映在“消息”字段作為他們在之前的版本嗎?
任何見解、建議或故障排除步驟你可以提供將不勝感激。我們理解你的專業知識,相信你的指導將大大幫助我們克服這一挑戰。
