@Kaniz Fatma @John Lourdu @Vidula卡納
嗨,團隊,
我設法下載日誌使用磚命令行如下:
1。得到那份工作運行id使用下麵命令#磚運行列表| grep - i運行2。確定集群id使用run id #磚集群列表| grep <從上麵的命令運行id > 3。日誌從磚集群複製到本地桌麵#磚fs cp - r <磚日誌的位置/ <集群id從上麵的命令> <位置在我桌麵>
問候,
拉傑什。
接待員:Kannan @Rajesh
下載事件,司機和執行人日誌在磚工作,您可以按照以下步驟:
請注意下載日誌功能可以在磚企業版和磚Community Edition。然而,特定的日誌文件可供下載可能取決於磚集群配置和運行工作的用戶的權限。
@Rajesh Kannan R可以配置集群日誌交付工作或互動集群。你可以選擇DBFS或S3 / ADLS作為目的地。一旦配置所有日誌包括驅動、遺囑執行人日誌事件日誌將被送到目的地。您可以使用重播sparkUI使用事件日誌如果sparkUI沒有加載集群終止後的工作。
https://docs.www.eheci.com/archive/compute/configure.html cluster-log-delivery-1
https://kb.www.eheci.com/clusters/replay-cluster-spark-events?from_search=113068791