沒有覆蓋的標準方法log4j自定義配置的集群配置。必須使用初始化腳本覆蓋配置文件。
當前配置存儲在兩個目錄中log4j . properties文件:
- 關於司機:
%sh cat /home/ubuntu/ databicks /spark/dbconf/log4j/driver/log4j.properties
- 關於工人:
%sh cat /home/ubuntu/ databicks /spark/dbconf/log4j/executor/log4j.properties . sh /home/ubuntu/ databicks /spark/dbconf/log4j .properties
要在驅動程序或工人上設置特定於類的日誌，使用以下腳本:
% sh # !if [[$DB_IS_DRIVER = "TRUE"]]];然後LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /司機/ log4j。/home/ubuntu/databricks/spark/dbconf/log4j/executor/log4j. properties" else LOG4J_PATH="/home/ubuntu/databricks/spark/dbconf/log4j/executor/log4j. properties" else LOG4J_PATH="調整log4j. properties" fi echo "${LOG4J_PATH}" echo "log4j. properties=" >> ${LOG4J_PATH}
取代< custom-prop >屬性名，和<值>屬性值。
將腳本上傳到DBFS，並使用集群配置UI選擇一個集群。
你也可以設置log4j . properties對司機來說也是一樣。