我們可以用下麵的步驟來推動集群日誌彈性搜索:
1。下載log4j-elasticsearch-java-api回購並構建jar文件:
git克隆https://github.com/Downfy/log4j-elasticsearch-java-api.gitcd log4j-elasticsearch-java-api / mvn清潔安裝-Dmaven.test.skip = true
2。去圖書館集群的標簽和上傳的jar文件(位於/目標/ log4j-elasticsearch-1.0.0-RELEASE.jar)。現在的jar文件應該保存到DBFS位置是這樣的:
dbfs: / FileStore /罐/ 9294 d79f_8d33_4270_9a52_cc36c2651220 log4j_elasticsearch_1_0_0_release - 970 d7.jar
3所示。Zip 30依賴jar文件在/目標/ lib成一個文件的依賴。zip文件並將其複製到DBFS。例如,您可以使用磚CLI DBFS上傳的文件:
dbfs mkdir dbfs: / dilip / elkzip / dbfs mkdir dbfs: / dilip / elkjar / dbfs cp桌麵/ log4j-elasticsearch-java-api /目標/依賴。zip dbfs: / dilip / elkzip /
4所示。將jar文件解壓縮到另一個使用followig筆記本命令DBFS位置:
% sh解壓/ dbfs dilip / elkzip /依賴。zip - d / dbfs / dilip elkjar /
5。Python筆記本運行以下命令來創建init腳本(請更改文件名和路徑):
% python dbutils.fs.put (" / dilip / init腳本/ setLog4jProperties。sh”、“”“# !/bin/bash設置- e cp / dbfs / FileStore /罐/ 9294 d79f_8d33_4270_9a52_cc36c2651220 log4j_elasticsearch_1_0_0_release - 970 d7。jar /磚/罐/ cp / dbfs / dilip / elkjar / *。jar /磚/罐/貓< < EOF > > /磚/火花/ dbconf / log4j /司機/ log4j。# RootLogger log4j屬性。rootLogger = INFO, stdout,彈性#閾值log4j日誌記錄。閾值=所有# # stdout # * stdout *添加到根記錄器上如果你想使用這個# log4j.appender.stdout = org.apache.log4j。ConsoleAppender log4j.appender.stdout.layout = org.apache.log4j。PatternLayout log4j.appender.stdout.layout。ConversionPattern = % d {ISO8601} % 5 p % c {2} (% F: % M L (%)) - M % n % # ElasticSearch log4j appender申請log4j.appender.elastic = com.letfy.log4j.appenders。ElasticSearchClientAppender log4j.appender.elastic.elasticHost =內部vip - elasticsearh int - dev - 7645241416321. - 2. -西方- elb.amazonaws.com log4j.appender.elastic。主機名= my_laptop log4j.appender.elastic。applicationName = elkdemo log4j.appender.elastic。elasticIndex = logging-elk log4j.appender.elastic。elasticType =日誌EOF”“”,真的)
6。去集群- >“高級選項”- >“Init腳本”,然後按照章節中概述的步驟配置集群級Init腳本使用UI”在接下來的文檔(在我們的例子中,初始化腳本的路徑是dbfs: / dilip / Init腳本/ setLog4jProperties.sh)
https://docs.www.eheci.com/clusters/init-scripts.html cluster-scoped-init-scripts
7所示。重新啟動集群並檢查驅動日誌。現在應該可以在你的彈性搜索日誌。
