如果你想分析節點之間的網絡流量在一個特定的集群,您可以在集群上安裝tcpdump和用它來pcap文件轉儲網絡包的細節。pcap文件可以下載到本地機器上進行分析。
創建tcpdump init腳本
運行這個示例腳本在一個筆記本在集群上創建init腳本。
% python dbutils.fs.put (“dbfs: / /磚/ < path-to-init-script > / tcp_dump。sh”、“# !/bin/bash DB_CLUSTER_ID = $ (echo $主機名| awk - f”——“‘{打印1美元”——“2”,“3美元}”)如果[[!- d / dbfs /磚/ tcpdump / $ {DB_CLUSTER_ID}]];然後sudo mkdir - p / dbfs /磚/ tcpdump / $ {DB_CLUSTER_ID} fi BASEDIR = " / dbfs /磚/ tcpdump / $ {DB_CLUSTER_ID} " mkdir - p $ {BASEDIR} MYIP = $ (ip路由得到10 | awk{打印NF美元;退出})回聲”啟動tcpdump“sudo tcpdump - w Y_ % m_ $ {BASEDIR} / trace_ % % d_ % H_ % % S_ m_ $ {MYIP}。pcap - w 1000 - g 1800 - c 200 &回聲“tcpdump發起“”“”,真的)記得init腳本的路徑。你需要它在配置集群。
配置初始化腳本
按照文檔來配置一個集群級init腳本(AWS|Azure|GCP)。
指定init腳本的路徑。使用相同的路徑,你使用的示例腳本(dbfs: / /磚/ < path-to-init-script > / tcp_dump.sh)
在配置init腳本之後,重新啟動集群。
定位pcap文件
一旦集群已經開始,它將自動啟動創建pcap文件包含記錄的網絡信息。
pcap文件位於文件夾dbfs: / /磚/ tcpdump / $ {< cluster-id >}。
下載pcap文件
下載pcap文件下載到本地主機進行分析。