SSH到集群驅動節點

如何SSH Apache火花集群驅動節點在Azure虛擬網絡嗎

寫的xin.wang

去年發表在:2023年3月15日

這篇文章解釋了如何使用SSH連接到一個Apache火花司機節點為先進的故障診斷和安裝定製軟件。

刪除

警告

你隻能使用SSH如果工作區是部署在一個Azure虛擬網絡(聯接)在你的控製之下的。如果您的工作區不是VNet注入SSH選項不會出現。此外,NPIP工作區不支持SSH。

配置一個Azure網絡安全組

與你相關的網絡安全組聯接必須允許SSH流量。SSH的默認端口是2200。如果你使用一個自定義的端口,您應注意到它在繼續之前。你也必須識別流量來源。這可能是一個單一的IP地址,也可以是一個IP範圍代表整個辦公室。

  1. 在Azure門戶,找到網絡安全組。網絡安全組名可以在公眾的子網。
  2. 編輯入站安全規則允許連接SSH端口。在這個例子中,我們使用默認端口。
刪除

信息

確保你的電腦和辦公防火牆規則允許你發送TCP流量端口使用SSH。如果SSH端口阻塞在辦公室電腦或防火牆,你不能通過SSH連接到Azure聯接。

生成SSH密鑰對

  1. 打開一個本地終端。
  2. 通過運行這個命令創建一個SSH密鑰對:
    ssh - keygen rsa - t - b 4096 - c
刪除

信息

您必須提供目錄的路徑你想保存的公鑰和私鑰。擴展.pub公鑰保存。

與你的公鑰配置一個新的集群

  1. 複製整個公鑰文件的內容。
  2. 打開集群配置頁麵。
  3. 點擊高級選項。
  4. 單擊SSH選項卡。
  5. 將公鑰的整個內容粘貼到公鑰字段。
  6. 繼續正常集群配置。

現有的集群配置您的公鑰

如果你有一個現有的集群和集群創建期間沒有提供的公鑰,可以注入一個筆記本的公鑰。

  1. 打開任何筆記本連接到集群。
  2. 將下麵的代碼複製到筆記本、更新與您的公鑰指出:
    % scala val publicKey = " <這裏把你的公鑰>“def addAuthorizedPublicKey(關鍵:字符串):單位= {val fw =新java.io.FileWriter (“/ home / ubuntu /。ssh / authorized_keys”, / *添加* /真正的弗蘭克-威廉姆斯。寫(“\ n”+鍵)fw.close ()} addAuthorizedPublicKey (publicKey)
  3. 運行代碼塊將公鑰。

SSH到火花司機

  1. 打開集群配置頁麵。
  2. 點擊高級選項。
  3. 單擊SSH選項卡。
  4. 注意驅動主機名。
  5. 打開一個本地終端。
  6. 運行以下命令,取代了主機名和私鑰文件路徑:
    ssh ubuntu@ <主機名> 2200 - p - i < private-key-file-path >


這篇文章有用嗎?