如何設置Apache卡夫卡磚嗎

了解如何設置Apache卡夫卡磚。

寫的亞當Pavlacka

去年發表在:2022年5月18日

本文解釋了如何設置Apache卡夫卡在AWS EC2機器上並連接磚。以下是所需的高水平的步驟創建一個卡夫卡集群,從磚筆記本連接。

表的內容

步驟1:創建一個新的VPC AWS 第二步:啟動新VPC EC2實例 步驟3:新EC2實例上安裝卡夫卡和管理員 步驟4:兩個vpc同行 步驟5:從一個筆記本訪問卡夫卡代理

步驟1:創建一個新的VPC AWS

  1. 當創建新的VPC,設置新的VPC CIDR範圍比磚VPC CIDR的範圍不同。例如:

    • 磚VPCvpc-7f4c0d18CIDR IP範圍10.205.0.0/16。
      磚VPC的例子。
    • 新VPCvpc-8eb1faf7CIDR IP範圍10.10.0.0/16。
      新VPC的例子。
  2. 創建一個新的互聯網網關和附加新VPC的路由表。這允許您向EC2 ssh啟動下VPC的機器。

    • 創建一個新的互聯網網關。
      設置新的互聯網網關。
    • 將它附加到VPCvpc-8eb1faf7。
      附加VPC網關。

第二步:啟動新VPC EC2實例

在新VPC啟動EC2實例vpc-8eb1faf7在步驟1中創建的。

啟動新VPC EC2。

步驟3:新EC2實例上安裝卡夫卡和管理員

  1. SSH密鑰對的機器。
    ssh -我密鑰對。pem ec2 - user@ec2 - xx, xxx - xx - xxx.us -西方- 2. - compute.amazonaws.com
  2. 卡夫卡下載並解壓存檔。
    wget https://apache.claz.org/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz焦油-zxf kafka_2.12-0.10.2.1.tgz
  3. 動物園管理員開始過程。
    cd kafka_2.12-0.10.2.1 bin / zookeeper-server-start。sh配置/ zookeeper.properties
  4. 編輯配置/ server.properties文件和設置10.10.143.166的私有IP EC2節點。
    advertised.listeners =明文:/ 10.10.143.166:9092
  5. 卡夫卡代理開始。
    cd kafka_2.12-0.10.2.1 bin / kafka-server-start。sh配置/ server.properties

步驟4:兩個vpc同行

  1. 創建一個新的連接。
    設置一個新的對等連接。
  2. 對等連接添加到磚VPC的路由表和新卡夫卡VPC在步驟1中創建的。

    • 在卡夫卡VPC,進入路由表並添加磚VPC的路線。
      卡夫卡VPC路由表。
    • 磚VPC,進入路由表並添加卡夫卡VPC的路線。
      磚VPC的路由表。

有關更多信息,請參見VPC凝視。

步驟5:從一個筆記本訪問卡夫卡代理

  1. 驗證您可以達到運行卡夫卡的EC2實例和telnet代理。
    telnet輸出示例。
  2. SSH到卡夫卡代理。
    % sh ssh -我密鑰對。pem ec2 - user@ec2 - xx, xxx - xx - xxx.us -西方- 2. - compute.amazonaws.com
  3. 創建一個新的主題在卡夫卡代理從命令行。
    % sh bin / kafka-console-producer。sh——券商名單上localhost: 9092——文章wordcount <許可證
  4. 讀取數據在一個筆記本上。
    % scala org.apache.spark.sql.functions進口。_ val卡夫卡=火花。readStream .format .option (“kafka.bootstrap(“卡夫卡”)。服務器”、“10.10.143.166:9092”).option(“訂閱”,“wordcount”) .option (“startingOffsets”、“最早”)顯示(卡夫卡)