從磚AWS安全地訪問外部數據源

通過Itai韋斯

2019年3月8日, 在產品

分享這篇文章

磚統一的分析平台,由最初的創造者Apache火花Beplay体育安卓版本^TM,帶來了數據工程師,科學家和業務分析師和數據在一個平台。Beplay体育安卓版本它允許他們合作,創造下一代的創新產品和服務。為了創建所需的分析這些下一代產品,科學家和工程師需要訪問各種數據源的數據的數據。除了雲中的數據塊存儲如S3,他們需要這些數據通常是位於數據庫等服務,甚至來自位於不同的vpc流數據來源。

安全地連接到“non-S3”外部數據源

出於安全目的,磚Apache火花集群部署在一個孤立的VPC致力於磚在客戶的帳戶。為了運行數據的工作負載,需要磚火花的集群之間的安全連接,上麵的數據源。

是簡單的磚集群位於磚VPC訪問數據從AWS S3不是VPC特定的服務。然而,我們需要一個不同的解決方案來訪問數據來源等其他vpc部署在AWS紅移,RDS數據庫、流數據從動作或卡夫卡。這個博客將指導您完成一些可用的選項來訪問數據安全地從這些來源和成本考慮部署在AWS上。為了建立一個安全連接,這些數據源,我們將配置數據磚VPC與以下兩個選項之一:

選項1:VPC凝視

磚集群之間的安全連接和其他non-S3外部數據源可以建立使用VPC凝視。AWS VPC凝視定義為“兩個VPC之間的網絡連接,使它們之間路由流量使用私人IPv4地址或IPv6地址”。更多細節見AWS文檔在這裏。

選擇VPC凝視選項時,必須考慮下列因素:

VPC凝視時更容易和更合適的有幾個資源應該視線VPC之間的溝通。當有一個高度的國際米蘭VPC溝通,VPC凝視會推薦的選項。
VPC托管其他必須有一個“non-S3數據源”CIDR範圍不同於磚VPC的CIDR範圍或任何其他CIDR範圍包括磚VPC的主要目的地路由表
VPC凝視有規模的局限性。請檢查AWS的文檔最新的。
定價的考慮:
- 同一地區定價:如果VPC VPC對等連接在同一地區,在VPC對等連接傳輸數據的數據傳輸費是一樣的可用性區域。
- 不同地區的價格:如果vpc在不同地區,開放型數據傳輸費用申請。
- 準確和最新價格,請參考AWS的文檔。

這裏情況的一個例子VPC凝視選擇是理想,你的任務是創建一個數據表,將卡夫卡集群和存儲的數據聚合結果極光數據庫都位於同一VPC磚VPC的外部。假設沒有其他安全限製,您可以使用VPC凝視磚VPC之間的連接和外部VPC數據源所在地,然後連接到兩個來源。

選項2:AWS Privatelink

第二個選項可用與non-S3數據源將使用AWS Privatelink。AWS定義PrivateLink作為一種服務,它提供了私人之間的連通性vpc, AWS服務,和本地應用程序,在亞馬遜網絡安全。AWS PrivateLink簡化了數據共享和基於雲的應用程序的安全通過消除數據到公共網絡的接觸。”

必須考慮下列因素而選擇Privatelink選項:

Privatelinks整體更容易設置和更適合VPC的關係有以下安全需求:
- 每個Privatelink隻能連接到一個單一的服務
- 很容易找出哪些服務/端口開放磚服務
- 每個服務可以單獨控製的訪問
通過應用源AWS Privatelink支持重疊CIDR範圍NAT從消費者到AWS Privatelink的提供者
雖然,AWS Privatelink每VPC可以擴展到成千上萬的消費者,在任何時候隻有一個Privatelink可以配置
AWS Privatelink隻允許數據使用者產生連接的數據提供者。如果需要雙向通信,VPC凝視或使用者和提供者之間的互惠AWS Privatelink可能是必需的。
AWS Privatelink繼承的設計考慮網絡負載平衡器(NLB)。例如,nlb隻支持TCP和連接從消費者提供者通過NAT來源可防止應用程序識別消費者的IP地址。
定價考慮:
- 數據處理費用申請每個字節處理VPC端點不管流量的源或目標
- 數據可用性區域之間轉移,或通過直接連接端點和前提之間也會產生通常的EC2區域和直接連接數據傳輸費用。看到AWS PrivateLink定價。