有效的與起程拓殖磚自動化部署

雲基礎設施和配置資源管理可以頭痛,DevOps工程師都太熟悉了。即使是最能夠雲管理員可能會陷入管理繁多的互聯雲資源——包括數據流、存儲、計算能力和分析工具。

舉個例子,下麵的場景:一個客戶已經完成了創建一個磚工作區,他們想要連接一個磚集群在AWS紅移的集群。下圖演示了生成的狀態如果正確完成所有這些步驟,以及如何每個資源之間的數據流。

實現這個狀態可以是一個漫長的過程,每一個配置步驟涉及重要的子步驟。例如,配置我的角色從磚就需要訪問S37步驟。

複雜的設置,它決不是少見。許多客戶都beplay体育app下载地址希望雲自動化過程簡化和加速雲資源的部署,但這些過程可以構成挑戰。一般來說,我們發現,許多雲自動化的挑戰包括:

• 可伸縮性——添加新資源現有的雲部署可以變得更加困難和麻煩,因為要解決雲資源之間的依賴關係。
• 模塊化——許多部署過程是可重複的和相互依賴的(例如,部署到紅移也需要連接S3分期結果)。
• 一致性——跟蹤部署狀態可能簡化修複和降低風險,但是很難維護和解決。
• 生命周期管理——即使你可以審計改變一些雲資源,它可能不清楚行為是需要更新整個端到端狀態(如基礎設施狀態顯示在上麵的圖)。

為我們的客戶解決這些問題,beplay体育app下载地址磚是引入解決方案的自動化您的雲基礎設施。磚雲自動化利用的力量起程拓殖,建設一個開放源碼工具,改變,和版本雲基礎設施安全、高效。它提供了一個直觀的圖形用戶界麵和預構建的“電池包括“起程拓殖模塊更容易連接常見的雲資源磚。

記住這些設置任務,比如VPC凝視和S3驗證特定於AWS。在Azure磚,例如,一個連接到一個SQL數據倉庫是Azure簡單的驗證法的網絡連接是自我管理。

在發展中磚雲的自動化,我們的目標是:

• 加速通過自動化部署過程。
• 民主化的雲基礎設施部署過程non-DevOps /雲專家。
• 降低風險,維護一個可複製的基礎設施的狀態。
• 提供一個通用的、“cloud-agnostic”解決方案。

有了這個新工具,連接你的雲資源磚比以往任何時候都更快,更簡單。讓我們看一看一些我們的客戶正在使用的原因磚雲的自動化。beplay体育app下载地址

一個圖形用戶界麵,民主化磚雲部署

磚民主化的部署過程通過提供一個簡化的用戶界麵,簡單方便,所以你可以舒適的磚上部署雲資源沒有任何DevOps經驗。這個高級用戶界麵允許我們管理雲配置在幕後,促使你隻有必要的信息。

一個優雅的解決方案跟蹤基礎設施狀態

除了簡單的設置,該工具在本地最強大的特性是它能夠跟蹤和維護當前和之前每個雲資源的狀態。DevOps的工程師都知道,雲資源通常形成一個複雜的網絡依賴,每個資源依賴他人正常工作。

例如,一個看似簡單的改變單個ACL條目會引起一連串的錯誤下遊(DevOps工程師和偏頭痛)。在過去,這些依賴資源需要手動識別和執行故障排除。

起程拓殖使生活更容易通過維護資源的期望狀態之間的“差異”和他們的當前狀態。起程拓殖更新標識改變時,其內部“資源圖”和創建一個命令執行計劃,自動化的解決所有級聯變化通常需要保持這些連接功能。

模塊化框架的雲基礎設施

因為公司尋求大大擴展雲基礎設施——現在或將來磚雲的自動化提供了一個簡單的接口連接資源磚使用起程拓殖的強大的基礎設施管理功能。而普通用戶欣賞圖形用戶界麵和快速啟動時間,更多的有經驗的用戶欣賞模塊化、可擴展的設計原則,該工具體現了——讓企業迅速成長磚基礎設施沒有複雜的麻煩,容易破碎的手動配置和開發風險的整體架構。

起程拓殖雇傭了一個高層,被稱為聲明性語法鹽酸簡明地,允許用戶定義資源的最終狀態,他們打算連接到磚。許多用戶喜歡這種風格的快速、高級資源宣言,它允許他們資源連接到磚的盒子,同時還讓他們靈活地手動配置資源,他們的心的內容。

當添加一個新的資源,起程拓殖更新其內部資源圖,自動解析資源之間的依賴關係,創建一個新的執行計劃將新資源無縫集成到現有的基礎設施。用戶可以查看摘要起程拓殖的變化會使之前,通過調用起程拓殖計劃。

模塊可以共享、版本化和重用

工具最大的功能之一是能夠創建並保存自定義配置模塊,可以重用或由其他模塊調用。一個鬆散的類比,想象使用模塊像軟件工程師可能使用一個類,重新創建一個對象,或創建一個子類,從超類繼承屬性。例如,一個S3 bucket配置集群創建紅移時可以重用,或者用戶可以直接複製一個開發環境的配置生產環境,確保他們的比賽。

這種強調重複,腳本模塊和“基礎設施代碼”使它非常容易和有效的擴大你的雲基礎設施。模塊可以在團隊成員之間共享、編輯、審核,甚至版本代碼,允許DevOps工程師快速迭代動態變化而不用擔心打破他們的係統。這種方法削減新資源部署的時間啟動數量級和很好地符合許多今天使用的項目管理方法。

連接到任何IaaS提供商

“雲不可知論者”——起程拓殖它可以用來連接到任何雲提供商或其他係統,所以DevOps工程師不局限在單一的生態係統,並可以連接不同的提供者之間的資源。

他們也可以有信心,他們將不必夷為平地,從頭開始重建他們的雲基礎設施如果他們決定選擇一個新的雲服務供應商或連接一個新的係統。事實上,有一個健壯的網絡社區致力於發布模塊和強勁供應商幾乎每一個雲資源和用例。

例子:連接一個S3 bucket磚使用GUI

讓我們看看一個例子是多麼容易的設置和維護您的雲基礎設施使用起程拓殖磚,通過連接現有的S3 bucket磚使用(見我的角色在這裏手動指令)。你將需要:

• 一個以前創建的S3 bucket。使名稱和地區的注意。區域標識符的列表,點擊在這裏。
• AWS訪問密鑰和秘密密鑰——找到或創建你的憑證,從AWS控製台,導航到我→用戶→安全憑證。如果S3 bucket是由一個不同的用戶,你需要訪問密鑰和秘密密鑰的賬戶。
• 你的名字我的角色AWS連接磚。你可以發現在這裏。

首先,使用命令行,讓我們下載並安裝磚雲的自動化方案,其中包括起程拓殖:

pip安裝databricks-cloud-automation

推出的基於web的GUI,回車databricks-cloud-manager在命令行,然後在web瀏覽器中導航到以下地址:

127.0.0.1:5000 /

在這裏你會發現雲基礎設施的例子,您可以添加磚使用起程拓殖。按照下列指示來讓你的S3 bucket連接:

1. 點擊選擇下s3_to_databricks_via_iam。
2. 輸入的憑證S3 bucket我們連接。下aws_region進入該地區,使用AWS連接。在我們的示例中,由於我們使用的是美國西部(俄勒岡州),我們進入地區代碼us-west-2。
3. 下databricks_deployment_role,輸入我的名字的角色你用來允許磚在AWS訪問集群。在我們的例子中,我們輸入角色名稱磚。
4. 下custom_iam_name_role,輸入一個新的名稱為我的角色,我們將創建為了訪問S3 bucket。
5. 下aws_foreign_acct_access_key, aws_foreign_acct_secret_key,aws_foreign_acct_region,離開這些空白如果你的S3 bucket的AWS帳戶帳戶下使用連接到數據磚。如果你有訪問S3 bucket屬於不同的AWS用戶,在這裏輸入密鑰。

6. 提交表單。你會看到一個計劃的總結,包括資源將被添加,更改,或者刪除。徹底審查提出更改的列表,並選擇應用基礎設施變更。如果你輸入的有效身份證件,你會得到一個頁麵顯示您成功應用的所有更改,連同一個清單,列出所有一切的存在改變了。(注意,這增加了新的資源,但它也更新了一些現有資源——例如,它可能增加一條線一個我已經存在的政策)。滾動到成功頁麵的底部和複製s3_role_instance_profile寫在輸出部分,如所示。

7. 登陸你的磚部署。單擊賬戶在右上角圖標,選擇管理控製台。導航到我的角色選項卡中,將複製的角色粘貼在前麵的步驟中,並單擊添加,如下所示。

https://www.youtube.com/watch?v=BPIzuYiszDc

恭喜你!你建立你的第一塊雲基礎設施,和現在比以往更容易管理。現在可以啟動集群和你的新我的角色,並連接S3磚文件係統(DBFS)來訪問您的數據在磚筆記本電池的使用以下命令:

dbutils.fs.ls (“s3a: / / < s3-bucket-name > /”)< / s3-bucket-name >

起程拓殖現在跟蹤的狀態我們新建的基礎設施,我們可以查看通過輸入狀態起程拓殖顯示在命令行。如果以任何方式改變了我們的資源,我們可以運行起程拓殖應用修複它和任何相關的雲資源。

連接一個S3 bucket磚使用命令行

如果你喜歡使用命令行來執行任務,你仍然可以磚連接到一個使用起程拓殖使用S3 bucket起程拓殖CLI直接。這將允許您利用起程拓殖的高級特性不容易通過GUI,等起程拓殖進口。直接訪問模塊,在命令提示符運行以下安裝直接從來源:

git克隆cd databricks-cloud-automationpython的設置。py安裝

一旦你從源代碼安裝,直接導航到模塊文件夾,和cd到模塊的文件夾(s3_to_databricks_via_iam為了我們的例子)。從那裏,運行起程拓殖init初始化起程拓殖,然後運行起程拓殖應用在提示輸入AWS憑證。

https://www.youtube.com/watch?v=FSQYJ3zmQ2k

(注意:您可以應用var文件標誌指定輸入變量在一個單獨的JSON或鹽酸文件)

當你完成的時候,複製實例配置文件是提供,並粘貼到磚通過管理控製台,正如我們在上述步驟7。瞧,你連磚S3 !你使用我的角色設置,你就可以來回讀寫數據無縫磚和S3 bucket之間。

連接一個紅移集群磚

讓我們回顧一下我們提出的例子引入這個博客-迄今為止最複雜的例子,看看更容易安裝。

想象一下你剛剛開始了磚,你想連接你公司的現有集群AWS紅移和S3 bucket,這樣您就可以開始。通常,這將涉及一個耗時、程序方法,要求寫下不同的id和攻擊,和下麵的步驟:

1. VPC凝視包含紅移的VPC集群,包括添加新的安全組規則和路由表條目
2. 創建一個新的我的角色,將它附加到磚集群
3. 創建一個S3 bucket和一個引用新政策我的角色
4. 格蘭特AssumeRole磚EC2實例之間的權限政策和新角色

下圖說明了建立這種體係結構的複雜性。乏味的,因為它可能是,這是一個現實生活中的例子,我們的許多客戶麵對顯著,我們可以更容易通過使用磚雲的自動化。beplay体育app下载地址

注意,在這個例子中,除了連接到一個紅移集群,我們也連接到一個S3 bucket,就像我們所做的在過去的兩個例子。起程拓殖的模塊化,這就是美麗的“基礎設施代碼”的方法發揮作用——因為S3 bucket模塊已經開發完成,不需要“重新發明輪子”,從頭構建一個新的S3連接。相反,我們可以呼籲早已建好的網絡下部模塊,並添加它像一個聯鎖拚圖,很符合我們現有的資源圖。同樣地,我們也要求一個單獨的“VPC凝視”模塊,甚至可以改裝建立VPC對等資源除了紅移。

就像以前一樣,我們可以使用磚雲自動化GUI來簡化和加快這一過程。從命令行調用databricks-cloud-manager後,然後我們參觀127.0.0.1:5000 /在我們的瀏覽器和選擇redshift_to_databricks。除了憑證需要設置S3 bucket,我們還需要:

• 紅移集群ID
• 磚VPC的ID
• 企業空間ID(如果您使用的是離開這個空白多租戶部署;否則,接觸磚來確定您的工作區ID)。

一旦輸入適當的憑證,磚雲管理器將自動配置資源的所有依賴項,和讓你知道如果有任何你需要采取的行動步驟。這個過程,盡管自然仍然需要你為你的資源,找到憑證可以數量級的速度比的選擇。

總結

無論你是連接到一個雲資源或擴展公司的基礎設施來滿足用戶日益增長的需求,磚雲管理器可以顯著減少所花費的時間讓你啟動並運行。它是受歡迎的在我們的客戶由於其易於使用的強大功beplay体育app下载地址能,包括:

• 圖形用戶界麵快速部署您的雲資源沒有深DevOps專長。
• 高層,聲明性樣式自動依賴和配置管理,允許您跳過一個最終結果,簡單有效。
• “基礎設施代碼”模式,允許你重用和修改模塊快速擴展部署不會增加複雜性。
• “雲不可知論者”的架構,允許您連接到來自不同提供者和資源係統,無縫。

連接你的資源數據磚是比以往更容易,和的力量磚統一分析平台Beplay体育安卓版本利用雲的力量,在您的數據隻是一個點擊之外找到見解。如果你想了解更多關於這個項目,聯係我們,或者跟你的磚的代表。