編製

《數據湖屋的崛起》作者:Bill Inmon

什麼是編製?

編排是對多個計算機係統、應用程序和/或服務的協調和管理,將多個任務串在一起以執行更大的工作流或流程。這些流程可以由多個自動化的任務組成,並且可以涉及多個係統。

編排的目標是簡化和優化頻繁的、可重複的流程的執行,從而幫助數據團隊更輕鬆地管理複雜的任務和工作流。隻要流程是可重複的,並且其任務可以自動化,就可以使用編排來節省時間、提高效率並消除冗餘。例如,你可以通過作業編排簡化數據和機器學習

流程編排和流程自動化之間的區別是什麼?

雖然自動化和編排是高度互補的,但它們意味著不同的事情。自動化是在不需要人工幹預的情況下對任務進行編程。編排是將多個任務(有些可能是自動化的)配置為一個完整的端到端流程或作業。編排軟件還需要在整個流程中對事件或活動做出反應,並根據一個自動化任務的輸出做出決策,以確定和協調下一個任務。

什麼是應用程序編製?

應用程序編排是指將兩個或多個軟件應用程序集成在一起。這樣做可能是為了使流程自動化,或者啟用數據的實時同步。大多數軟件開發工作都需要某種應用程序編排——沒有它,你會發現擴展應用程序開發、數據分析、機器學習和人工智能項目要困難得多。

該流程允許您集中管理和監視集成,並為消息路由、安全性、轉換和可靠性添加功能。這種方法比點到點集成更有效,因為集成邏輯與應用程序本身解耦,而是在容器中進行管理。

什麼是服務編製?

服務編排的工作方式與應用程序編排類似,因為它允許跨多個雲供應商和域協調和管理係統——這在當今世界是必不可少的。該方法涵蓋了微服務編製、網絡編製和工作流編製。

單個服務不具備相互集成的本地能力,它們都有自己的依賴項和需求。係統越複雜,編排各個組件就越重要。這樣,您就可以根據需要擴展基礎設施,優化係統以實現業務目標,並避免服務交付失敗。

容器編排到底是什麼?

您可能在應用程序和服務編製上下文中遇到過術語“容器編製”。那麼,什麼是容器編排,我們為什麼要使用它?

容器編排是容器管理和協調的自動化。軟件團隊使用最佳的容器編排工具來控製和自動化任務,例如容器的供應和部署、容器之間的資源分配、容器的運行狀況監視以及容器之間的交互安全。

容器編排是如何工作的?

軟件編製團隊通常使用Kubernetes和Docker Swarm等容器編製工具。首先在一個文件中描述應用程序的配置,該文件告訴工具在哪裏收集容器圖像以及如何在容器之間進行網絡連接。

該工具還計劃將容器部署到集群中,並根據預先設置的約束(如標簽或元數據)找到最合適的主機。然後,它根據文件中列出的規範管理容器的生命周期。

但是為什麼我們需要容器編排呢?自動化和編排的目的是什麼?自動化容器編排使您能夠使用單個命令擴展應用程序,快速創建新的容器化應用程序以處理不斷增長的流量,並簡化安裝過程。它還提高了安全性。

什麼是雲編排?

雲編排是將管理私有雲和公共雲上連接的任務自動化的過程。它還將自動化任務和流程集成到工作流中,以幫助您執行特定的業務功能。

雲計算的興起,包括公共雲、私有雲和混合雲,導致了複雜性的增加。這就產生了對可以跨多個雲管理和部署多個依賴項的雲編排軟件的需求。雲服務編排包括配置服務器工作負載和存儲容量以及編排服務、工作負載和資源等任務。

請記住,雲編排和自動化是不同的東西:雲編排關注的是整個IT流程,而自動化關注的是單個的部分。編排簡化了跨多雲環境的自動化,同時確保了策略和安全協議的維護。

什麼是安全業務流程?

安全編排確保您的自動化安全工具能夠有效地協同工作,並簡化安全團隊使用它們的方式。其目的是這些工具可以相互通信並共享數據,從而減少人為錯誤的可能性,使團隊能夠更好地應對威脅節省時間和成本

什麼是安全業務流程自動化和響應(SOAR)?該首字母縮寫詞描述了定義的三種軟件功能Gartner

  • 編排-威脅和漏洞管理
  • 自動化—安全操作自動化
  • 響應—安全事件響應

這種方法結合了自動化和編排,並允許組織自動化威脅搜索、威脅情報收集和對較低級別威脅的事件響應。

什麼是業務流程層?

如果需要協調多個API服務,則需要一個編製層。它使您能夠在連接器和第三方應用程序之間創建連接或指令。這有效地創建了一個API,該API對多個不同的服務進行多次調用,以響應單個API請求。

它還管理不同服務之間的數據格式化,其中請求和響應需要分割、合並或路由。通過添加這個抽象層,可以為API提供服務之間通信的智能級別。編製層協助進行數據轉換、服務器管理、處理身份驗證和集成遺留係統。

在雲中,編製層管理基於雲的組件和內部部署組件之間的交互和互連。其中包括服務器、網絡、虛擬機、安全和存儲。

什麼是旅程編排?

什麼是客戶旅程編排?旅程編排將客戶旅程映射的概念進一步擴展到一個階段。它使用自動化來實時個性化旅行,而不是依賴曆史數據。我們的目標仍然是創造和塑造理想的客戶旅程。

旅程編排還使企業變得敏捷,適應變化並在發生之前發現潛在的問題。

編製工具

複雜任務所需的編排需要數據團隊和專門的工具來開發、管理、監控和可靠地運行這些管道。這些工具通常與實際數據或機器學習任務分開。缺乏集成會導致整個企業的工作分散,用戶不得不頻繁地切換上下文。

隨著公司采取更多的商業智能(BI)和人工智能(AI)計劃,對簡單、可擴展和可靠的編排工具的需求也在增加。存在各種各樣的工具,可以幫助團隊通過一個框架釋放編排的全部好處,通過這個框架他們可以自動化工作負載。

服務編排工具幫助您集成不同的應用程序和係統,而雲編排工具將多個雲係統組合在一起。編排工具還可以幫助您從單一位置管理端到端流程,並簡化流程創建,以創建否則無法實現的工作流。

例如,Databricks可以幫助您在單個平台上統一數據倉庫和AI用例。Beplay体育安卓版本點擊這裏學習如何編排Databricks工作負載

什麼是應用程序發布編製?

應用程序發布編排(ARO)使DevOps團隊能夠自動化應用程序部署,管理持續集成和持續交付管道,並編排發布工作流。目標是提高新版本的質量、速度和管理。

除了部署自動化和管道管理,應用程序發布編排工具還使企業能夠跨多個不同的團隊、技術、方法和管道擴展發布活動。一些著名的ARO工具包括GitLab、Microsoft Azure pipeline和FlexDeploy。

什麼是流程編製?

雖然自動化流程對於有效的編排是必要的,但風險在於為每個單獨的任務使用不同的工具(並從多個供應商采購它們)可能導致豎井。您需要集成您的工具和工作流,這就是流程編排的含義。

流程編排包括將單個任務統一為端到端流程,並使用通用連接器、直接集成或API適配器簡化係統集成。然後,IT團隊可以從單個位置管理整個流程生命周期。

好處包括通過協調和整合不同的工具來降低複雜性,通過集中監控和記錄流程來提高平均解決時間(MTTR),以及將新工具和技術集成到單個編排平台。Beplay体育安卓版本這種類型的軟件編排使得快速集成幾乎任何工具或技術成為可能。

數據編排平台的目的Beplay体育安卓版本

數據編排是一個自動化的過程,用於從多個存儲位置獲取豎井數據,組合和組織數據,並使其可用於分析。這個過程連接了所有的數據中心,無論是遺留係統、基於雲的工具還是數據湖。數據被轉換成標準格式,因此在決策中更容易理解和使用。

大多數公司都積累了大量的數據,這就是為什麼需要自動化工具來組織數據。什麼是大數據編排?這是一種組織數據的過程,這些數據太大、太快或太複雜,無法用傳統方法處理。數據編排還可以識別“暗數據”,即占用服務器空間但從未使用過的信息。

數據編排平台是確保合規性和發現問題的理Beplay体育安卓版本想選擇。例如,支付編排平台允許您實時訪問客戶數據,因此您可以看到任何風險交易。Beplay体育安卓版本

DevOps中的業務流程是什麼?

DevOps編排是對整個公司的DevOps實踐和用於完成它們的自動化工具的協調。其目的是最大限度地減少生產問題,並減少將新版本推向市場所需的時間。

編排自動化任務有助於最大限度地發揮自動化工具的潛力。這將我們帶回到編排與自動化的問題:基本上,您可以通過自動化同時運行許多功能來最大化效率,但是需要編排來確保這些功能一起工作。

例如,基於雲的部署管道的DevOps編排使您能夠結合開發、QA和生產。

Docker業務流程是什麼?

Docker是一個用戶友好的容器運行時,提供了一組用於開發容器化應用程序的工具。它允許您將代碼打包到映像中,然後使用映像創建容器。因此,Docker編排是一套管理Docker容器的實踐和技術。

當容器化應用程序擴展到大量容器時,這種類型的容器編排是必要的。它用於提供容器、伸縮、管理網絡和負載平衡等任務。

Docker生態係統提供了一些編配工具,比如Swarm。Kubernetes通常用於編排Docker容器,而雲容器平台也提供基本的編排功能。Beplay体育安卓版本

在Databricks中編排數據和機器學習管道

數據使它很容易協調多個任務以便輕鬆構建數據和機器學習工作流程。

編排多步驟任務使得使用由筆記本、Python腳本和jar組成的相互依賴的模塊化任務來定義數據和ML管道變得簡單。數據團隊可以輕鬆地創建和管理轉換和優化數據的多步驟管道,並在熟悉的Databricks工作空間內訓練機器學習算法,從而為團隊節省大量的時間、精力和上下文切換。

在上麵的例子中,由多個任務組成的Job使用兩個任務來攝取數據:Clicks_Ingest和Orders_Ingest。然後,這些輸入的數據被聚合在一起,並在“匹配”任務中過濾,從中生成新的機器學習特征(Build_Features),持久化(Persist_Features),並用於訓練新模型(train)。

崗位編製完全集成在Databricks中,不需要額外的基礎設施或DevOps資源。beplay体育app下载地址客戶可以使用Jobs API或UI來創建和管理作業和功能,例如用於監控的電子郵件警報。

您的數據團隊不需要學習新的技能就可以從這個特性中獲益。該特性還允許您編排Databricks之外的任何API,並跨所有雲,例如從crm中提取數據。現在就開始使用新的Jobs編排,為您的工作空間啟用它(AWS|Azure|GCP).

額外的資源

回到術語表
Baidu
map