實現數據處理和分析工作流程與工作

您可以使用一個磚工作編排你的數據處理,機器學習或數據分析磚Lakehouse管道。磚工作的許多工作負載類型的支持,包括筆記本、腳本、三角洲生活表管道,磚的SQL查詢印度生物技術部項目。以下文章指導您使用磚工作平台的功能和選項來實現您的數據管道。Beplay体育安卓版本

變換、分析和可視化數據與磚的工作

您可以使用一個工作創建一個數據管道,吸入,變換,分析和可視化數據。中的例子使用SQL在磚磚的工作構建一個管道:

  1. 使用Python腳本使用REST API獲取數據。

  2. 使用三角洲生活表攝取和所獲取的數據轉換和轉換後的數據保存到三角洲湖。

  3. 使用工作與磚的集成的SQL來分析轉換後的數據並創建圖形可視化結果。

使用印度生物技術部轉換的工作

使用印度生物技術部任務類型,如果你在做數據轉換與印度生物技術部核心項目,希望該項目集成到一個磚的工作,或者你想創建新的印度生物技術部轉換和運行這些轉換的工作。看到在磚使用印度生物技術部轉換工作。

在工作中使用Python包

Python輪子是一種標準的方式打包和分發的文件要求運行Python應用程序。你可以很容易地創建一個工作使用的Python代碼打包為一個輪子Python輪任務類型。看到在磚使用Python輪工作。

使用代碼打包在一個罐子裏

庫和應用程序中實現一個JVM語言,比如Java和Scala通常包裝在一個Java archive (JAR)文件中。磚的工作支持的代碼打包在一個JARJAR任務類型。看到用一罐磚的工作。

使用筆記本或Python代碼保存在一個中央存儲庫

一個共同的方法來管理版本控製和協作生產工件是使用GitHub等中央存儲庫。磚工作支持創建和運行工作使用筆記本或Python代碼從一個存儲庫進口,包括GitHub或磚回購。看到在磚使用源代碼版本控製工作。

安排你們的工作與Apache氣流

磚建議使用磚工作編排你的工作流。然而,Apache氣流是常用的作為一個工作流編排係統並提供本機支持磚工作。而磚工作提供了一個視覺UI創建工作流,氣流使用Python文件定義和部署您的數據管道。例如與氣流的創建和運行工作,明白了編排與Apache氣流磚工作。