我試著運行一個印度生物技術部項目從ADLS讀取數據和寫回ADLS使用磚工作流。當我從本地機器上運行相同的項目(使用python虛擬環境從Visual Studio代碼),它運行非常好但拋出錯誤在運行它從磚工作流。
版本,
印度生物技術部版本:1.6.0
python版本:3.9.5
磚適配器版本:1.6.1
磚工作流細節- - - - - -
類型:印度生物技術部
來源:GitHub企業
命令:印度生物技術部deps,印度生物技術部調試,印度生物技術部運行線程16——選擇標記:< model_tag >
依賴庫:dbt-databricks > = 1.0.0, < 2.0.0,databricks-sql-connector = = 2.7.0
配置文件。yml文件(在Git項目文件夾):
* *使用集群工作在這兒,而不是SQL倉庫/端點
主機
:
亞洲開發銀行- * * * * * * * * * * * * * * * *,* * .azuredatabricks.net
http_path : / sql / protocolv1 / o / * * * * * * * * * * * * * * * * / * * * * - * * * * * * - * * * * * * * *
http_path : / sql / protocolv1 / o / * * * * * * * * * * * * * * * * / * * * * - * * * * * * - * * * * * * * *
令牌
:
dapi * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
錯誤信息:
磚工作流運行時,我得到以下錯誤:
15:59:28配置:
15:59:28概要文件。yml文件(好的發現和有效)
15:59:28 dbt_project。yml文件(好的發現和有效)
15:59:28所需的依賴項:
15:59:28 - git(可以發現)
15:59:28連接:
15:59:28主機(修訂):
15:59:28 http_path(修訂):
15:59:28模式:默認
15:59:28注冊適配器:磚= 1.6.1
15:59:29 databricks-sql-connector適配器:錯誤在請求到服務器:{“方法”:“OpenSession”,“會話id”:空,“query-id”:空,“http代碼”:403年,“錯誤消息”:“”,“原始異常”:“”,“no-retry-reason”:“non-retryable錯誤”,“bounded-retry-delay”:空,“嚐試”:“1/30”,“elapsed-seconds”:“0.7869570255279541/900.0”}
15:59:29連接測試(錯誤):
15:59:28配置:
15:59:28概要文件。yml文件(好的發現和有效)
15:59:28 dbt_project。yml文件(好的發現和有效)
15:59:28所需的依賴項:
15:59:28 - git(可以發現)
15:59:28連接:
15:59:28主機(修訂):
15:59:28 http_path(修訂):
15:59:28模式:默認
15:59:28注冊適配器:磚= 1.6.1
15:59:29 databricks-sql-connector適配器:錯誤在請求到服務器:{“方法”:“OpenSession”,“會話id”:空,“query-id”:空,“http代碼”:403年,“錯誤消息”:“”,“原始異常”:“”,“no-retry-reason”:“non-retryable錯誤”,“bounded-retry-delay”:空,“嚐試”:“1/30”,“elapsed-seconds”:“0.7869570255279541/900.0”}
15:59:29連接測試(錯誤):
詳細的錯誤在運行與詳細的日誌:
07:24:58收購新磚連接“大師”
07:24:58收購新磚連接“list_schemas”
07:24:58收購新磚連接“list_schemas”
07:24:58收購新磚連接“list_schemas”
07:24:58使用磚連接“list_schemas”
07:24:58使用磚連接“list_schemas”
07:24:58使用磚連接“list_schemas”
07:24:58收購新磚連接“list_schemas”
07:24:58 list_schemas: / *{“應用”:“印度生物技術部”,“dbt_version”:“1.6.0”、“dbt_databricks_version”:“1.6.1”、“databricks_sql_connector_version”:“2.7.0”、“profile_name”:“analytics_engineering_pipeline_synapse_app_sp”、“target_name”:“databricks_job”、“connection_name”:“list_schemas”} * /
顯示數據庫
07:24:58打開一個新的連接,目前狀態初始化
07:24:58使用磚連接“list_schemas”
07:24:58 list_schemas: / *{“應用”:“印度生物技術部”,“dbt_version”:“1.6.0”、“dbt_databricks_version”:“1.6.1”、“databricks_sql_connector_version”:“2.7.0”、“profile_name”:“analytics_engineering_pipeline_synapse_app_sp”、“target_name”:“databricks_job”、“connection_name”:“list_schemas”} * /
顯示數據庫
07:24:58打開一個新的連接,目前狀態初始化
07:24:59 databricks-sql-connector適配器:錯誤在請求到服務器:{“方法”:“OpenSession”,“會話id”:空,“query-id”:空,“http代碼”:403年,“錯誤消息”:“”,“原始異常”:“”,“no-retry-reason”:“non-retryable錯誤”,“bounded-retry-delay”:空,“嚐試”:“1/30”,“elapsed-seconds”:“1.3058898448944092/900.0”}
“databricks.sql.exc 07:25:00磚適配器:<類。RequestError >:在請求服務器錯誤
07:25:00 databricks-sql-connector適配器:錯誤在請求到服務器:{“方法”:“OpenSession”,“會話id”:空,“query-id”:空,“http代碼”:403年,“錯誤消息”:“”,“原始異常”:“”,“no-retry-reason”:“non-retryable錯誤”,“bounded-retry-delay”:空,“嚐試”:“1/30”,“elapsed-seconds”:“2.635369300842285/900.0”}
07:25:00磚適配器:數據庫錯誤
在請求服務器錯誤
07:25:00磚適配器:當運行時發生錯誤:
宏list_schemas
07:25:00磚適配器:會話id:沒有
07:25:00磚適配器:數據庫錯誤
在請求服務器錯誤
07:25:00磚適配器:當運行時發生錯誤:
宏list_schemas
07:25:00磚適配器:運行時錯誤
數據庫錯誤
在請求服務器錯誤
07:25:00磚適配器:當運行時發生錯誤:
/ *{“應用”:“印度生物技術部”,“dbt_version”:“1.6.0”、“dbt_databricks_version”:“1.6.1”、“databricks_sql_connector_version”:“2.7.0”、“profile_name”:“analytics_engineering_pipeline_synapse_app_sp”、“target_name”:“databricks_job”、“connection_name”:“list_schemas”} * /
顯示數據庫
試著安裝一個舊版本2.1.0的databricks-sql-connector 2.7.0(而不是)和令人驚訝的出現了一個新的錯誤消息。現在不知道如何解決這個問題。
