你好,
目前我們使用的是司機:Standard_D32s_v3·工人:Standard_D32_v3·2 - 8工人·6.4擴展支持(包括Apache火花2.4.5,Scala 2.11)集群。我們24/7運行流筆記本的觸發每一分鍾和5管道具有不同時間線觸發器。當我們開始24小時後的所有觸發器正常執行。後來流和管道相關的筆記本開始失敗了。這意味著筆記本執行時間增加,每個命令采取更多的時間來執行。
https://dbricks.co/3VWeuRJ經過這個鏈接我開始升級12.0運行時版本。對於這個我麵臨問題而執行DDL和DML以下格式的查詢。
進口com.microsoft.azure.sqldb.spark.config.Config
進口com.microsoft.azure.sqldb.spark.connect._
進口com.microsoft.azure.sqldb.spark.query._
val查詢= "截斷表的表"
val配置=配置(地圖(
“url”- > dbutils.secrets。得到(=“azurekeyvault-scope”範圍,鍵=“DW-URL”),
“數據庫名”- > dbutils.secrets。得到(=“azurekeyvault-scope”範圍,鍵=“DW-DBName”),
“用戶”- > dbutils.secrets。得到(=“azurekeyvault-scope”範圍,鍵=“DW-Username”),
“密碼”- > dbutils.secrets。得到(=“azurekeyvault-scope”範圍,鍵=“DW-Password”),
“queryCustom”- >查詢
))
sqlContext.sqlDBQuery(配置)
誰能建議的方法來解決我的問題的最佳方法。
感謝和問候。
