取消
顯示的結果
而不是尋找
你的意思是:

麵臨問題而執行DDL和DML查詢12.0集群運行時版本。

YSDPrasad
新的貢獻者三世

你好,

目前我們使用的是司機:Standard_D32s_v3·工人:Standard_D32_v3·2 - 8工人·6.4擴展支持(包括Apache火花2.4.5,Scala 2.11)集群。我們24/7運行流筆記本的觸發每一分鍾和5管道具有不同時間線觸發器。當我們開始24小時後的所有觸發器正常執行。後來流和管道相關的筆記本開始失敗了。這意味著筆記本執行時間增加,每個命令采取更多的時間來執行。集群指標上圖顯示24小時之後集群指標執行。

https://dbricks.co/3VWeuRJ經過這個鏈接我開始升級12.0運行時版本。對於這個我麵臨問題而執行DDL和DML以下格式的查詢。

進口com.microsoft.azure.sqldb.spark.config.Config

進口com.microsoft.azure.sqldb.spark.connect._

進口com.microsoft.azure.sqldb.spark.query._

val查詢= "截斷表的表"

val配置=配置(地圖(

“url”- > dbutils.secrets。得到(=“azurekeyvault-scope”範圍,鍵=“DW-URL”),

“數據庫名”- > dbutils.secrets。得到(=“azurekeyvault-scope”範圍,鍵=“DW-DBName”),

“用戶”- > dbutils.secrets。得到(=“azurekeyvault-scope”範圍,鍵=“DW-Username”),

“密碼”- > dbutils.secrets。得到(=“azurekeyvault-scope”範圍,鍵=“DW-Password”),

“queryCustom”- >查詢

))

sqlContext.sqlDBQuery(配置)

誰能建議的方法來解決我的問題的最佳方法。

感謝和問候。

5回複5

匿名
不適用

嗨@Someswara杜爾迦Prasad Yaralgadda

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map