AWS膠水和磚

[dannylee]

你好,我們收到一個錯誤在運行膠工作,試圖連接和讀取數據磚SQL端點。

你好,我們收到一個錯誤在運行膠工作,試圖連接和讀取數據磚SQL端點。調用o104.load時發生一個錯誤。(磚)[DatabricksJDBCDriver](500051)查詢/錯誤處理語句。錯誤代碼:0,SQL狀態:TStatus (statusCode: ERROR_STATUS infoMessages: [* org.apache.hive.service.cli。HiveSQLException:配置數據表不可用。:48:47 org.apache.spark.sql.hive.thriftserver.HiveThriftServerErrors $: hiveOperatingError: HiveThriftServerErrors。scala: 65年,com.databricks.sql.hive.thriftserver.thrift.ErrorPropagationThriftHandler: runSafely: ErrorPropagationThriftHandler。scala: 124年,com.databricks.sql.hive.thriftserver.thrift.ErrorPropagationThriftHandler: ExecuteStatement: ErrorPropagationThriftHandler。scala: 73年,org.apache.hive.service.cli.thrift.ThriftCLIService: ExecuteStatement: ThriftCLIService。java: 429年,org.apache.hive.service.rpc.thrift.TCLIService處理器ExecuteStatement:美元getResult: TCLIService。java: 1437年,org.apache.hive.service.rpc.thrift.TCLIService處理器ExecuteStatement:美元getResult: TCLIService。java: 1422年,org.apache.thrift。ProcessFunction:過程:ProcessFunction相同的read()相同的查詢選項()沒問題如果我在當地pyspark集群中運行它,但是它沒有膠水。 I suspect it could be related to the GlueContext - has anyone run across this issue or have an idea what might be causing it?

相同的read()相同的查詢選項()工作正常,如果我在當地pyspark集群運行它,但是它沒有膠水。我懷疑這可能是有關GlueContext——有人遇到這個問題或有一個想法可能是由什麼原因導致的?

[Debayan]

嗨,使用數據表選項完成時不支持連接到dbsql端點/倉庫。你能分享一些更多的上下文呢?

請讓我們知道這有幫助。另外,請標記@Debayan與你的下一個評論,這樣我將得到通知。謝謝你！

[dannylee]

@Debayan慕克吉這有助於——這是很難找到的信息是否支持和錯誤消息“配置數據表不可用”不是返回搜索結果。

我們正在與AWS連接膠(火花),試圖把數據從一個端點,以前我們在一個集群,它工作得很好。我們測試使用sql.connect()工作,但擔心重寫代碼需要使用遊標的魯棒性和速度/ vs jdbc。任何想法嗎?

[Debayan]

嗨@Danny李,不幸的是,數據表不支持選擇當連接dbsql倉庫或端點和它周圍還沒有辦法解決的。

[Vidula_Khanna]

嗨@Danny李

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!