取消
顯示的結果
而不是尋找
你的意思是:

問題與達美住表訪問工作流(dlt管道)

Garik
新的貢獻者三世

你好,

我試圖寫數據從外部s3 bucket三角洲住表統一目錄(不是dbfs)從一個工作流。我看到以下錯誤(說不支持目錄名稱空間。請檢查下麵的全部錯誤)

Detailspy4j錯誤。Python Py4JException:異常長大的代理。返回消息:回溯(最近的電話):

文件“/磚/火花/ python / lib / py4j-0.10.9.5-src.zip / py4j / clientserver。在_call_proxy py”, 617行

return_value = getattr(自我。池(obj_id)方法)(* params)

文件“/磚/火花/ python / dlt /幫手。py”,第26行調用

res = self.func ()

文件“<命令——1 >”,4號線,在demo_purpose

返回base64.b64decode (L1VzZXJzL3NyaWthbnRoQG1vdmlzdGEuY29tL3Rlc3R2ZXJzaW9uX2RsdF8y) .decode (“utf - 8”)

文件“<命令——1 >”,行30日dlt_table_fn

文件“/磚/火花/ python / pyspark / sql /會話。py”, 1120行,在桌子上

返回DataFrame (self._jsparkSession.table(表),自我)

文件“/磚/火花/ python / lib / py4j-0.10.9.5-src.zip / py4j / java_gateway。在__call__ py”, 1321行

return_value = get_return_value (

文件“/磚/火花/ python / pyspark / sql /跑龍套。py”, 202行,在裝飾

提高從沒有轉換

pyspark.sql.utils.AnalysisException:不支持目錄名稱空間。

7回複7

Vidula_Khanna
主持人
主持人

嗨@Srikanth Garik

希望一切都好!

隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

Garik
新的貢獻者三世

嗨Vidula DBFS和統一目錄可以與工作流。我們可能需要使用不同的方法進行編製。或者隻是使用筆記本的所有代碼。

Sulfikkar
貢獻者

我們應該等多久使用DLT的統一目錄嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map