表中提取創作冷凍-磚- 19895

阿米特 · ‎05-23-2022

你好,

我有一個問題從三角洲湖表中提取創作。畫麵凍結在“X行檢索:”太久。

我成功地創建第一個提取但看到我丟失的一列。我繼續做一個完整的重寫

events_df.write.mode(“覆蓋”)。選項(“overwriteSchema”,“真正的”).partitionBy(分配的created_date”) .format (write_format) .save (save_path)

從那時起,試圖創建/刷新隻提取卡住在任意數量的行。

在磚的SQL和筆記本電腦,我可以讀表好…

我試著刷新提取、刪除並重新創建它,重新啟動我的電腦,做一遍……似乎沒有什麼工作。

知道這可能會引起什麼/怎樣解決呢?

Kaniz · ‎05-24-2022

嗨@Amit施泰納,你能分享你看到的版本問題嗎?

阿米特 · ‎05-25-2022

嘿

我用的是:

Prabakar · ‎05-24-2022

@Amit施泰納表的大小。你看到任何錯誤或表得到凍結沒有錯誤嗎?我認為這是比磚Tableau-related發行。

什麼是你使用的版本的畫麵?連接器是什麼版本?

你麵臨這個問題隻有在閱讀從磚?你有試過在本地機器上的數據集和嚐試訪問使用畫麵?這將有助於消除Databriccks,看它是否與磚或表的一個問題。

此外,有多個變量影響的時間需要完成一個提取。看看下麵的鏈接如何優化它。

阿米特 · ‎05-25-2022

嘿

什麼給我暫停,隻提取失敗後我重寫。已經可能是隨機的,但我想知道如果我做錯了什麼事,故障排除部分仍然是精益。

我用的是:

表的大小是2.3行20多個列。

是的,其他連接器(紅移,雅典娜,GA)按預期工作。

我還沒試過下載在本地數據和訪問它。這是如何工作的呢?可以在本地表讀取三角洲湖文件,還是我需要將它們轉換為另一種格式嗎?還有,我怎麼做?我找不到任何文檔如何下載一個磚表為表讀取一個文件

磚