05-24-202305:08我
工作時在視頻分析任務我需要保存圖像字節三角洲表提取到早些時候引發dataframe。當我想要寫一個同樣的δ表/段完成任務並輸入數據的大小不同。它占用太多的時間即使做幾個試驗件。我不能使用流三角洲表我隻想存儲圖像字節三角洲表中提取並簡單地完成推理任務對象檢測和其他轉換。我甚至想把冗長的數據列,但沒有產生任何影響。1驅動程序
16 GB的內存,4核11.3.x-gpu-ml-scala2.12 g4dn。超大是我當前集群的配置。
11.3.x-gpu-ml-scala2.12
05-25-2023上午12:52
你能檢查火花UI,看到時間花費在哪裏?
它可以是一個加入,udf,…
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
