sarvesh
貢獻者三世
‎11-16-2021
‎06-26-2023

用戶數據

  • 28的帖子
  • 2解決方案
  • 14榮譽給
  • 12榮譽收到

用戶活動

我試圖使用審計從Vertica火花和獲得正確的表大小,但審計函數可以找到的最小大小字節,但我們正在位甚至小於字節的數據。val大小= f”選擇審計(table_name);”
我xlsx文件單個列;percentage30 % 40% 50% -10% 0.00% 0% 0.10% 110% 99.99% 99.98% -99.99% -99.98%當我讀到這個使用Apache-Spark把我得到的是,| |百分比0.3 + - - - - - - - - - - - + | | | 0.4 | 0.5 | | | -0.1 | 0.0 | | |……
我想讀一個excel文件3表有整數作為名稱,表1名= 21表2名= 24表3名= 224我得到這個數據從用戶不能改變表的名稱,但引發閱讀這些是一個問題。代碼- v……
解決方案:——我不需要添加任何遺囑執行人或驅動程序內存我要做在我的例子中是添加這個:——選項(“maxRowsInMemory”, 1000)。之前我甚至不讀9 mb文件現在我剛讀了一個50 mb的文件,而不會產生任何錯誤。{val df =火花。讀.f……
我試圖讀取16 mb的excel文件,我得到一個gc開銷限製超過錯誤來解決,我想提高我的遺囑執行人記憶,spark.conf.set (“spark.executor。記憶”、“8 g”),但我有以下堆棧:使用火花的默認l…
Baidu
map