讓伯父錯誤而加載巨大的磚Hive_metasore表壓縮CSV文件

[幫派]

CSV文件是任何更好的方法來負載大壓縮hive_metastore表? ? ? ? ?

[daniel_sahal]

@Ankit Gangwal

擴大您的集群

[Lakshay · Accepted solution]

嗨@Ankit Gangwal, zip文件的問題是,他們不是可剝離,隻使用一個核心過程。最好是改變壓縮格式為時髦的可剝離,將允許火花分布工作負載集群。

參考鏈接:https://www.linkedin.com/pulse/apache-spark-optimizations-compression-deepak-rajak

[Vidula_Khanna]

嗨@Ankit Gangwal

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!