如何閱讀在磚tb的數據嗎

[Abhijeet]

我想讀1000 GB的數據。在火花在內存中轉換。我需要工人節點結合1000 GB的大小。

也隻是想了解如果將閱讀我們在內存中存儲1000 GB。所以如何緩存數據幀從上麵的情況是不同的

[Aviral-Bhardwaj]

在主人和奴隸節點係統

你的數據塊將被分為128 MB。

所以1000/128 = 7.8125

所以它需要創建7 - 8的分區數據集群所以你不需要一個1000 GB 2 - 3節點10 - 30 GB大小我會工作好

如果我錯了,請讓我知道

謝謝

Aviral Bhardwaj

[Abhijeet]

沒有分區

1000 * 1024/128 = 8000

我的問題是,所有這些8000個分區相結合將是1000 GB。

我創建一個數據幀從這個數據。

這個數據是如何加載。它需要以某種方式將數據在內存中。

所以我隻是想了解發生在後台,如何讀取數據(節點如何管理這個負載)

[ajaypanday6781]

嗨@Abhijeet辛格下麵博客可能會幫助你

鏈接

[Kaniz]

嗨@Abhijeet辛格(客戶),我們沒有收到你自從上次反應@Ajay Pandey,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。