取消
顯示的結果
而不是尋找
你的意思是:

如何閱讀在磚tb的數據嗎

Abhijeet
新的貢獻者三世

我想讀1000 GB的數據。在火花在內存中轉換。我需要工人節點結合1000 GB的大小。

也隻是想了解如果將閱讀我們在內存中存儲1000 GB。所以如何緩存數據幀從上麵的情況是不同的

5回複5

Aviral-Bhardwaj
尊敬的貢獻者三世

在主人和奴隸節點係統

你的數據塊將被分為128 MB。

所以1000/128 = 7.8125

所以它需要創建7 - 8的分區數據集群所以你不需要一個1000 GB 2 - 3節點10 - 30 GB大小我會工作好

如果我錯了,請讓我知道

謝謝

Aviral Bhardwaj

Abhijeet
新的貢獻者三世

沒有分區

1000 * 1024/128 = 8000

我的問題是,所有這些8000個分區相結合將是1000 GB。

我創建一個數據幀從這個數據。

這個數據是如何加載。它需要以某種方式將數據在內存中。

所以我隻是想了解發生在後台,如何讀取數據(節點如何管理這個負載)

ajaypanday6781
尊敬的貢獻者二世

嗨@Abhijeet辛格下麵博客可能會幫助你

鏈接

嗨@Abhijeet辛格(客戶),我們沒有收到你自從上次反應@Ajay Pandey,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map