取消
顯示的結果
而不是尋找
你的意思是:

一個標準集群為單個用戶推薦——是什麼意思?

Tahseen0354
貢獻者三世

你好,我已經看到它寫在文檔標準集群為單個用戶推薦。但是為什麼呢?是什麼意思?我和我的一個同事測試相同的筆記本。我們可以使用相同的標準通用集群在同一時間在同一個筆記本。隻是我們不能同時執行相同的細胞但這是相當正常的。

但是如果兩個人可以使用相同的標準通用集群在同一時間在同一個筆記本,為什麼單用戶的建議?這是否意味著我們應該選擇高並發集群多人合作時在同一時間在同一個筆記本為簡單的數據讀寫實驗嗎?

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

高並發集群隻是分裂用戶之間資源更均勻。所以當4個人筆記本電腦運行在同一時間在集群與4個cpu可以想象,每一個cpu。

在標準集群1人可以利用所有工人cpu作為你的工作有多個分區(例如4)所以需要多核cpu進程(1 1一次分區所有4 cpu將很忙處理4分區)所以其他用戶的工作隊列中等待,直到你的工作完成。

在集群標準還可以維護資源配置在筆記本級別使用池。設置sparkContext屬性在筆記本的第一行:

spark.sparkContext.setLocalProperty (“spark.scheduler。池”、“pool1”)

在原帖子查看解決方案

4回複4

Atanu
尊敬的貢獻者
尊敬的貢獻者
  • 標準集群是處理大量數據的理想與Apache火花。我們嘴尖為單個用戶使用標準的集群,因為它要處理負載比較高的集群。
  • 高並發性集群非常適合用戶組需要共享資源或臨時工作運行。管理員通常創建高並發性集群。高並發性集群的主要好處是,他們提供了Apache Spark-native細粒度共享最大的資源利用率和最小查詢延遲。
  • 你可以通過這個最佳實踐可以幫助https://docs.www.eheci.com/clusters/cluster-config-best-practices.html

Tahseen0354
貢獻者三世

感謝你您的回複。所以我認為這是有關如何處理負載,沒有多少用戶正在使用集群。

Hubert_Dudek1
尊敬的貢獻者三世

高並發集群隻是分裂用戶之間資源更均勻。所以當4個人筆記本電腦運行在同一時間在集群與4個cpu可以想象,每一個cpu。

在標準集群1人可以利用所有工人cpu作為你的工作有多個分區(例如4)所以需要多核cpu進程(1 1一次分區所有4 cpu將很忙處理4分區)所以其他用戶的工作隊列中等待,直到你的工作完成。

在集群標準還可以維護資源配置在筆記本級別使用池。設置sparkContext屬性在筆記本的第一行:

spark.sparkContext.setLocalProperty (“spark.scheduler。池”、“pool1”)

感謝你您的回複。現在更有意義。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map