09-20-202105:46我
我們起程拓殖磚provier的使用,這是開始一個集群和檢查每一個山(由於沒有安裝rest API)。檢查每個掛載花20秒,99.9%的時間是空閑等待,開始一份工作/掛載。如果我們可以運行很多(超過nr的核心)工作同時我們應該能夠使它更快,但我不能找到如何做到這一點。我試過設置
“spark.executor。在stances` to 2*cores, but it seems to be ignored.
所以,是否可以設置磚使用比nr火花執行人的核心?
09-20-202107:31我
你好@埃裏克!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我將與我的團隊跟進,回到你soon.Thanks。
10-05-202104:16我
嘿@Kaniz開羅,它似乎並不像社區有一個答案。也許你可以訪問一些磚工程師誰知道答案?
10-05-2021有機會我
嗨@Erik Parmann,
社區為你很快就會找到答案。
我轉發這個團隊。他們會盡快送還給你。
謝謝你的耐心。
10-07-202152我
這個舊郵政幫助嗎鏈接
同樣,你在哪裏添加火花配置“spark.executor.instances”?這應該是設定在集群級別設置。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。