如何攔截火花和Pyspark偵聽器嗎?

[William_Scardua]

嗨,夥計們,

可以攔截偵聽器火花Pyspark收集指標像洗牌,傾斜率,等等?

[匿名]

嗨了!謝謝你的新問題!像往常一樣,我們會讓你的同事有機會回答。謝謝你的耐心!

[werners1 · Accepted solution]

有趣的問題。

我知道你可以使用SparkListener收集信息,例如在這裏。

類是用Scala編寫的,所以我的第一個想法是,它在python / pyspark是不可能的。

但所以說,它是可能的,但《旅的開銷。

到目前為止從最優,我´d嚐試使用scala。