在HC集群超級慢的SQL查詢

[User16869510359]

我有一個高並發性集群中的多個用戶正在運行。然而,我看到正在運行的查詢非常緩慢。我調試日誌和看到更多的時間是花在火花司機。火花的UI,我看不到緩慢。

[User16869510359 · Accepted solution]

有可能連接到蜂巢metastore耽誤了。當有高度的並發性和爭奪metastore訪問。交互式DBR的集群配置為使用5 (spark.databricks.hive.metastore.client.pool.size)蜂巢的客戶。如果有超過5個並發運行查詢訪問蜂巢的時間更長,那麼可能會緩慢。

簡單的解決方案是增加“spark.databricks.hive.metastore.client.pool試試。大小”。盡量增加32個,看看是否有改善。