MLflow項目訪問Apache Hive表失敗

解決MLflow項目無法訪問Apache Hive表時出現的“Table or view not found”錯誤。

寫的vikas.yadav

最後發布時間:2022年5月16日

問題

您有一個MLflow項目，它無法訪問Hive表並返回一個未找到表或視圖錯誤。

pyspark.sql.utils.AnalysisException: "沒有找到表或視圖:' default ' . ' tab1 ';\n' aggregate [unresolvedalias(count(1)， None)]\n+- 'UnresolvedRelation ' default '。' tab1 ' \n" xxxxx ERROR mlflow. 'cli: ===執行(ID 'xxxxx') failed ===

導致

這發生在SparkSession對象是在MLflow項目中創建的，不支持Hive。

解決方案

配置SparkSession與.enableHiveSupport ()選項。這是MLflow項目的一部分。

%scala val spark = SparkSession.builder.enableHiveSupport().getOrCreate()