我設置dbx的第一次在Windows上10。
嚴格遵循https://dbx.readthedocs.io/en/latest/guides/python/python_quickstart/
openjdk安裝
conda安裝- c conda-forge openjdk = 11.0.15
winutils。exe Hadoop 3下載,路徑設置
本地相關性:
3.3.1火花:
dbx版本
我卡在最後一步(單元測試運行):
pytest測試/單元
錯誤:. lang。NoSuchMethodError:“空白org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter .checkFieldName美元(以)
如果is_error(回答)[0]:如果len(回答)> 1:type =回答[1]價值= OUTPUT_CONVERTER[型](回答[2],gateway_client)如果回答[1]= = REFERENCE_TYPE: >提高Py4JJavaError(“調用時發生一個錯誤{0}{1}{2}。\ n”。格式(target_id”。“,name), value) E py4j.protocol.Py4JJavaError: An error occurred while calling o59.saveAsTable. E : java.lang.NoSuchMethodError: 'void org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter$.checkFieldName(java.lang.String)' E at org.apache.spark.sql.delta.schema.SchemaUtils$.$anonfun$checkFieldNames$1(SchemaUtils.scala:890)
你能幫我解決這個問題嗎?