我目前的數據工程與磚,遇到一個錯誤。我也試圖用自己的數據,也有類似的錯誤。在實驗室裏,我們使用的是自動裝卸機閱讀引發的csv文件保存在DBFS流。這個實驗室的答案是:
#回答custombeplay体育app下载地址ers_checkpoint_path = f“{DA.paths。檢查點}/客戶”(火花。beplay体育app下载地址readStream .format .option (“cloudFiles (“cloudFiles”)。格式”、“csv”) .option (“cloudFiles。schemaLocation”, beplay体育app下载地址customers_checkpoint_path) .load (“/ databricks-datasets / retail-org客戶/”).createOrReplaceTempView (“customers_raw_temp”))
這將導致一個錯誤消息:
. lang。UnsupportedOperationException:方式模式推理不支持格式:csv。請指定模式。
當使用csv,似乎一個預定義的模式是必需的。我嚐試用我個人磚數據,必須先創建一個模式,然後添加我流模式:
模式= StructType ([StructField (“Test1 StringType(),真的),StructField (“Test2 StringType(),真的),StructField (“Test3 StringType(),真的)])火花。readStream .format .option (“cloudFiles (“cloudFiles”)。形式at", source_format) .option("header", "True") .schema(schema) .load(data_source)
這是最好的解決方案這個錯誤或者有一種自動裝卸機所示的模式解決磚實驗室嗎?
