我在嚐試dlt /自動裝卸機。我有一個簡單的、平的JSON文件,我試圖加載到一個DLT(以下本指南像這樣:
創建或更新直播表statistics_live評論”的原始統計數據“TBLPROPERTIES(“質量”=“青銅”)作為SELECT * FROM cloud_files (“/ mnt /生/統計/”、“json”, (“cloudFiles地圖。inferColumnTypes”、“真正的”);
我得到錯誤消息是:com.databricks.sql.cloudfiles.errors。CloudFilesAnalysisException:推斷模式失敗json格式從現有文件輸入路徑/ mnt /生/統計/。請確保您配置的選項正確或顯式地指定模式。
JSON文件是這樣的:
[{“衝”:“通過”:26日5日“total_return”: 1,“總”:32歲的“fumble_return”: 0,“int_return”: 1、“kick_return”: 0,“punt_return”: 0,“其他”:0}]
我看過很多“答案”說到指定模式但是如果我希望我的改變隨著時間的推移,這不是一個選擇。
編輯:有趣的是,我開始生成完整的JSON文件並將其存儲在雲存儲,而不是處理部分文件。完全生成的文件是正確推斷我引發了自動裝卸機管道時,複雜的孩子JSON和所有屬性。我想我還是離開這個問題,因為我不知道為什麼部分文件對我拋出異常。
