chetan.kardekar於2022年7月8日更新
Apache Spark UI與作業不同步
Spark UI (AWS | Azure | GCP)沒有正確顯示Spark作業的狀態。一些被確認為“完成”狀態的作業在Spark UI中顯示為“活動/運行中”。在某些情況下，Spark UI可能出現空白。當您查看驅動程序日誌時，您會看到一個AsyncEventQueue警告。日誌===== 20/12/23 21:20:26…
1分鍾閱讀時間
chetan.kardekar於2022年5月10日更新
在追加操作中識別重複數據
在Delta表上執行追加操作時，一個常見的問題是重複數據。例如，假設用戶1對Delta表a執行寫操作，同時用戶2對Delta表a執行追加操作，這可能導致表中出現重複記錄。在本文中，我們回顧了基本的故障排除步驟，您可以使用這些步驟…
1分鍾閱讀時間
chetan.kardekar於2022年7月22日更新
使用to_timestamp()解析子午線後時間(PM)將返回null
你試圖用to_timestamp()解析一個12小時(AM/PM)的時間值，但不是返回一個24小時的時間值，而是返回null。例如，示例代碼:%sql SELECT to_timestamp('2016-12-31 10:12:00 PM'， 'yyyy-MM-dd HH:mm:ss a');運行時返回null:原因to_timestamp()要求小時格式為小寫。如果這個女人…
0分鍾讀取時間
chetan.kardekar於2022年5月16日更新
Hyperopt失敗，maxNumConcurrentTasks錯誤
當使用py4j作業失敗時，您正在使用Hyperopt調優機器學習參數。Py4JException:方法maxNumConcurrentTasks([])不存在錯誤。您正在使用Databricks Runtime for Machine Learning (Databricks Runtime ML)集群。原因分析Databricks Runtime ML已經預先安裝了兼容的Hyperopt版本(AWS | Azure |…)
0分鍾讀取時間
加載更多