筆記本運行時的工作/工作流調度程序,數據是從來沒有進口,但是文件刪除。
運行時直接(如運行細胞)或手動運行時的工作(如點擊運行從UI)的工作,會導入的數據。
沒有任何明顯的錯誤報告的工作日誌。以前,如果導入文件包含一個無效的模式,就業會失敗,發送警報。
進口再保險dir = " / FileStore / shared_uploads /靈知/導入/”文件= dbutils.fs.ls (dir) f文件:標簽= re.split (“_ \ d +”, f.name)[0]打印(f.name +“- >”+ tab) df = spark.read.format (csv)。負載(dir + f.name inferSchema = " true ",頭= " true ")如果標簽= =“t_1”或標簽= =“t_2”: df.write.option (“mergeSchema”,真的).saveAsTable(“提取。{}”.format(選項卡),格式=“δ”模式=“追加”)其他:df.write.option (“mergeSchema”,真的).saveAsTable(“提取。{}”.format(選項卡),格式=“δ”模式=“覆蓋”)dbutils.fs。rm (dir + f.name)
{“job_id”: 1、“設置”:{“名稱”:“導入數據”、“email_notifications”: {“on_failure”:“靈知主義者”,“no_alert_for_skipped_runs”:真正的},“timeout_seconds”: 0,“安排”:{“quartz_cron_expression”:“54 5 0/2 * * ?”,“timezone_id”:“美國/底特律”、“pause_status”:“暫停”},“max_concurrent_runs”: 1、“任務”:[{“task_key”:“import_data”、“notebook_task”: {“notebook_path”:“/用戶/靈知/導入數據”},“existing_cluster_id”:“1”,“timeout_seconds”: 0,“email_notifications”:{}}],“格式”:“MULTI_TASK”},“created_time”: 1648574818835,“creator_user_name”:“靈知主義者”,“run_as_user_name”:“靈知主義者”}
