我可以運行多個工作(例如:100 +)並行是指相同的筆記本嗎?我為每個工作提供一個不同的參數。如果我們能做到這一點,帶來的影響是什麼?(例如:可靠性、性能、故障排除等)
例子:
筆記本:
table_name = dbutils.widgets.get (table_name) df = (spark.read.format(“鋪”).load (f年代:/ / data_source_bucket_name / {table_name} / ')) <處理數據> df.write.saveAsTable (table_name模式=“覆蓋”)
工作1參數:
table_name = ' Table_1 '
工作兩個參數:
table_name = ' Table_2 '
。
。
。
。
100年工作參數:
table_name = ' Table_100 '
解釋:從表中讀取鋪文件文件夾和後加載到三角洲表處理。所有的表的處理步驟是相同的。