你好,
希望每個人都做得很好。
我們正在驗證數據磚GCP和Azure。
我們有一個python筆記本,做一些ETL(複製、提取zip文件和流程文件中的zip文件)
我們的集群配置在Azure上
DBX運行時,10.4-驅動程序標準DS4_v2工人——標準D8_v3(4工人)。(40核心156 gb)
我們嚐試類似的配置豐富
DBX運行時,11.3-司機n2-highmem-4工人——n2-standard-8(4工人)。(36芯160 gb)
對於相同的筆記本小路徑的變化,運行時似乎非常高的GCP相比Azure - 1 h增加到3 h
自從筆記本沒有改變太多,也許大功能分割成較小的和路徑的變化,我想知道它可能是由於運行時變化和機器類型。
- 有沒有記錄慢跌在DBX運行時11.3比10.4嗎?
- 之間有表映射等價的機器類型Azure和GCP嗎?穀歌搜索顯示類似的分組即計算優化在GCP Azure vs計算優化,但沒有一對一的映射。
- 並把一個函數分解為多個函數在運行時引起如此巨大的差異?
謝謝你的所有幫助。
歡呼聲……
