需要幫助將龐大的數據插入到宇宙db使用磚從azure湖數據存儲

[納娑]

我想6 gb的數據插入到宇宙使用OLTP數據庫連接器

容器俄文的:40000

集群配置:

cfg = {" spark.cosmos。spark.cosmos accountEndpoint”: cosmosdbendpoint。”spark.cosmos accountKey”: cosmosdbmasterkey。”spark.cosmos數據庫”:cosmosdatabase。”容器”:cosmosdbcontainer,} spark.conf.set (“spark.sql.catalog。cosmosCatalog”、“com.azure.cosmos.spark.CosmosCatalog”) spark.conf.set (“spark.sql.catalog.cosmosCatalog.spark.cosmos。accountEndpoint”, cosmosdbendpoint) spark.conf.set (“spark.sql.catalog.cosmosCatalog.spark.cosmos。accountKey”, cosmosdbmasterkey) spark.conf.set (“spark.cosmos.write.bulk。啟用”、“真實”)json_df.write.format (cosmos.oltp) .options (* * cfg) .mode(“追加”).save ()

我正在約3小時加載到宇宙db

1。增加俄羅斯是唯一的方法來減少執行時間

2。除了OLTP連接器,我們有什麼辦法在短時間內插入批量數據

3所示。如何計算基於數據大小是俄文

[Kaniz]

嗨@Manasa Kalluri,這文章解釋如何讀取數據,寫入數據使用Azure磚Azure宇宙DB。

[納娑]

嗨@Kaniz開羅,我的問題不在於資源。我試著每件事在文章中提到的但我需要插入大量數據在更短的時間內(def不3小時6 gb數據)。所以,我尋找一個優化的方法。

[SteveMeckstroth]

也許你已經找到了一個解決方案,但對另一些人來說,最終我得到了戲劇性的改善使用Mongo連接器CosmosDB:https://www.mongodb.com/docs/spark-connector/current/write-to-mongodb/

[ImAbhishekTomar]

有沒有人找到解決方案,我也使用類似的混亂和勞和數據攝入大量時間…。?