PYODBC很慢——30分鍾寫6000行

[turagittech]

沿著withh其他幾個問題我遇到,我發現大熊貓dataframe to_sql非常緩慢

我寫這封信是為了一個SQL Azure數據庫和性能是可悲的。這是一個測試數據庫和S3 100裏程計和一個用戶,我的配置。其他任務的足夠快,但可怕的。

我看不出有任何共同關心的數據庫監控建議我超過裏程計什麼的。

這是我的連接配置,以適當的屏蔽

connection_string = "司機= {ODBC驅動程序為SQL Server 18};”\ "Server=azureservername.privatelink.database.windows.net;" \ "Database=datawarehousename;TrustServerCertificate=yes;" \ "Encrypt=yes;UID=dbuser;PWD=" connection_url = URL.create("mssql+pyodbc", query={"odbc_connect": connection_string}) engine = create_engine(connection_url, fast_executemany=True)

這是我的dataframe。to_sql寫入數據庫

dfoutDB。to_sql (“ResourceLogRpt”模式=“報告”,反對=引擎,if_exists =“追加”,chunksize = 10000,指數= False)

chunksize的變化並不改變

在讀取數據之間我操縱URL數據提取目錄元素和參數

有辦法驗證fast_executemany = True正在做什麼嗎?

任何其他想法診斷導致這是緩慢的。是什麼?

我的集群是56 Gb和8芯DBR 1.4使用Scala 3.2.1,我本以為足夠的所有其他數據幀操作是非常快的,但如果有影響,我需要了解我請告訴我誤解了什麼

謝謝

彼得

[Debayan · Accepted solution]

嗨,謝謝你接觸到community.www.eheci.com。

你能上運行一個分析器跟蹤SQL並確定發生了什麼問題?

另外,請參考https://stackoverflow.com/questions/29638136/how-to-speed-up-bulk-insert-to-ms-sql-server-using-pyod..。添加fast_executemany特性,將“關閉”默認情況下,這有助於加快批量操作。

[Vidula]

嗨@Peter麥克拉蒂

@Debayan穆克吉反應回答你的問題嗎?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

我們很想聽到你的聲音。

謝謝!