性能問題與辛巴Deltalake ODBC驅動程序來執行簡單的插入命令

[因陀羅]

你好,

我們的團隊正在使用辛巴Deltalake ODBC來執行數據加載,並與3列一個表的55秒左右才插入15記錄。

如何提高事務性加載到Deltalake嗎?有什麼選項從辛巴ODBC驅動程序利用批量加載Deltalake對數據遷移(非常重要)?還是有一種Deltalake配置表的支持/執行更好的事務性工作負載(非常重要的日常數據synchornization從源到Deltalake) ?

謝謝

[匿名]

@Indra Limena:

有幾種方法可以提高事務性加載到三角洲湖:

1. 使用湖的本機δJDBC / ODBC連接器,而不是第三方ODBC驅動程序像辛巴。本機連接器三角洲湖進行了優化,支持批量插入,這可以極大地提高性能。
2. 使用批量插入湖三角洲API批量數據加載,而不是一次插入一條記錄。這也可以顯著提高性能。
3. 使用三角洲湖流API實時加載數據,因為它變得可用。這對於用例可以有用,你需要加載數據一旦可用。
4. 分區表的鍵列湖三角洲你經常使用過濾數據。這可以提高查詢性能,減少需要掃描的數據量。
5. 使用三角洲湖的z值特性物理組織表中的數據是基於一個或多個列。這可以進一步提高查詢性能,允許三角洲湖跳過整個文件或分區,不包含相關數據。

辛巴ODBC驅動程序,有一個選項有可能利用批量加載,但你需要查閱文檔或聯係供應商尋找。然而,即使有一個選項使用批量加載,它可能不是一樣優化本機三角洲湖連接器或批量插入API。

一般來說,如果你想執行批量數據遷移或每天從源係統數據同步到三角洲湖,推薦使用一個工具,是優化用例,例如Apache NiFi或Apache氣流。這些工具可以處理大量數據,並提供高效、可靠的數據傳輸機製。