我試圖基準Powerbi磚連接器vspowerbi三角洲湖讀者在一個數據集的215萬行。我發現三角洲湖讀者使用20秒,而進口通過SQL計算端點了~ 75秒。
當我看到在SQL查詢資料計算我看到50秒spendt“柱狀行”的一步。這讓我相當suspicios,因為我得到的印象,一個更新PowerBI我們將利用”雲獲取”,創建包含Apache箭頭批次的文件,這是一個柱狀的格式。為什麼轉換行嗎?也許實際上並沒有使用雲獲取?有什麼方法可以驗證我實際使用雲獲取?在PowerBi日誌或磚SQL計算端點web界麵?
關於databricks-connect,我們能夠解決伯父誤差增加當地引發司機實例的內存用於遠程通信和在後台運行:
參看< - spark_config ()
conf”sparklyr.shell美元。driver-memory ' <——“10 g”
databricks_connect_spark_home < -係統(“databricks-connect get-spark-home”,實習生= TRUE)
sc < -
spark_connect (
方法=“磚”,
spark_home = databricks_connect_spark_home,
配置=相依
)
謝謝,但是我讀過,這就是為什麼我在尋找一種方式來確認雲獲取實際工作。
磚代表說,如果我們使用一個更新powerbi桌麵版(我使用“2.100.1401.0 64位(2021年desember)”)包括一個更新版本的ODBC驅動程序應該使用雲取回。源。你能確認這是對還是錯?
這對我們是很重要的,因為我們有許多用戶powerbi,這對我們是一個很大的不同,如果我們隻需要更新他們的powerbi innstalation vs安裝一個定製的odbc驅動程序。