優化

[匿名]

我一直在測試優化一個巨大的數據集(大約7.75億行),得到不同的結果。當我試著在“字符串”列,查詢返回在2.5分鍾,使用相同的列作為“整數”,使用相同的查詢,它返回9.7秒。請建議。

我用9.1 LTS Azure環境。

[Kaniz]

你好@thbeh!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[werners1 · Accepted solution]

這取決於查詢,您所使用的表和優化(裝箱,z順序)。

三角洲湖前32列的默認情況下收集統計信息(可以修改)。

建築長字符串的統計數據也更昂貴的比遠東整數。

然後還有評估數字是速度比字符串的事實。

https://docs.microsoft.com/en-us/azure/databricks/spark/latest/spark-sql/language-manual/delta-copy-..。

也可以玩是集群自動伸縮功能,或現貨實例的廢棄等等。

所以,不容易定位的差異。

[匿名]

@Werner Stinckens謝謝你的解釋。