多遠模型大小和滯後影響分布式推理嗎?

[鐵砧]

你好!

我想知道如何有效的推理模型的規模滯後是在一個分布式的方式。

工具喜歡熊貓迭代器udf或mlflow.pyfunc.spark_udf()我們可以讓模型每個工人隻加載一次,所以我可能會說,最小化推理滯後比最小化大小更重要,因為每個模型大小會影響我們一次而每次觀測滯後將影響我們。

我也說的影響是更大的整體模型,幾個模型——用自己的落後——每個需要每個觀察推斷出一次。

這個假設是正確的嗎?

謝謝你!

[youssefmrini]

最小化你的假設推理滯後比最小化模型的大小更重要在分布式環境中通常是正確的。

在分布式環境中,模型通常每個工人加載一次,正如你提到的,這意味著模型的影響大小是有限的初始加載模型。然而,推理滯後發生每次處理一個觀察,這可能有重大影響係統的整體性能。