嗨Kaniz和肖恩,謝謝你的回複和時間。
我在Kaniz的方法,但是接到肖恩的答複,所以我也試過。我從肖恩的聯係提供了下載文件,保存在本地機器上,然後使用Dollyv2代碼(https://huggingface.co/databricks/dolly-v2-3b)並成功運行它沒有連接到Huggingface /磚。沒有試過沒有互聯網,但是我認為它也會工作。再次感謝Kaniz和肖恩的回複!
我使用代碼:
嗨@JohnLaw,下載Dolly-v2-7b模型在本地機器上,您可以使用MLflow進出口MLflow遷移模型從一個空間到另一個地方。你可以複製模型從一個空間到另一個,從開發到生產工作區。
然而,這將是最好的如果你有MLflow 2.3安裝,和任何集群安裝了擁抱的臉變形金剛庫可用於批量推理。《變形金剛》圖書館10.4 LTS毫升以上的都是係統預安裝。
這裏是您可以遵循的步驟:
1。從磚工作區導出Dolly-v2-7b模型使用MLflow進出口。
2。導出的模型下載到本地機器上。
3所示。在本地機器上安裝擁抱臉變形金剛圖書館。
4所示。加載到您的本地機器上使用的出口模型變形金剛庫。
來源:
- - - - - -https://docs.www.eheci.com/machine-learning/manage-model-lifecycle/workspace-model-registry.html
- - - - - -https://docs.www.eheci.com/machine-learning/train-model/huggingface/model-inference-nlp.html
嗨Kaniz和肖恩,謝謝你的回複和時間。
我在Kaniz的方法,但是接到肖恩的答複,所以我也試過。我從肖恩的聯係提供了下載文件,保存在本地機器上,然後使用Dollyv2代碼(https://huggingface.co/databricks/dolly-v2-3b)並成功運行它沒有連接到Huggingface /磚。沒有試過沒有互聯網,但是我認為它也會工作。再次感謝Kaniz和肖恩的回複!
我使用代碼: