最好的方法來安裝和管理一個私人的Python包,有一個不斷更新

[darthdickhead]

我想設置一個工作區圖書館這是在我們的組織內部使用。這是一個Python包,上可用的來源是一個私人GitHub庫,而不是訪問表麵上PyPi或更廣泛的互聯網/網絡。

我設法克隆私人GitHub庫通過添加GitHub開發者令牌用戶設置,但當提示添加一個圖書館——看來我可以上傳到S3或者DBFS作為“輪”或“蛋”文件(eggfile很快就會被棄用)。問題是定期更新的Python包,一個git拉+ pip安裝需要至少一天一次,在24小時內,否則可能發生多次。

想知道在磚使用這個包的唯一方法是保持到DBFS或S3上傳新生成的輪文件?有一些方法快速同步存儲庫和安裝他們嗎?

[匿名]

@Eshwaran引導

您可以使用磚CLI的自動化過程,克隆私人GitHub庫和大廈/上傳Python包作為輪DBFS文件。你可以安排這個過程定期運行,如一天一次,使用cron作業或類似的調度機製。

1. 在本地機器上安裝和配置數據磚CLI或一個單獨的服務器。
2. 創建一個Python腳本,克隆私人GitHub庫,構建Python包,並上傳DBFS為輪文件。您可以使用git命令和setuptools包來執行這些任務。
3. 將腳本添加到一個cron作業或類似的調度機製來定期運行它,如一天一次。
4. 在你磚的筆記本電腦,安裝Python包在DBFS輪上傳文件。

這種方法允許你同步的私人GitHub庫和安裝Python包磚以最少的人工幹預。

[darthdickhead]

好奇的,最好的辦法是什麼從python文件迭代和測試功能。想象你有一個python模塊,有幾個函數,需要導入和使用磚內的筆記本有管道。現在,當你運行筆記本和得到的結果,你想回到這些函數在外部模塊和編輯,並重試運行特定的細胞。所以,定期更新不會工作太好了,隻是想知道的最佳實踐是使用外部模塊如這意味著筆記本之間的來回編輯流程和功能模塊。

[darthdickhead]

注意,這隻是發展,在生產過程中或筆記本上運行調度工作,模塊和功能可以被認為是凍結。

[匿名]

@Eshwaran Venkat:提供你更多的建議。

迭代和測試功能的一種方法從磚是使用Python文件開發工作流程,包括版本控製和自動化測試。

1. 必要的功能的模塊導入到筆記本。
2. 在筆記本上寫代碼調用這些函數和產生的結果,您可以檢查和評估。
3. 根據需要修改的功能模塊,並保存更改。
4. 細胞在筆記本上運行使用修改後的功能測試,並驗證他們的行為預期。
5. 如果有必要,重複步驟3和步驟4,直到你滿意的行為功能。

通過使用這種迭代過程,您可以快速修改和測試函數的外部模塊在不影響管道運行在你的筆記本上。一旦你有信心的行為功能,你可以凍結生產使用的模塊和功能。

此外,您可能需要考慮使用版本控製,如Git跟蹤更改外部模塊和與人合作可以修改功能。這可以幫助確保跟蹤變化,每個人都使用相同的代碼。