我想設置一個工作區圖書館這是在我們的組織內部使用。這是一個Python包,上可用的來源是一個私人GitHub庫,而不是訪問表麵上PyPi或更廣泛的互聯網/網絡。
我設法克隆私人GitHub庫通過添加GitHub開發者令牌用戶設置,但當提示添加一個圖書館——看來我可以上傳到S3或者DBFS作為“輪”或“蛋”文件(eggfile很快就會被棄用)。問題是定期更新的Python包,一個git拉+ pip安裝需要至少一天一次,在24小時內,否則可能發生多次。
想知道在磚使用這個包的唯一方法是保持到DBFS或S3上傳新生成的輪文件?有一些方法快速同步存儲庫和安裝他們嗎?
@Eshwaran引導
您可以使用磚CLI的自動化過程,克隆私人GitHub庫和大廈/上傳Python包作為輪DBFS文件。你可以安排這個過程定期運行,如一天一次,使用cron作業或類似的調度機製。
這種方法允許你同步的私人GitHub庫和安裝Python包磚以最少的人工幹預。
注意,這隻是發展,在生產過程中或筆記本上運行調度工作,模塊和功能可以被認為是凍結。
@Eshwaran Venkat:提供你更多的建議。
迭代和測試功能的一種方法從磚是使用Python文件開發工作流程,包括版本控製和自動化測試。
通過使用這種迭代過程,您可以快速修改和測試函數的外部模塊在不影響管道運行在你的筆記本上。一旦你有信心的行為功能,你可以凍結生產使用的模塊和功能。
此外,您可能需要考慮使用版本控製,如Git跟蹤更改外部模塊和與人合作可以修改功能。這可以幫助確保跟蹤變化,每個人都使用相同的代碼。