加載問題引發Scala庫

[匿名]

我們有一個專有的火花scala庫,這是必要的,我做我的工作。每周我們構建一個發布版本,並將它存儲在一個特定的s3位置(所以最新的刺激版本總是存儲在同一個地方)。但到目前為止,我不能找出一種合理的方式加載庫,並不是一個巨大的痛苦。在一個理想的世界裏,我的集群會自動安裝jar從刺激文件夾在s3時啟動。很多人在公司依靠這個庫。你知道有一種方法來實現這個?謝謝!

[sean_owen]

沒有一個偉大的回答一個JVM庫。您可以創建一個圖書館實體在工作區中基於某個特定的JAR你把S3。你可以連接到一個集群。但它是靜態的,不會拿一些新版本的JAR在另一個位置。你必須每次都重新創建JAR和圖書館。

我認為你可能較低級的方法,那就是引發類路徑添加JAR位置在您的集群配置,並確保位置總是最新的JAR。任何集群上發射,它將閱讀和部署最新的JAR。有點手冊但接近你想要的。

[User16857281974]

Databrick課程團隊解決了這個問題通過創建我們自己的Maven回購比聽起來更容易。要做到這一點,我們把一個S3 bucket,轉換到一個公共網站,允許標準文件下載,然後在桶中創建了一個“回購”文件夾中。從那裏我們要做的就是按照公約標準maven目錄創建一個回購隻有1 - 2文件。

與回購,你簡單地創建集群,當定義maven庫,包括額外的屬性來識別您的自定義回購。

您可以使用標準的版本計劃如果你想要,或簡單地替換相同文件每次你更新它。在任何情況下,手動創建的集群,集群通過api將在啟動時安裝你的圖書館。

你可以在這裏看到我們如何使用S3創建回購和主機這個習俗的副本bigdl