Init腳本下載Maven JAR失敗

試圖安裝庫時,集群初始化腳本下載Maven JAR失敗。

寫的arvind.ravish

最後發布日期:2022年5月11日

問題

您有一個init腳本,它試圖通過Maven安裝一個庫,但是在嚐試下載JAR時失敗了。

https://repo1.maven.org/maven2/com/nvidia/rapids-4-spark_2.12/0.4.1/rapids-4-spark_2.12-0.4.1.jar%0D解決repo1.maven.org (repo1.maven.org)…151.101.248.209連接repo1.maven.org (repo1.maven.org)|151.101.248.209|:443…連接。HTTP請求已發送,等待響應…404 Not Found 2021-07-30 01:31:11錯誤404:Not Found。

導致

有一個回車(% 0 d)初始化腳本中一行或多行末尾的字符。

這通常是由於在Windows中編輯文件,然後將其上傳到Databricks工作空間而沒有刪除多餘的回車。

解決方案

通過運行刪除Windows回車符dos2unix在將文件上傳到工作空間之後。

%sh sudo apt-get install dos2unix -y dos2unix file  .sh

一旦從文件中刪除了Windows回車符,就可以正常配置init腳本。