問題
集群的回報取消了在Python的筆記本。檢查驅動程序日誌(std.err)集群配置頁麵一個堆棧跟蹤和錯誤消息類似如下:
log4j:警告沒有輸出源可以發現記錄器(com.databricks.conf.trusted.ProjectConf $)。log4j:警告請初始化log4j係統正常。log4j:警告看到https://logging.apache.org/log4j/1.2/faq.html noconfig更多信息。OpenJDK 64位服務器虛擬機警告:忽略選擇MaxPermSize = 512;支持在8.0被回溯(最近的電話最後):文件“/ local_disk0 / tmp / 1551693540856 - 0 / PythonShell。py”, 30行,從IPython.nbconvert.filters <模塊>。ansi導入ansi2html文件“/磚/ python / lib / python3.5 /網站/ IPython / nbconvert / __init__。py”, 6號線,在<模塊>。導入後處理程序文件“/磚/ python / lib / python3.5 /網站/ IPython nbconvert /後處理程序/ __init__。py”, 6號線,在<模塊> .serve ServePostProcessor文件導入”/磚/ python / lib / python3.5 /網站/ IPython / nbconvert /後處理程序/服務。py”, 29日,<模塊>類ProxyHandler (web.RequestHandler):文件”/磚/ python / lib / python3.5 /網站/ IPython / nbconvert /後處理程序/服務。py”,第31行ProxyHandler @web。異步AttributeError:模塊的龍卷風。網絡“沒有屬性“異步”
導致
當你安裝散景庫,默認情況下龍卷風安裝6.0版本a1,這是一個alpha版本。alpha版本引起這個錯誤,所以解決方案是恢複到穩定版本的龍卷風。
解決方案
按照以下步驟創建一個集群級init腳本(AWS|Azure|GCP)。init腳本刪除的新版本龍卷風並安裝穩定版。
- 如果init腳本已經不存在,創建一個基本目錄來存儲:
% sh dbutils.fs.mkdirs (“dbfs: /磚/ <目錄> /”)
- 創建以下腳本:
% sh dbutils.fs.put (“dbfs: /磚/ <目錄> /龍卷風。sh”、“”“# !/bin/bash pip卸載——是的龍卷風rm射頻/home/ubuntu/databricks/python/lib/python3.5/site-packages rm /龍卷風*射頻/磚/ python / lib / python3.5 /網站/龍卷風* /usr/bin/yes | /home/ubuntu/databricks/python/bin/pip安裝龍卷風5.1.1”“= =”,真的)
- 確認腳本存在:
% sh顯示器(dbutils.fs.ls (“dbfs: /磚/ <目錄> / tornado.sh”))
- 去集群配置頁麵(AWS|Azure|GCP),然後點擊高級選項切換。
- 在頁麵的底部,單擊Init腳本標簽:
- 在目的地下拉,選擇DBFS提供這個腳本文件路徑,點擊添加。
- 重新啟動集群。
有關更多信息,請參見: