簡化數據+人工智能,一行一次打印稿
今天,磚而聞名的後端工程、建造和運營雲係統跨數以百萬計的虛擬機處理每天艾字節的數據。不那麼明顯的是專注於打造用戶體驗,使數據更容易獲得和使用。
我們認為是時候強調通過一係列的帖子的人,工作,和影響他們對我們的客戶和生態係統。beplay体育app下载地址在這第一篇文章中,我們會介紹創始人的故事在這一領域的一些技術和產品挑戰我們的經驗。在未來,我們將討論新的可視化和微前端等工作。
讓我們開始吧。
磚的創始論文:沒有偉大的UI / UX不能簡化數據
自從我們開始在加州大學伯克利分校做大規模計算的研究,我們的目標是讓更多的人能夠使用它。當時最先進的一個工程師團隊需要在Java或c++工作數周處理tb的數據。我們的工作在Apache火花使每個人都運行分布式計算隻有幾行Python或SQL。
但這是不夠的。從早期,我們發現許多令人興奮的火花的早期應用程序互動——例如,其中一個最令人興奮的是一群神經科學家實時可視化斑馬魚大腦活動來理解大腦是如何工作的。看到這些應用程序,我們意識到一個偉大的計算引擎隻能讓我們到目前為止:進一步擴大對大數據的訪問也需要新的、高質量的用戶界麵對訓練有素的開發商和消費者更多的公民數據。
作為我們的第一個產品,我們建造了世界首先對數據科beplay娱乐ios學協作和互動的筆記本設計前端,可以顯示和大量數據的可視化,後台自動切片和重新計算數據作為用戶操縱他們的可視化,以及一個完整的協同編輯係統,允許用戶同時處理相同的筆記本和可視化流媒體數據的更新。beplay娱乐ios
我們的資金向Andreessen Horowitz演示包含任何更改火花——它隻是表明一個交互式、雲計算接口基於可以在幾秒鍾內使tb的數據可用。球客戶是相同的,他們愛它!beplay体育app下载地址
每個人,甚至是“商人”,不得不學習JavaScript
後端係統的創始團隊有很強的譜係(我們係統/數據庫博士),但我們不知道如何吸引前端工程師。所以我們必須自己動手;創始人都有份“JavaScript:權威指南”和“JavaScript:好的部分,”從頭到尾閱讀在暑假開始之前。(我們很快樂“好地方”隻有176頁。)
在我們7合夥人,Arsalan”是我們業務的人。”他收到了他的博士學位計算機網絡從伯克利幾年前,和已經在麥肯錫工作夥伴。我們認為談判夥伴關係和達成交易不會滿100%的時間,所以我們問他起床速度JavaScript在公司開始之前。
想象一下:一些ceo和cfo見麵後,這西裝的麥肯錫顧問董事會第一課,不用他Briggs & Riley隨身行李,然後拿出他的複製JavaScript:良好的部分。
整個團隊在:我們的CEO寫原來的可視化在D3,馬泰寫了最初的文件瀏覽器,Arsalan實現筆記本中的評論功能,用戶仍然熱愛今天。
創始團隊雖然沒有回避撿JavaScript和建築最初的產品,在過去的幾年中我們已經顯著擴大團隊帶來更多的前端和UX專家。他們教會了我們很多,完全現代化我們的前端堆棧(比如笑話,反應,下一個。js,打印稿,紗)。
挑戰在UI / UX數據和人工智能
我們還發現,許多用戶體驗和工程挑戰最前端應用程序不運行。這些挑戰包括:
- 有效地顯示大量的數據。我們的用戶想要探索和可視化大規模數據集,他們的屏幕上顯示盡可能多的記錄。這意味著我們的桌子和情節控製所有必須盡可能快速和健壯的大,可能是不規則的數據集。我們還測試了他們很大程度上讓他們健壯,在早期,我們發現很多客戶很容易崩潰的工作負載的web瀏覽器,與2000年從表中列的行和一個100 MB的文本字段。我們現在的前端和後端處理這些情況。即使在今天,我們不斷推動的邊界可能在瀏覽器作為客戶的工作負載都變得越來越苛刻。beplay体育app下载地址
- 為長時間運行的並行任務設計的UI。有時用戶要求的東西需要一段時間來計算(如運行在pb的數據),那麼,我們如何確保他們覺得係統快速響應?提供有意義的進展,甚至讓他們看到近似結果查詢之前完成。一個例子是我們的陰謀控製的能力快速渲染數據基於前端樣本,然後推動大型查詢所有數據的後端。
- 讓用戶快速創建共享生產應用程序。我們發現大多數的用戶交互地分析然後想把它變成一個儀表板和發布到他們的團隊,他們不想離開他們的數據分析產品。因此,我們構建發布工作流在筆記本,讓用戶將他們的結果合並到一個可用的,盡快發表報告。我們現在的儀表板達到全球成千上萬的用戶。例如,當COVID開始,我們的阿姆斯特丹團隊發現了一個磚儀表板的跟蹤情況下的電視新聞。
- 結合工程工作流。數據產品建立在磚越來越多的供電任務關鍵型應用程序。因此,盡管數據科學家和分析師迅速想探索他們的數據,他們也想遵循工程最佳實踐介紹嚴謹,如管理代碼在Git中或運行CI / CD。我們的很多工作集中在使非技術用戶利用類似的工具或概念工程嚴格自己的工作流。
我們剛剛開始
磚對我們影響我們的客戶。beplay体育app下载地址其中神經科學家正試圖理解大腦是如何工作的,整個大陸能源工程師減少能源消費,醫藥研究人員加快發現下一個重要藥物。
但是我們還沒有解決所有的問題。解決我們的爆炸性增長創造了更多的挑戰,我們感覺我們是剛剛開始。長久以來,我們的行業建立了基於代碼背後的最先進的技術為數據接口。民主化的第一步數據和人工智能是創建圖形用戶界麵顯著簡化關鍵用戶旅行。
作為一個最近的例子,我們建立了一個新的數據瀏覽器用戶界麵以便於勘探的數據(零端變化)。我們發貨後,我們收到客戶的消息傑克:“數據瀏覽日夜更好。無論巫術發生這是天堂。”We know that we can do the same in many other parts of users’ workflows.
來構建數據和人工智能的未來與我們同在。你的工作可能被用來創建下一個抗癌藥物,抓住下一個網絡攻擊,甚至解釋晚報上的下一個大故事。