2021年夏季磚實習——他們的工作和他們的影響!
2021年11月8日 在公司博客上
COVID預防措施仍然存在,2021年軟件工程磚進行了暑期實習幾乎與實習類的成員加入我們的家庭辦公室遍布世界。像往常一樣,今年的實習生在許多有效的合作項目,涵蓋了廣泛的數據和計算機科學學科,從軟件開發和算法設計到雲基礎設施和管道架構和管理。這個博客功能9今年的團隊成員,他們分享他們的實習經曆和實習項目的細節。
——MLFlow Kannan做實驗操作
MLflow實驗是廣泛使用的數據科學家追蹤和監控毫升培訓流程協作。beplay娱乐ios做實習的重點MLflow實驗中,一個開源的平台管理端到端機器學習生命周期,一流的Beplay体育安卓版本磚上的對象。執行這一目標,他建立了一個實驗允許API使客戶以編程方式查看和更新beplay体育app下载地址權限實驗。接下來,他讓用戶能夠執行管理操作在一個實驗中實驗觀測和實驗頁麵。“普裏特維”係統的實現這些特性,交付通過一個端到端的產品開發過程的特性在磚,穿很多帽子——他在產品需求與項目經理合作,用戶體驗設計師釘用戶界麵設計,工程設計決策的技術領導者,最後與科技作家推出前波蘭產品發布聲明。最終,簡化權限和分享,我們都很激動磚毫升!
Kritin Singhal——遷移身份驗證會話緩存使用分布式複述,高可用性集群
Kritin從事應用基礎架構團隊改善和規模磚身份驗證服務來處理100萬個請求/秒。身份驗證服務本地緩存用於Kubernetes倉,使多個重複調用數據庫。Kritin機載複述,集群的團隊和複述,集群部署協調員自動化集群創建和故障,導致一個高度可用的緩存基礎設施水平擴展和高吞吐量。然後他遷移一個優化的本地緩存緩存流使用複述和番石榴本地緩存,使團隊規模擴大和身份驗證服務豆莢水平和減少交通數據庫。這種改進將有助於磚呈指數級增長的最頂層!
天翼張——搜索索引直播更新程序
天翼與數據發現團隊合作設計和實現生活更新,帶來一個新的服務Elasticsearch指數最新複卷和重現變化數據捕獲(CDC)事件從輸入流和高吞吐量。它是一個主要組件的通用搜索平台,允許用戶搜索和發現所有的實體在其磚工作區——元數據,包括筆記本、Beplay体育安卓版本模型實驗、回購和他們擁有或創建文件。它被設計在Azure和AWS和其他新引入的是可擴展的搜索在未來實體。新的搜索基礎設施將統一現有的搜索體驗不同功能和顯著改進用戶體驗找到正確的數據資產的特征。
史蒂文·陳,自動生成批處理推理筆記本
今年夏天,史蒂文了ML推理團隊合作,提高客戶用戶旅程MLflow模型使用模型的注冊表。模型通常用於生成預測定期批量的數據或預測實時數據通過建立一個REST API。史蒂文的項目側重於建立一個新功能,自動生成一批推理筆記本,再現了訓練環境和生成並保存預測輸入表。在這個角色,史蒂文有機會工作在一個磚的開源項目,MLflow日誌附加依賴項和元數據模型所必需的環境,這是在他實習期間發布。最後,他連MLflow UI允許的功能一鍵批量推理筆記本代和實時服務。
萊昂Bi -磚回購CRUD的API / Ipynb文件支持
萊昂與回購團隊工作來幫助實現CRUD API磚回購的特性。磚回購與Git提供商提供儲存庫層次集成同步代碼在一個磚工作區與遠程的Git存儲庫,並允許用戶使用Git克隆功能,如遠程回購,管理分支機構,推和拉的變化,視覺上比較差異在提交。與新CRUD API,用戶可以自動回購的生命周期管理按REST端點。其他API特性包括端點為每個回購管理用戶訪問級別和光標分頁的列表。最後,萊昂在回購Ipynb實現文件支持。Ipynb (Jupyter)筆記本電腦的行業標準是交互式數據科學的筆記本,但在回購以前文件格式不支持這個功能。現在,客戶beplay体育app下载地址有能力進口、編輯和運行現有Ipynb筆記本內部回購。
詹姆斯·魏- SCIM API在賬戶層麵令牌
詹姆斯與身份和訪問管理團隊合作,設計和建造範圍API令牌,使磚賬戶的用戶配置。賬戶是一個更高級別的抽象,用戶可以使用它來管理多個工作區。beplay体育app下载地址以前,用戶配置必須基於per-workspace和帳戶級別標記是不存在的,在工作區和訪問令牌可以用來訪問幾乎任何API。詹姆斯重建磚牌的基礎設施,以支持賬戶和引入了一個新的作用域的令牌來驗證身份驗證令牌的定義範圍授權策略的一個端點。然後,他創建了一個作用域的令牌,可以同步企業用戶和組身份提供者和磚之間。因此,用戶配置從一個多步驟的過程/工作區一次性過程/帳戶。這個項目中發揮了關鍵作用簡化客戶旅程將用戶添加到數據磚時,和無疑將幫助推動使用磚平台!Beplay体育安卓版本
布萊恩·吳節儉——無狀態會話協議
布萊恩與SQL網關團隊合作,簡化和提高磚的會話狀態的一致性更新SQL,它允許客戶經營多重雲lakehouse架構在一個更好的價格/性能)會話狀態更新。beplay体育app下载地址SQL命令的上下文中運行一個SQL會話,但在同一會話可以運行多個命令不同Apache火花集群。布萊恩的貢獻修改與這些集群通信使用的協議,允許他們是無狀態的,會話同時確保所有命令運行最新的會話狀態。他還實現command-scoped會話狀態更新,所以並發命令在同一會話中執行相同的集群上不相互幹擾。他的項目提高一致性,減少了工程團隊來簡化代碼複雜性,並允許添加新功能的過程以磚的SQL。
Regina王- SQL自動完成
在夏天,Regina致力於提高SQL代碼編輯經驗為我們的主要的筆記本產品。為此,她第一次添加到上下文感知結果SQL自動完成——也就是說,當自動完成建議,整個查詢將被考慮。這允許用戶有更多的相關的自動完成結果和無縫集成我們的筆記本與Redash SQL解析器。此外,Regina添加SQL自動完成和語法高亮顯示的能力在Python的筆記本,一個高需求功能,使客戶輕鬆地篩選數據庫和表,在Python中編碼。beplay体育app下载地址當完全推出,這些特性將提高開發人員的生產力,並感動~ 65%的客戶使用我們的主要Python筆記本。beplay体育app下载地址
江史蒂夫-從SQS遷移/ aq自動裝卸機。
史蒂夫共事攝入團隊構建可伸縮攝入來自穀歌雲存儲通過自動加載程序流源。這種方法利用GCP PubSub通訊服務和事件通知從GCS桶過程和流的變化。這種形式的攝入明顯比另一種更容易擴展,基於重複攝取新的文件目錄清單,並將自動加載程序更為可行的選擇為客戶提供大量的數據存儲在質量。beplay体育app下载地址他還致力於支持模式演化extendingDatabricks Avro文件的多個Avro模式模式推理功能合並到一個統一的模式和構建Avro獲救數據文件。新模式推理允許流運行不斷適應新領域,隨著時間的推移可能會出現在數據模式。獲救的數據將會捕獲任何數據,否則將丟失由於Avro不匹配模式比預期的文件有不同的模式。
我們希望延長一個大“謝謝”在2021年夏天我們所有的工程實習生,協助開發一些重要特性和更新將被客戶廣泛使用。beplay体育app下载地址
想要幫助產生影響?我們的軟件工程實習和新畢業生(2022年開始)的角色是開放的!我們總是尋找希望工程師們興奮地成長,學習和有助於建立一個創新的公司!