站長資訊網(wǎng)10月21日，網(wǎng)易數(shù)字+大會在杭州錢塘江畔召開，網(wǎng)易數(shù)帆旗下網(wǎng)易有數(shù)在會上發(fā)布了全鏈路數(shù)據(jù)生產(chǎn)力平臺2.0，推出了DataOps、邏輯數(shù)據(jù)湖、實時數(shù)據(jù)湖引擎、機器學習平臺、有數(shù)BI數(shù)據(jù)準備在內(nèi)的最新技術(shù)實踐，進一步完善數(shù)據(jù)治理能力，促進企業(yè)數(shù)智化轉(zhuǎn)型升級。
網(wǎng)易有數(shù)產(chǎn)品總經(jīng)理余利華表示，邁入數(shù)據(jù)生產(chǎn)力平臺2.0階段，更應(yīng)該夯實自身技術(shù)服務(wù)能力，從大數(shù)據(jù)底座、到數(shù)據(jù)中臺、再到數(shù)據(jù)應(yīng)用，每個鏈路都需要更好的打磨才能服務(wù)好客戶，達成實際業(yè)務(wù)中“人人用數(shù)據(jù)、時時用數(shù)據(jù)”的目標，真正發(fā)揮數(shù)據(jù)生產(chǎn)力。
過去一年，全鏈路數(shù)據(jù)生產(chǎn)力1.0的提出，以數(shù)據(jù)中臺、數(shù)據(jù)應(yīng)用為兩大節(jié)點，讓企業(yè)大數(shù)據(jù)決策水平提升實現(xiàn)正向閉環(huán)，將數(shù)據(jù)價值從業(yè)務(wù)系統(tǒng)中釋放。在1.0的實踐中，網(wǎng)易數(shù)帆發(fā)現(xiàn)，全鏈路數(shù)據(jù)生產(chǎn)力的閉環(huán)仍然存在一些阻滯，其中數(shù)據(jù)中臺的節(jié)點，各個系統(tǒng)數(shù)據(jù)的物理聚合成本越來越高，數(shù)據(jù)開發(fā)的低效拖慢交付應(yīng)用，同時中臺對于實時數(shù)據(jù)的處理要求日趨增多;在數(shù)據(jù)應(yīng)用的節(jié)點，非結(jié)構(gòu)化數(shù)據(jù)的理解需要更多的手段支撐。
作為今年的重要看點，網(wǎng)易數(shù)帆是如何解決上述問題，實現(xiàn)全鏈路數(shù)據(jù)生產(chǎn)力從1.0到2.0的躍遷?這其中又有哪些創(chuàng)新技術(shù)的推出?
提升數(shù)據(jù)開發(fā)效率，試試有數(shù)DataOps
大會當天，網(wǎng)易數(shù)帆推出了今年數(shù)據(jù)中臺的重磅升級——有數(shù)DataOps，旨在幫助企業(yè)解決數(shù)據(jù)開發(fā)過程中的效率和質(zhì)量問題，可以說是將DevOps的理念應(yīng)用于數(shù)據(jù)開發(fā)領(lǐng)域，以縮短洞察周期，推動項目持續(xù)集成(CI)和持續(xù)部署(CD)。
DataOps全流程
大會現(xiàn)場，余利華還展示了網(wǎng)易云音樂使用DataOps成功實踐。通過設(shè)置獨立的開發(fā)環(huán)境、自動測試流程，云音樂可以有效排查上線前代碼中存在的風險，實現(xiàn)自動運行測試。從效果上看，在使用有數(shù)DataOps產(chǎn)品后，因代碼提交產(chǎn)生的數(shù)據(jù)質(zhì)量問題下降了接近90%，平均需求交付周期從5天下降到2.5天，效率直接提升100%。
邏輯數(shù)據(jù)湖：從“Collect”到“Connect”
企業(yè)建設(shè)數(shù)據(jù)中臺不應(yīng)該是把所有的數(shù)據(jù)全部收集(Collect)到一個載體后再開始應(yīng)用，隨著數(shù)據(jù)的不斷涌入，用一種連接(Connect)的方式重復利用數(shù)據(jù)，成為了當下技術(shù)領(lǐng)先廠商們思考的手段。
余利華指出，數(shù)據(jù)中臺建設(shè)之初，往往誤以為只要把數(shù)據(jù)集中到一起，就能讓數(shù)據(jù)充分被利用。但在這些年與客戶交流后發(fā)現(xiàn)，企業(yè)想要構(gòu)建一個物理上集中的數(shù)據(jù)中臺非常困難。那么能否通過一種方式，在不要求數(shù)據(jù)遷移的前提下，將數(shù)據(jù)納入數(shù)據(jù)中臺管理?
大會現(xiàn)場，網(wǎng)易數(shù)帆發(fā)布了首創(chuàng)的，基于邏輯數(shù)據(jù)湖的數(shù)據(jù)中臺。作為一種物理分散，邏輯統(tǒng)一的數(shù)據(jù)中臺，其核心價值就是統(tǒng)一源數(shù)據(jù)信息、數(shù)據(jù)標準和數(shù)據(jù)源，同時兼容遺留系統(tǒng)，支持Oracle/MySQL/Vertica等7類系統(tǒng)，實現(xiàn)數(shù)據(jù)的統(tǒng)一開發(fā)和統(tǒng)一治理。
基于邏輯數(shù)據(jù)湖的數(shù)據(jù)中臺
邁入實時中臺時代，Arctic引擎驅(qū)動力
面對日益增長的數(shù)據(jù)規(guī)模以及越來越低時延的數(shù)據(jù)處理要求，流處理正在成為大數(shù)據(jù)廠商亟待精進的業(yè)務(wù)能力之一。企業(yè)對于實時數(shù)據(jù)的管理需求日益顯著，特別是對于像廣告、風控、促銷、物流等業(yè)務(wù)場景，只有依賴強大的流計算引擎才能支持實時動態(tài)的數(shù)據(jù)結(jié)果。
為了解決這些問題，網(wǎng)易數(shù)帆推出了有數(shù)實時數(shù)據(jù)湖引擎Arctic，不僅實現(xiàn)了流批一體存儲，還支持無縫對接數(shù)據(jù)中臺數(shù)據(jù)治理體系，可以說是極大地增強了數(shù)據(jù)攝取性能，特別是對于海量日志、事件等變更頻繁、實時性高的數(shù)據(jù)加工等業(yè)務(wù)場景，有著十分廣闊的技術(shù)實踐空間。
此外，搭載數(shù)據(jù)湖引擎Arctic，網(wǎng)易數(shù)帆“有數(shù)實時數(shù)據(jù)中臺”更是成功入選多個國家級大數(shù)據(jù)標桿示范項目評選，包括像今年中國大數(shù)據(jù)產(chǎn)業(yè)博覽會“十佳大數(shù)據(jù)案例”，工信部試點示范項目等等。
有數(shù)機器學習平臺：AI深化數(shù)據(jù)應(yīng)用
隨著物聯(lián)網(wǎng)和移動設(shè)備的發(fā)展，產(chǎn)生的數(shù)據(jù)越來越多，種類也包括圖片、文本、視頻等非結(jié)構(gòu)化數(shù)據(jù)，這使得機器學習模型可以獲得越來越多的數(shù)據(jù)。在全鏈路的數(shù)據(jù)應(yīng)用節(jié)點上，網(wǎng)易數(shù)帆也分享了自己多年的實戰(zhàn)經(jīng)驗，推出了有數(shù)機器學習平臺，去幫助企業(yè)理解及處理各類數(shù)據(jù)。
本次推出的網(wǎng)易有數(shù)機器學習平臺，經(jīng)過網(wǎng)易多年內(nèi)部業(yè)務(wù)驗證，能夠大幅提升機器學習迭代效率。在機器學習的各個階段都能提供有效支持，通過無縫對接數(shù)據(jù)中臺，使得數(shù)據(jù)訪問變得非常簡單。同時還提供Notebook和可視化建模兩種方式，支持TensorFlow，PyTorch主流算法框架，一鍵部署等等。
除了以上技術(shù)亮點，大會還發(fā)布了有數(shù)BI數(shù)據(jù)準備，針對缺乏專業(yè)人員的小微企業(yè)來說，可以借助有數(shù)BI數(shù)據(jù)準備，建立自助式ETL實現(xiàn)輕量級湖倉。
本次全鏈路數(shù)據(jù)生產(chǎn)力平臺2.0的發(fā)布，標志著網(wǎng)易數(shù)帆數(shù)據(jù)能力的全面提升，最終目的還是通過技術(shù)手段去解決企業(yè)實際業(yè)務(wù)中暴露的難點，提升數(shù)據(jù)價值的有效利用。
特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔此類作品侵權(quán)行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。
