10月21日，網(wǎng)易數(shù)字+大會(huì)在杭州錢塘江畔召開，網(wǎng)易數(shù)帆旗下網(wǎng)易有數(shù)在會(huì)上發(fā)布了全鏈路數(shù)據(jù)生產(chǎn)力平臺(tái)2.0，推出了DataOps、邏輯數(shù)據(jù)湖、實(shí)時(shí)數(shù)據(jù)湖引擎、機(jī)器學(xué)習(xí)平臺(tái)、有數(shù)BI數(shù)據(jù)準(zhǔn)備在內(nèi)的最新技術(shù)實(shí)踐，進(jìn)一步完善數(shù)據(jù)治理能力，促進(jìn)企業(yè)數(shù)智化轉(zhuǎn)型升級(jí)。

　　網(wǎng)易有數(shù)產(chǎn)品總經(jīng)理余利華表示，邁入數(shù)據(jù)生產(chǎn)力平臺(tái)2.0階段，更應(yīng)該夯實(shí)自身技術(shù)服務(wù)能力，從大數(shù)據(jù)底座、到數(shù)據(jù)中臺(tái)、再到數(shù)據(jù)應(yīng)用，每個(gè)鏈路都需要更好的打磨才能服務(wù)好客戶，達(dá)成實(shí)際業(yè)務(wù)中“人人用數(shù)據(jù)、時(shí)時(shí)用數(shù)據(jù)”的目標(biāo)，真正發(fā)揮數(shù)據(jù)生產(chǎn)力。

　　過(guò)去一年，全鏈路數(shù)據(jù)生產(chǎn)力1.0的提出，以數(shù)據(jù)中臺(tái)、數(shù)據(jù)應(yīng)用為兩大節(jié)點(diǎn)，讓企業(yè)大數(shù)據(jù)決策水平提升實(shí)現(xiàn)正向閉環(huán)，將數(shù)據(jù)價(jià)值從業(yè)務(wù)系統(tǒng)中釋放。在1.0的實(shí)踐中，網(wǎng)易數(shù)帆發(fā)現(xiàn)，全鏈路數(shù)據(jù)生產(chǎn)力的閉環(huán)仍然存在一些阻滯，其中數(shù)據(jù)中臺(tái)的節(jié)點(diǎn)，各個(gè)系統(tǒng)數(shù)據(jù)的物理聚合成本越來(lái)越高，數(shù)據(jù)開發(fā)的低效拖慢交付應(yīng)用，同時(shí)中臺(tái)對(duì)于實(shí)時(shí)數(shù)據(jù)的處理要求日趨增多;在數(shù)據(jù)應(yīng)用的節(jié)點(diǎn)，非結(jié)構(gòu)化數(shù)據(jù)的理解需要更多的手段支撐。

　　作為今年的重要看點(diǎn)，網(wǎng)易數(shù)帆是如何解決上述問(wèn)題，實(shí)現(xiàn)全鏈路數(shù)據(jù)生產(chǎn)力從1.0到2.0的躍遷?這其中又有哪些創(chuàng)新技術(shù)的推出?

提升數(shù)據(jù)開發(fā)效率，試試有數(shù)DataOps

　　大會(huì)當(dāng)天，網(wǎng)易數(shù)帆推出了今年數(shù)據(jù)中臺(tái)的重磅升級(jí)——有數(shù)DataOps，旨在幫助企業(yè)解決數(shù)據(jù)開發(fā)過(guò)程中的效率和質(zhì)量問(wèn)題，可以說(shuō)是將DevOps的理念應(yīng)用于數(shù)據(jù)開發(fā)領(lǐng)域，以縮短洞察周期，推動(dòng)項(xiàng)目持續(xù)集成(CI)和持續(xù)部署(CD)。

DataOps全流程

　　大會(huì)現(xiàn)場(chǎng)，余利華還展示了網(wǎng)易云音樂(lè)使用DataOps成功實(shí)踐。通過(guò)設(shè)置獨(dú)立的開發(fā)環(huán)境、自動(dòng)測(cè)試流程，云音樂(lè)可以有效排查上線前代碼中存在的風(fēng)險(xiǎn)，實(shí)現(xiàn)自動(dòng)運(yùn)行測(cè)試。從效果上看，在使用有數(shù)DataOps產(chǎn)品后，因代碼提交產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題下降了接近90%，平均需求交付周期從5天下降到2.5天，效率直接提升100%。

邏輯數(shù)據(jù)湖：從“Collect”到“Connect”

　　企業(yè)建設(shè)數(shù)據(jù)中臺(tái)不應(yīng)該是把所有的數(shù)據(jù)全部收集(Collect)到一個(gè)載體后再開始應(yīng)用，隨著數(shù)據(jù)的不斷涌入，用一種連接(Connect)的方式重復(fù)利用數(shù)據(jù)，成為了當(dāng)下技術(shù)領(lǐng)先廠商們思考的手段。

　　余利華指出，數(shù)據(jù)中臺(tái)建設(shè)之初，往往誤以為只要把數(shù)據(jù)集中到一起，就能讓數(shù)據(jù)充分被利用。但在這些年與客戶交流后發(fā)現(xiàn)，企業(yè)想要構(gòu)建一個(gè)物理上集中的數(shù)據(jù)中臺(tái)非常困難。那么能否通過(guò)一種方式，在不要求數(shù)據(jù)遷移的前提下，將數(shù)據(jù)納入數(shù)據(jù)中臺(tái)管理?

　　大會(huì)現(xiàn)場(chǎng)，網(wǎng)易數(shù)帆發(fā)布了首創(chuàng)的，基于邏輯數(shù)據(jù)湖的數(shù)據(jù)中臺(tái)。作為一種物理分散，邏輯統(tǒng)一的數(shù)據(jù)中臺(tái)，其核心價(jià)值就是統(tǒng)一源數(shù)據(jù)信息、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)源，同時(shí)兼容遺留系統(tǒng)，支持Oracle/MySQL/Vertica等7類系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一開發(fā)和統(tǒng)一治理。

基于邏輯數(shù)據(jù)湖的數(shù)據(jù)中臺(tái)

邁入實(shí)時(shí)中臺(tái)時(shí)代，Arctic引擎驅(qū)動(dòng)力

　　面對(duì)日益增長(zhǎng)的數(shù)據(jù)規(guī)模以及越來(lái)越低時(shí)延的數(shù)據(jù)處理要求，流處理正在成為大數(shù)據(jù)廠商亟待精進(jìn)的業(yè)務(wù)能力之一。企業(yè)對(duì)于實(shí)時(shí)數(shù)據(jù)的管理需求日益顯著，特別是對(duì)于像廣告、風(fēng)控、促銷、物流等業(yè)務(wù)場(chǎng)景，只有依賴強(qiáng)大的流計(jì)算引擎才能支持實(shí)時(shí)動(dòng)態(tài)的數(shù)據(jù)結(jié)果。

　　為了解決這些問(wèn)題，網(wǎng)易數(shù)帆推出了有數(shù)實(shí)時(shí)數(shù)據(jù)湖引擎Arctic，不僅實(shí)現(xiàn)了流批一體存儲(chǔ)，還支持無(wú)縫對(duì)接數(shù)據(jù)中臺(tái)數(shù)據(jù)治理體系，可以說(shuō)是極大地增強(qiáng)了數(shù)據(jù)攝取性能，特別是對(duì)于海量日志、事件等變更頻繁、實(shí)時(shí)性高的數(shù)據(jù)加工等業(yè)務(wù)場(chǎng)景，有著十分廣闊的技術(shù)實(shí)踐空間。

　　此外，搭載數(shù)據(jù)湖引擎Arctic，網(wǎng)易數(shù)帆“有數(shù)實(shí)時(shí)數(shù)據(jù)中臺(tái)”更是成功入選多個(gè)國(guó)家級(jí)大數(shù)據(jù)標(biāo)桿示范項(xiàng)目評(píng)選，包括像今年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)“十佳大數(shù)據(jù)案例”，工信部試點(diǎn)示范項(xiàng)目等等。

有數(shù)機(jī)器學(xué)習(xí)平臺(tái)：AI深化數(shù)據(jù)應(yīng)用

　　隨著物聯(lián)網(wǎng)和移動(dòng)設(shè)備的發(fā)展，產(chǎn)生的數(shù)據(jù)越來(lái)越多，種類也包括圖片、文本、視頻等非結(jié)構(gòu)化數(shù)據(jù)，這使得機(jī)器學(xué)習(xí)模型可以獲得越來(lái)越多的數(shù)據(jù)。在全鏈路的數(shù)據(jù)應(yīng)用節(jié)點(diǎn)上，網(wǎng)易數(shù)帆也分享了自己多年的實(shí)戰(zhàn)經(jīng)驗(yàn)，推出了有數(shù)機(jī)器學(xué)習(xí)平臺(tái)，去幫助企業(yè)理解及處理各類數(shù)據(jù)。

　　本次推出的網(wǎng)易有數(shù)機(jī)器學(xué)習(xí)平臺(tái)，經(jīng)過(guò)網(wǎng)易多年內(nèi)部業(yè)務(wù)驗(yàn)證，能夠大幅提升機(jī)器學(xué)習(xí)迭代效率。在機(jī)器學(xué)習(xí)的各個(gè)階段都能提供有效支持，通過(guò)無(wú)縫對(duì)接數(shù)據(jù)中臺(tái)，使得數(shù)據(jù)訪問(wèn)變得非常簡(jiǎn)單。同時(shí)還提供Notebook和可視化建模兩種方式，支持TensorFlow，PyTorch主流算法框架，一鍵部署等等。

　　除了以上技術(shù)亮點(diǎn)，大會(huì)還發(fā)布了有數(shù)BI數(shù)據(jù)準(zhǔn)備，針對(duì)缺乏專業(yè)人員的小微企業(yè)來(lái)說(shuō)，可以借助有數(shù)BI數(shù)據(jù)準(zhǔn)備，建立自助式ETL實(shí)現(xiàn)輕量級(jí)湖倉(cāng)。

　　本次全鏈路數(shù)據(jù)生產(chǎn)力平臺(tái)2.0的發(fā)布，標(biāo)志著網(wǎng)易數(shù)帆數(shù)據(jù)能力的全面提升，最終目的還是通過(guò)技術(shù)手段去解決企業(yè)實(shí)際業(yè)務(wù)中暴露的難點(diǎn)，提升數(shù)據(jù)價(jià)值的有效利用。

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。