站長資訊網
        最全最豐富的資訊網站

        大數據協同安全技術國家工程實驗室發布XLearning平臺

          近兩年人工智能技術發展迅速,以Google開源的TensorFlow為代表的各種深度學習框架層出不窮。為了能讓國內人工智能技術更好的落地,并且人工智能也是大數據分析的主要方法,作為大數據協同安全技術國家工程實驗室牽頭公司的360,其系統部大數據團隊與人工智能研究院基于長期的研究和實踐成果,開發了基于Hadoop大數據能力的人工智能平臺XLearning。大數據協同安全技術國家工程實驗室是國家發改委批準建設的國家級大數據安全研究創新平臺,是大數據領域唯一的由民營企業承擔的國家工程實驗室。該實驗室目前由360公司牽頭,主要負責大數據基礎架構、安全防護和應用領域方面的研究。

          360 XLearning項目負責人李遠策表示, XLearning對于開發者意義重大,因為同行業公司都會有類似開發需求,XLearning則可以幫助他們實現調度的統一和服務器資源的復用。隨著平臺算法庫的不斷增容和優化,開發者工作難度將大大降低。他們將有更多精力,用于功能的實現和代碼的優化。此外,除了人工智能平臺XLearning之外,360在大數據開源技術領域也不斷創新,如Poseidon系統、pika系統等均是360在大數據領域的獨創開源技術。

        大數據協同安全技術國家工程實驗室發布XLearning平臺
        大數據協同安全技術國家工程實驗室發布XLearning平臺

        1: 大數據協同安全技術國家工程實驗室

          (官網地址:http://nelab-bdst.org.cn/)

          (官方微信名稱:大數據協同安全國家工程實驗室)

        大數據協同安全技術國家工程實驗室發布XLearning平臺
        大數據協同安全技術國家工程實驗室發布XLearning平臺

        2: 360深度學習調度平臺XLearning

          (XLearning項目開源地址https://github.com/Qihoo360/XLearning)

          XLearning平臺將大數據與深度學習相融合,基于Hadoop Yarn完成了TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用深度學習框架的集成,是典型的“AI on Hadoop”的實現。XLearning從今年4月份正式開發上線運行,經多次版本迭代更新,為各學習框架的使用者提供了統一、穩定的調度平臺,實現了資源共享,極大的提高了資源利用率,并且具有良好的擴展性和兼容性。

        大數據協同安全技術國家工程實驗室發布XLearning平臺
        大數據協同安全技術國家工程實驗室發布XLearning平臺

        3XLearning架構

          其中,Client是XLearning客戶端,負責啟動作業及獲取作業執行狀態; ApplicationMaster主要負責輸入數據分片、啟動及管理Container、執行日志保存等; Container是作業的實際執行者,負責啟動Worker或PS(Parameter Server)進程,監控并向AM匯報進程狀態,上傳作業的輸出等。對于TensorFlow類型作業,還負責啟動Tensoard服務。

          XLearning雖然架構簡潔,但具有豐富的功能方便用戶進行模型訓練,并依托于Yarn提供有作業資源的統一管理。首先,Xlearning平臺支持TensorFlow、MXNet分布式和單機模式,支持所有的單機模式的深度學習框架,如Caffe、Theano、PyTorch等;其次,XLearning提供多種模式用于數據的輸入、輸出,包括數據的流式讀寫、直接HDFS讀寫等,可根據作業處理的數據量與集群機器硬盤容量,視情況決定所采用的讀寫方式;再者,為方便用戶查看作業信息,XLearning提供可視化界面用于展示作業執行進度和輸出日志等內容;另外,XLearning還支持TensorFlow分布式模式的ClusterSpec自動分配構建,單機模式和其他深度學習框架代碼不用做任何修改即可遷移到XLearning上,便于用戶快速使用;最后,利用深度學習框架本身的Checkpoint機制和直接讀寫HDFS數據功能,XLearning方便用戶實現訓練恢復繼續執行。

          作為國內人工智能領域的先行者,360公司以平臺開源的形式,實現了行業已有資源的集成和優化。相信未來,以360公司牽頭的大數據安全協同技術國家工程實驗室將為提升我國網絡安全和大數據人工智能產業和學界的整體水平貢獻更多力量。

        特別提醒:本網內容轉載自其他媒體,目的在于傳遞更多信息,并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益,請及時聯系我們,本站將會在24小時內處理完畢。

        贊(0)
        分享到: 更多 (0)
        網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
        主站蜘蛛池模板: 久久精品国产网红主播| 国产精品成人观看视频国产奇米| 在线观看亚洲精品国产| 久久精品九九亚洲精品天堂| 亚洲国产精品无码av| 国内精品视频九九九九| 久久99国产精品久久| 无码精品人妻一区二区三区中| 99久久国产综合精品网成人影院| 色欲久久久天天天综合网精品| 精品国产婷婷久久久| 久久综合九色综合精品| 精品爆乳一区二区三区无码av| 亚洲欧美日韩国产精品一区二区| 99视频在线精品国自产拍亚瑟| 国产精品高清一区二区三区| 亚洲欧美日韩久久精品第一区| 精品人妻少妇一区二区三区在线| 91精品国产综合久久香蕉 | 99视频在线精品国自产拍亚瑟| 久久久久成人精品无码中文字幕| 日韩福利视频精品专区| 国产精品人人做人人爽| 亚洲国产精品久久久久婷婷软件| jiucao在线观看精品| 久久精品无码一区二区无码 | 亚洲国语精品自产拍在线观看 | 国产成人AV无码精品| 97久久精品人人做人人爽| 国产精品黄网站| 国产精品免费观看| 国产a视频精品免费观看| jizzjizz国产精品久久| 精品人伦一区二区三区潘金莲| 亚洲高清国产拍精品26U| 中文字幕精品一区二区三区视频| 亚洲午夜精品一级在线播放放| 亚洲欧洲自拍拍偷精品 美利坚| 亚洲国产成人精品无码久久久久久综合 | 无码日韩精品一区二区三区免费 | 99在线观看视频免费精品9|