【PPT】50頁PPT揭秘騰訊大數據平臺與推薦應用架構

論文類別:計算機論文 > 互聯網研究論文
上傳時間:2014/12/6 11:15:00

2014年10月25日,由eBay、CSDN共同舉辦的“大數據峰會”將在上海豫園萬麗酒店舉辦。騰訊T4技術專家、數據平臺部精準推薦中心總監李勇,以“騰訊大數據平臺與推薦應用架構”作為峰會的結尾。

內容簡介:

  • 騰訊的月活躍用戶8.3億

  • 微信月活躍用戶4.4億

  • QQ空間月活躍用戶6.5億

  • 遊戲月活躍用戶過億

如今騰訊的數據分析已經能做到始終“不落地”,即全部的實時處理。騰訊大數據平臺有如下核心模塊:TDW、TRC、TDBank、TPR和Gaia。簡單來說,TDW用來做批量的離線計算,TRC負責做流式的實時計算,TPR負責精準推薦,TDBank則作為統一的數據采集入口,而底層的Gaia則負責整個集群的資源調度和管理。李勇還特別強調了數據平臺體系化是應用基礎,數據應用商業化是價值導向。

數據平臺體系化是應用基礎,數據應用商業化是價值導向。

騰訊深度學習平臺的挑戰

深度神經網絡模型復雜,訓練數據多,計算量大

  • 模型復雜:人腦有100多億個神經細胞,因此DNN的神經元和權重多

  • 訓練數據多:大量訓練數據才能訓練出復雜模型

  • 微信語音識別:數萬個神經元,超過50,000,000參數,超過4,000,000,000樣本,單機訓練耗時以年計,流行的GPU卡需數周

深度神經網絡需要支持大模型

  • 更深更寬的網絡能獲得更好的結果

  • 以圖像識別為例,增加卷積層的filter數量,加大模型深度等,可獲得更好的模型質量

深度神經網絡訓練中超參數多,需要反復多次實驗

  • 非線性模型:代價函數非凸,容易收斂到局部最優解

  • 敏感的超參數:模型結構、輸入數據處理方式、權重初始化方案、參數配置、激活函數選擇、權重優化方法等

  • 數學基礎研究稍顯不足,倚重技巧和經驗

騰訊深度學習平臺Mariana

騰訊有廣泛的深度學習應用需求,其挑戰如下

  • 模型復雜,訓練數據多,計算量大

  • 需要支持大模型

  • 訓練中超參數多,需要反復多次實驗

Mariana騰訊深度學習平臺提供三個框架解決上述問題

  • Mariana DNN: 深度神經網絡的GPU數據並行框架

  • Mariana CNN: 深度卷積神經網絡的GPU數據並行和模型並行框架

  • Mariana Cluster: 深度神經網絡的CPU集群框架

Mariana已支持了訓練加速、大模型和方便的訓練作業

  • 微信語音識別6 GPU做到4.6倍加速比

  • 微信圖像識別4 GPU做到2.5倍加速比,並支持大模型

 Mariana已成功應用到微信語音識別和微信圖像識別,並在廣點通廣告推薦的點擊率預估中積極嘗試

【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构

【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构

【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构

【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构【PPT】50页PPT揭秘腾讯大数据平台与推荐应用架构

(編選:中國電子商務研究中心)

下载论文

論文《【PPT】50頁PPT揭秘騰訊大數據平臺與推薦應用架構》其它版本

互聯網研究論文服務

網站聲明 | 聯系我們 | 網站地圖 | 論文下載地址 | 代寫論文 | 作者搜索 | 英文版 | 手機版 CopyRight@2008 - 2017 免費論文下載中心 京ICP备17062730号