6月10日,騰訊優(yōu)圖實驗室宣布正式開源新一代移動端深度學習推理框架TNN,通過底層技術優(yōu)化實現(xiàn)在多個不同平臺的輕量部署落地,性能優(yōu)異、簡單易用。騰訊方面稱,基于TNN,開發(fā)者能夠輕松將深度學習算法移植到手機端高效的執(zhí)行,開發(fā)出人工智能 App,真正將 AI 帶到指尖。
GitHub鏈接: https://github.com/Tencent/TNN
輕量級部署,TNN助力深度學習提速增效
深度學習對算力的巨大需求一直制約著其更廣泛的落地,尤其是在移動端,由于手機處理器性能弱、算力無法多機拓展、運算耗時長等因素常常導致發(fā)熱和高功耗,直接影響到App等應用的用戶體驗。騰訊優(yōu)圖基于自身在深度學習方面的技術積累,并借鑒業(yè)內(nèi)主流框架優(yōu)點,推出了針對手機端的高性能、輕量級移動端推理框架TNN。
TNN在設計之初便將移動端高性能融入核心理念,對2017年開源的ncnn框架進行了重構(gòu)升級。通過GPU深度調(diào)優(yōu)、ARM SIMD深入?yún)R編指令調(diào)優(yōu)、低精度計算等技術手段,在性能上取得了進一步提升。以下是MNN, ncnn, TNN框架在多款主流平臺的實測性能:
商用機器人 Disinfection Robot 展廳機器人 智能垃圾站 輪式機器人底盤 迎賓機器人 移動機器人底盤 講解機器人 紫外線消毒機器人 大屏機器人 霧化消毒機器人 服務機器人底盤 智能送餐機器人 霧化消毒機 機器人OEM代工廠 消毒機器人排名 智能配送機器人 圖書館機器人 導引機器人 移動消毒機器人 導診機器人 迎賓接待機器人 前臺機器人 導覽機器人 酒店送物機器人 云跡科技潤機器人 云跡酒店機器人 智能導診機器人 |