12月19日-20日，由騰訊發(fā)起的2020 Techo Park開發(fā)者大會于北京順利召開。其中人工智能專場以“人工智能算法與最佳實踐”為主題，為開發(fā)者、業(yè)界及生態(tài)伙伴呈現(xiàn)了云計算時代下人工智能領域的最新前沿技術與最佳行業(yè)實踐。

　　騰訊優(yōu)圖實驗室的研究員梁晨、王亞彪、姚達、楊博分別圍繞AI視覺傳感器、視覺算法在圖像編輯生成中的研究與應用、TNN跨平臺推理優(yōu)化、模量化訓練部署及實踐等發(fā)表了主題演講，向業(yè)界展示了優(yōu)圖最新研究成果與產(chǎn)業(yè)實踐。

　　自研AI視覺傳感器VisionSeed，算法多樣支持二次開發(fā)

　　在論壇上，梁晨給大家介紹了一個有趣的硬件——AI視覺傳感器。什么是AI視覺傳感器呢?它是由攝像頭、NPU和算法組成的硬件模組，其基本運行原理是：在NPU上運行深度學習算法，能夠直接對攝像頭拍攝到的畫面進行實時分析，并將分析的結(jié)果通過數(shù)字信號傳輸給主機。

　　據(jù)梁晨介紹，騰訊優(yōu)圖推出了一款自研的AI視覺傳感器——VisionSeed，內(nèi)置優(yōu)圖領先的視覺AI算法，還提供專業(yè)的配套工具和全平臺的SDK作為支撐，讓開發(fā)者可以方便的進行二次開發(fā)。

騰訊優(yōu)圖專家研究員 梁晨

　　算法是AI視覺傳感器的靈魂，VisionSeed具有很強的擴展性，能適應多種算法。一是可以適配SSD、YOLO-V4等開源的目標檢測算法。二是應用于自動駕駛小車競賽領域的車道定位算法，將VisionSeed安裝在AGV小車的前端，獲取第一人稱視角的車道畫面后，通過算法輸出小車在車道內(nèi)的橫向偏移。這個算法主要通過語義分割進行車道信息提取，再通過回歸模型直接得到定位結(jié)果來完成任務，將這兩個交通標識檢測和車道定位模型都部署到AI視覺傳感器中，它就能指揮AGV小車完成復雜的任務。三是OCR算法，VisionSeed適配了基于 PyTorch開源實現(xiàn)的CRNN算法。

　　VisionSeed將以上算法，在客戶端工具中封裝成可以一鍵下載的模塊，不僅方便用戶下載體驗，還可以進行分類任務訓練。VisionSeed還同時支持UART和USB兩個硬件接口。此外，通過VisionSeed提供的全平臺SDK，開發(fā)者僅用10行代碼就可以獲取到AI分析后的結(jié)構(gòu)化結(jié)果。

　　研發(fā)圖像編輯生成技術，解鎖圖像和視頻領域更多可能

　　什么是圖像編輯生成?人臉融合、圖像分割、動漫化、視頻換臉、照片驅(qū)動……這些都是利用圖像編輯生產(chǎn)技術完成的。演講中，騰訊優(yōu)圖高級研究員王亞彪重點介紹了視頻換臉、面部屬性編輯、視線編輯、畫質(zhì)編輯這四項技術，他表示這些技術都會用到GAN生成對抗網(wǎng)絡和Encoder-Decoder框架。

　　視頻換臉領域早期有一個Deepfake算法，該算法只能對訓練過的兩個特定ID換臉，無法使用各種各樣的人臉去做替換。針對此點不足，優(yōu)圖提出了SimSwap算法，不僅能滿足不同人臉的替換，還可以做跨性別替換，在正臉和側(cè)臉之間也可以進行替換。

騰訊優(yōu)圖高級研究員 王亞彪

　　在面部屬性編輯技術研究中發(fā)現(xiàn)，模型不同層級的“風格”特征表示，在某些層級具有很好的可分性，因此優(yōu)圖提出了SSCGAN算法，該算法采用多級風格跳躍連接(SSC)和空間信息遷移(SIT)兩個模塊，實現(xiàn)整體結(jié)構(gòu)和局部面部屬性的精確編輯。

　　在視線編輯方面，王亞彪指出，疫情期間在線視頻交流越來越重要，但受限于屏幕和攝像頭之間的物理布局，導致交流過程中缺乏眼神接觸，因此優(yōu)圖提出Ugaze 算法框架，矯正眼神視線方向。相較于以往基于3D變換的視圖生成和基于生成模型的單目視線編輯， Ugaze 算法主要有兩點創(chuàng)新：一是提出了基于運動流場結(jié)合判別器的方案;二是使用了大量人工合成數(shù)據(jù)，采用域遷移方法，進一步提升了模型矯正精度。

　　針對畫質(zhì)編輯，優(yōu)圖提出了圖像超分RealSR算法。以往的超分算法往往只在特定數(shù)據(jù)集上有效，難以很好的對真實世界圖像做超分。針對以往算法在高清和低清圖像pair構(gòu)造上的不足，我們提出了一種新的圖像退化框架，該框架可以估計多樣化的模糊核和真實噪聲分布。RealSR算法獲得了NTIRE 2020挑戰(zhàn)賽冠軍，并受到了眾多社區(qū)開發(fā)者的關注。

　　推出統(tǒng)一推理框架TNN，解決產(chǎn)業(yè)落地難題

　　騰訊優(yōu)圖高級研究員姚達在演講中介紹到，優(yōu)圖的視覺AI技術如文字識別、圖像識別、美容美化等核心技術，已在零售、工業(yè)、支付等多個領域進行應用。但在產(chǎn)業(yè)解決方案落地過程中，優(yōu)圖也遇到了一些難點，比如模型格式不同一、硬件架構(gòu)眾多、性能低功耗高等。

　　為解決以上三大難點，優(yōu)圖聯(lián)合騰訊內(nèi)部多個部門推出了統(tǒng)一推理框架TNN，以滿足算法模型跨平臺、高性能快速部署需求。TNN通過ONNX作為一個中間結(jié)構(gòu)支持PyTorch、TensorFlow等多種模型格式，同時TNN在底層適配了各種各樣的芯片能力。目前在騰訊內(nèi)部，TNN已在手Q、微視等多個APP端以及微信支付一體機等終端落地，穩(wěn)定性和可靠性得到廣泛驗證。

騰訊優(yōu)圖高級研究員 姚達

　　TNN推理框架是如何進行優(yōu)化的呢?根據(jù)硬件架構(gòu)基礎和硬件的演進，TNN提出兩個基本準則：一是減少計算量，減少內(nèi)存讀寫，適配Cache讓內(nèi)存讀寫更快;二是擴展適配異構(gòu)計算設備。

　　基于以上兩個原則，TNN提出了圖優(yōu)化、算子公式優(yōu)化、算子手動調(diào)優(yōu)、異構(gòu)調(diào)度優(yōu)化等多種優(yōu)化方案。在圖優(yōu)化中通過常數(shù)折疊和算子融合，避免運行時冗余計算以及減少內(nèi)存讀寫次數(shù);在算子公式優(yōu)化中，利用子圖變換、公式等效和近似計算，減小計算量和內(nèi)存讀寫總量。在算子手動調(diào)優(yōu)中，針對耗時占比在70%以上的卷積算子，根據(jù)硬件緩存特性設計精細的卷積實現(xiàn)。在異構(gòu)調(diào)度優(yōu)化中，TNN提出異構(gòu)單元專職專用，充分利用所有計算設備，根據(jù)計算設備特性分配不同計算任務，同時計算設備間進行流水線優(yōu)化，以此減少計算設備相互等待，提升計算重疊度，減少整體延時。

　　在硬件適配方面，針對端邊云硬件架構(gòu)各異，相互不具備通用性，適配工作量巨大這些難點，TNN和硬件廠商進行了聯(lián)合優(yōu)化，優(yōu)化后可以達到兩種效果：一是接口統(tǒng)一，用戶只需要通過簡單的參數(shù)設置，就可以在CPU、GPU、NPU上運行。二是模型統(tǒng)一，TNN內(nèi)部通過IR中間件的方式適配各個硬件廠商的自研框架如OpenVINOTensorRT等，用戶僅需轉(zhuǎn)換TNN模型即可在各硬件平臺部署。

　　優(yōu)圖在推理框架TNN下與英特爾合作完成多尺度GEMM優(yōu)化，使得模型性能提升24%;與英偉達完成低精度量化模型的訓練和推理支持，相比FP32推理提升4倍以上

　　目前，TNN已經(jīng)開源，期待更多開發(fā)者加入進來，一起協(xié)同共建統(tǒng)一的推理框架。

　　聯(lián)合英偉達開發(fā)Int8方案，推動模型量化高效升級

　　騰訊優(yōu)圖高級研究員楊博在演講中講述了模型量化的背景，他指出業(yè)界比較常用的模型量化解決方案是NVIDIA post-train方案，這個方案是在訓練完之后對模型進行校正，使用少量的數(shù)據(jù)，部署很方便，但有一個缺點是會導致模型效果下降。此外，還有一種是以Tensorflow QAT為代表的解決方案，這種方法在訓練過程中模擬Int8計算，采用Minmax計算量化區(qū)間，F(xiàn)inetune補償精度損失，但訓練周期長，而且工具鏈還不是很完善，一些常用的模型無法支持從訓練到部署的轉(zhuǎn)化。

　　可以看出，業(yè)界傳統(tǒng)的解決算法都存在某些方面的不足，針對以上這些問題，優(yōu)圖和英偉達合作開發(fā)了一個完善的Int8訓練到部署的方案，該方案升級了圖優(yōu)化匹配模板，支持更多模型QAT圖轉(zhuǎn)換，其次增加了混合精度量化訓練方式等其他量化模型精度保持方式，最后推理框架(TensorRT、TNN)支持包含quant節(jié)點的模型轉(zhuǎn)換。

騰訊優(yōu)圖高級研究員 楊博

　　Int8模型科學機訓練采用的是什么工作方法呢?首先會做一個BN層的融合，然后是子圖搜索和匹配，匹配到子圖以后，會自動插入量化節(jié)點，最后通過建立黑白名單的混合精度策略、動態(tài)量化區(qū)間統(tǒng)計以及激活層增量量化等方法，來保持模型效果。

　　Int8模型前向部署主要分為兩部分，一是導出模型到onnx，完成QAT訓練后，對checkpoint進行后處理并導出包含量化op在內(nèi)的onnx模型;二是采用TensorRT顯示精度的模式完成fp32模型到int8模型的轉(zhuǎn)換，對相關OP做一些融合，將onnx模型轉(zhuǎn)換到tensorRT和TNN內(nèi)。

　　楊博表示Int8標準模型，在打通Calibration和QAT部署相關工作之后的一些數(shù)據(jù)效果很好，但會增加耗時，優(yōu)圖會繼續(xù)優(yōu)化技術，提高研究效率。后續(xù)優(yōu)圖也將繼續(xù)和英偉達展開更深度的合作，進一步完善優(yōu)圖QAT工具，增加對TensorRT后續(xù)版本的支持，提供更加易用高效的QAT模型訓練和部署解決方案。

　　作為騰訊旗下頂級的人工智能實驗室，優(yōu)圖一直聚焦計算機視覺，專注人臉識別、圖像識別、OCR、機器學習、數(shù)據(jù)挖掘等領域開展技術研發(fā)和行業(yè)落地，未來將持續(xù)深耕于此，讓人工智能更好得助力產(chǎn)業(yè)數(shù)字化發(fā)展。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內(nèi)容。本站不承擔此類作品侵權(quán)行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。