科技小兵 正文 人工智能芯片

(88106 www.88106.info)    一项深度学习工程的搭建，可分为训练（training）和推断（inference）两个环节：训练环境通常需要通过大量的数据输入，或采取增强学习等非监督学习方法，训练出一个复杂的深度神经网络模型。训练过程由于涉及海量的训练数据（大数据）和复杂的深度神经网络结构，需要的计算规模非常庞大，通常需要GPU集群训练几天甚至数周的时间，在训练环节GPU目前暂时扮演着难以轻易替代的角色。

    推断（inference）环节指利用训练好的模型，使用新的数据去“推断”出各种结论，如视频监控设备通过后台的深度神经网络模型，判断一张抓拍到的人脸是否属于黑名单。虽然推断环节的计算量相比训练环节少，但仍然涉及大量的矩阵运算。在推断环节，除了使用CPU或GPU进行运算外，FPGA以及ASIC均能发挥重大作用。

    FPGA（可编程门阵列，Field Programmable Gate Array）是一种集成大量基本门电路及存储器的芯片，可通过烧入FPGA配置文件来来定义这些门电路及存储器间的连线，从而实现特定的功能。而且烧入的内容是可配置的，通过配置特定的文件可将FPGA转变为不同的处理器，就如一块可重复刷写的白板一样。

    因此FPGA可灵活支持各类深度学习的计算任务，性能上根据百度的一项研究显示，对于大量的矩阵运算GPU远好于FPGA，但是当处理小计算量大批次的实际计算时FPGA性能优于GPU，另外FPGA有低延迟的特点，非常适合在推断环节支撑海量的用户实时计算请求（如语音云识别）。

    ASIC（专用集成电路，Application Specific IntegratedCircuit）则是不可配置的高度定制专用芯片。特点是需要大量的研发投入，如果不能保证出货量其单颗成本难以下降，而且芯片的功能一旦流片后则无更改余地，若市场深度学习方向一旦改变，ASIC前期投入将无法回收，意味着ASIC具有较大的市场风险。但ASIC作为专用芯片性能高于FPGA，如能实现高出货量，其单颗成本可做到远低于FPGA。

    从市场角度而言，目前人工智能芯片的需求可归纳为三个类别：首先是面向于各大人工智能企业及实验室研发阶段的训练环节市场；

    其次是数据中心推断（inference on cloud），无论是亚马逊Alexa还是出门问问等主流人工智能应用，均需要通过云端提供服务，即推断环节放在云端而非用户设备上；

    第三种是面向智能手机、智能安防摄像头、机器人/无人机、自动驾驶、VR等设备的设备端推断（inference on device）市场，设备端推断市场需要高度定制化、低功耗的人工智能芯片产品。如传闻华为即将在Mate10的麒麟970中搭载寒武纪IP，旨在为手机端实现较强的深度学习本地端计算能力，从而支撑以往需要云端计算的人工智能应用。

    我们围绕上述的分类标准，从市场及芯片特性两个角度出发，可勾画出一个人工智能芯片的生态体系，整个生态体系分为训练层、云端推断层和设备端推断层。88106 www.88106.info