? ??物联网已经从连接普通设备,如灯泡、摄像头、传感器和恒温器,到连接智能助手、婴儿监视器和智能电器。现在,JNH官网可以使用来自传感器、麦克风/音频和摄像机/视频的数据,持续训练机器学习和人工智能(AI),获得预测能力。
? ? JNH官网现在已经可以在网络边缘运行强大的智能设备。
边缘AI
基于神经网络的AI主要由训练和推理组成。
训练:专家建立深度神经网络(DNN)模型去解决一些特定的问题,如对象分类或语音识别。他们在云端或数据中心执行计算密集型模型训练任务。
推理:一旦模型可靠,就可以部署到物联网设备上。这些设备将来自传感器、麦克风和摄像头的输入数据与训练好的模型进行比较,做出“智能”的决定。
基于软件算法的进步,硬件计算资源的提高和安全性的提升,推理工作不再需要在云端进行;现在,可以在设备网络边缘执行推理工作。
边缘AI有哪些优势?与基于云计算的解决方案相比,边缘推理可以实现更低的延迟响应、更少的带宽成本,并节约存储成本。例如,对象跟踪应用如果在本地分析摄像头视频内容的话,可以更快速地进行响应,而无需将内容从网络边缘发送到云端进行处理并等待结果。此外,由于数据保留在物联网设备上,而不是通过网络传输,所以边缘推理也可以带来更好的隐私保护和安全性。
如何在IOT设备的边缘运行AI
? ? IoT设备运行AI,为音频、视频和传感器分析提供了的机会,可用于联网摄像头、家庭控制中心、无人机/机器人和XR以及工业物联网和智慧城市。在以后的博客文章中,我将探讨这些机会对开发者意味着什么。
?
? ? 设备端AI需要运行在正确的计算核心。仅仅有一个强大的多核CPU还不够。图形处理单元(GPU)可能更适合于检测和跟踪,而分类计算密集型工作负载可能在数字信号处理器(DSP)上运行得更好。更好的是,随着Hexagon矢量扩展(HVX)的加入,DSP可以以极低的功耗高速处理图像。
? ? 在物联网中成功部署人工智能的关键是在核心上运行工作负载,同时保证低功耗和推理性能。因此,对于Qualcomm Technologies平台开发者来说,可以在各种核心(GPU、DSP/HVX和CPU)异构运行神经网络模型,拥有这样的灵活性就是一个明显的优势。
例如,物联网设备运行AI为个人、社区和企业用例带来视觉智能:
??视频摘要
??场景分类
??文字或车牌识别
??人脸检测和识别
??带深度和位置跟踪的对象检测和分类
?
例如,如果与员工数据库相匹配,使用DNN进行人脸识别可以为企业带来更高的安全性。另一个例子是使用DNN来清点人数,并按性别和年龄进行分类,这样的操作对于零售业来说简直就是福音。
物联网设备运行AI还可以在新用例中引入音频智能:
??音频分类(例如婴儿哭闹、玻璃破碎、枪声识别)
??语音激活和讲话者识别
??回声消除和噪音抑制
??自然语言处理/自动语音识别(NLP/ASR)
?
Qualcomm??骁龙?神经处理引擎
搭载Qualcomm Technologies系统级芯片(SoC)的物联网设备拥有2至3个可用于运行AI工作负载的内核:
??Qualcomm Kryo? CPU
??Qualcomm Adreno? GPU
??Qualcomm Hexagon? DSP, including recently released versions with HVX
??Qualcomm Hexagon? DSP,包括最近发布的HVX版本
?
? ? 现在,Qualcomm Technologies还提供,这是一款专为在Qualcomm Technologies SoC各计算核心(GPU、DSP和CPU)运行而设计的软件框架。SNPE SDK包含将基于Caffe/Caffe2和TensorFlow的现有网络迁移到Qualcomm Technologies SoC运行环境的转换工具。还为各核心提供了调试工具和性能优化工具。开发者可以优化应用,在适合的核心上运行AI任务。
?
? ? JNH官网采用异构计算技术,结合高度集成的SoC和SNPE,不论在机器人、智能家居,或是工业应用方面,都可以实现在物联网设备边缘、低功耗地运行AI。
CSDN新闻