物联网 (IoT) 已显示出显着的增长和前景，预计到 2025 年，仅物联网设备生成的数据就将达到 73.1 ZB。将这些数据从其创建点转移到集中式数据中心或云将与应用程序的目的相矛盾。于是，边缘计算诞生了。快进到 2024 年，边缘计算现在正在与人工智能的最新进展相结合，在边缘智能处理数据，从而提高速度、减少延迟并提高隐私和安全性。
在制造业和医疗保健等效率和准确性至关重要的行业，边缘人工智能正在改变游戏规则。在制造业，全球有大约 150 亿台联网设备，将数据发送到云端进行处理所浪费的几毫秒可能意味着立即发现缺陷或让缺陷漏过质量控制。在医疗保健领域，分析患者数据的即时性会影响诊断的准确性和治疗的有效性，尤其是在分散的医疗保健和可穿戴设备存在风险的情况下。通过现场处理数据，边缘人工智能消除了云计算带来的延迟，从而可以做出更及时、更明智的决策。
预计全球边缘计算技术市场规模将从 2022 年的 463 亿美元增至 2027 年的 1247 亿美元， 2022 年至 2027 年的复合年增长率 (CAGR) 为 21.9%。在边缘实施人工智能将为所有行业带来切实的利益，使企业能够释放新的可能性并实现更高的绩效水平。
转向更小的模型
在过去的一年里，围绕人工智能模型的讨论开始发生变化。具有大量参数的大型模型已经开始让位于更小、更集中的模型。这包括利用较小的模型以及利用量化、稀疏性和剪枝等效率技术来缩小大型模型。这些较小的模型更易于部署和管理，同时显着更具成本效益和可解释性，只需一小部分计算资源即可产生相似的性能。这些较小的模型也可用于许多特定任务领域。预训练模型可以使用推理和微调等技术针对特定任务性能进行优化，使其成为满足边缘计算严格要求的完美候选者。
这些小型模型不仅有利于解决在边缘部署硬件的后勤挑战，而且还能满足特定应用的细微需求。在制造业中，小型专业 AI 模型可以持续监测机器的听觉特征，以在发生故障之前预测维护需求。在医疗保健领域，类似的模型可以持续、实时地监测患者的生命体征，提醒医务人员注意可能预示着新出现的状况的变化。
掌握模型优化和推理技术
边缘优化不仅仅是为了让人工智能模型变得更小；它是一种平衡行为，使模型尽可能小，同时仍保持性能。
修剪等技术通过减少不重要的连接和最近的层数，将较大的模型转换为较小的模型。修剪旨在创建更多内存和节能系统，同时保留其原始较大对应系统的性能。成功的修剪技术包括按过滤器修剪、按通道修剪和按层修剪（其中通过相似性搜索考虑要修剪的最佳层块，然后通过参数高效微调 (PEFT) 和量化低秩适配器 (QLORA) 进行微调来实现模型恢复）。
另一种用于缩小模型的技术是量化，即通过降低模型权重、参数和激活的精度来减小模型大小的过程，从而使它们具有更小的内存占用。存储 32 位或 16 位浮点值的内存要求非常高，但通过量化，这些权重、参数和激活可以转换为可以在边缘运行的 8 位、4 位和偶尔更小的整数。例如，根据技术的不同，Llama 2 7B 模型可以从 13.5 GB 减少到 3.9 GB，而 Llama 13B 可以通过 FP16 到 INT4 的转换从 26.1 GB 减少到 7.3 GB。量化可以在训练后和训练期间完成。但是，为了保持性能，可能需要考虑混合精度技术或将精度与修剪混合。
其他效率技术，例如低秩自适应（LORA），可以通过减少计算成本和内存并在保持准确性的同时提高速度来实现参数高效的微调。该技术侧重于修改参数子集而不是整个模型。这是通过保持原始模型权重冻结并将更改应用于可以添加的一组单独的权重来完成的。由于大型模型本质上具有低维结构，因此可以将模型参数转换为低秩，这是一种降维过程，可找到矩阵的秩或线性独立的行或列的数量（这意味着不能将任何行或列其他行或列组合的结果）。流行的是，LORA 现在通常与量化结合使用，QLORA 可用于微调模型。
其他需要考虑的技术包括联合学习、矩阵分解、权重共享、内存优化和知识提炼。在实践中，这种优化的模型可以以最小的延迟提供关键见解。例如，在制造业中，使用这些技术针对边缘进行优化的人工智能可以分析设备振动以检测磨损的早期迹象，在发生故障之前安排维护。在医疗保健领域，边缘优化的人工智能可以处理患者的实时视频，以便在患者跌倒时提醒护理人员。
硬件、软件和学习优化
戴尔科技集团处于边缘人工智能领域的前沿，优化硬件和软件以支持边缘人工智能工作负载部署。通过 NativeEdge 等举措，戴尔科技集团确保边缘的 AI 模型不仅可以运行，而且功能强大，无论是在 CPU 还是 GPU 上。
通过细致入微的方法，戴尔科技集团跨地理分布式地点集中部署和管理边缘基础设施和应用程序，帮助企业利用自动化、开放式设计、零信任安全原则和多云连接安全地扩展其边缘运营。
无论预期用例如何，成功实施边缘和 AI 的关键在于优化模型与其运行硬件之间的协同作用。Dell NativeEdge 平台体现了有效管理这些先进 AI 系统所需的集成。使用 NativeEdge，组织可以无缝部署和控制其边缘 AI 应用程序，确保及时获得可操作的洞察。
将边缘人工智能愿景付诸实践
在边缘实施人工智能的旅程以现实世界的应用为标志，这些应用展示了其变革性影响。边缘人工智能有可能为组织提供有价值的实时洞察，以更好地驾驭复杂的数据和机会。它代表着向新商业时代的重大转变，在这个时代，组织依靠即时性和适应性蓬勃发展。现在是将这些理论付诸实践的时候了。那些通过人工智能在边缘最有价值的地方整合数据价值的组织将在未来数月和数年获得竞争优势。
本站全部资讯来源于实验室原创、合作机构投稿及网友汇集投稿，仅代表个人观点，不作为任何依据，转载联系作者并注明出处：https://www.lvsky.net/79.html
评论