AI

首尔大学发布TACToC和mzCache,加速移动AI

两个新的软件框架将无线传输成本最多降低14倍,并大幅缩短边缘设备上的响应延迟

作者: Giovanni Sapere
阅读约2分钟由人工智能辅助撰写 · 审校与批准:Giovanni Sapere

分享LinkedInFacebookX

首尔大学发布TACToC和mzCache,加速移动AI
Photo: Jakub Żerdzicki / Unsplash

首尔大学(Seoul National University)的工程师开发了两个软件工具,旨在减少移动设备把任务卸载到远程人工智能(AI)服务器时的数据流量和延迟。这两个框架将带宽消耗最多降低14.5倍,并使智能手机的初始响应时间缩短了5倍以上。

用选择性传输取代面向远程模型的视频流

推理卸载使智能手机、机器人平台和监控摄像头能够把视觉传感器数据发送到外部服务器,进行复杂的人工智能计算。H.265等标准压缩标准优先考虑人眼所见的视觉保真度,会传输机器视觉算法并不需要的多余细节。据TechXplore报道,为解决这种低效问题,首尔大学电气与计算机工程系(Department of Electrical and Computer Engineering)由Kyunghan Lee教授领导的研究团队创造了一项名为TACToC的技术创新,其全称为Task-Adaptive Communication for Task-oriented Communications。

单一编码器架构将参数切换时间缩短至12.5毫秒

传统的面向任务的通信,需要为每一项独立的视觉任务训练专用的编码器和解码器。根据在得克萨斯州奥斯汀举行的ACM MobiCom 2026会议上发表的研究,TACToC架构则使用单一的可描述任务的编码器,把相关特征估计与基于提示的任务嵌入结合起来。该系统估计每个视觉特征对目标的贡献大小,并只选取这些特征。让系统适应新任务,只需通过轻量级的可训练token更新大约1,900个参数,而不必重新训练模型,任务切换大约只需12.5毫秒。

五项计算机视觉任务的基准测试表现

在语义分割、姿态估计、图像描述、图像分类和深度估计这五种标准工作负载上进行的测试表明,通信成本降低了1.5至14.5倍,同时精度损失保持在3个百分点以内。在英伟达(NVIDIA)Jetson AGX Orin边缘处理单元上,该软件每秒处理约21帧。在真实的无线条件下,TACToC的带宽消耗比H.265视频压缩降低约16.7%,比以往面向任务的通信方案降低41.1%。作者还推出了配套的内存管理框架mzCache,在智能手机上恢复机器学习应用时,它把首次响应时间最多缩短了5.5倍,对任何边缘计算初创企业来说都是一项很有前景的发明。

另请阅读The Patent:OpenAI和Anthropic声称AI解决了一个存在27年的计算机科学难题

由英文原文自动翻译. 阅读原文

The Patent ® 编辑部的文章,借助人工智能,依据编辑部选定的来源撰写。审校、更正及批准发布:Giovanni Sapere。责任出版方:WitUp Ltd。