La Seoul National University presenta TACToC e mzCache per accelerare l'AI mobile
Due nuovi framework software tagliano fino a 14 volte i costi di trasmissione wireless e riducono i ritardi di risposta sui dispositivi edge.
Tradotto automaticamente dall’originale inglese Leggi l’originale
Gli ingegneri della Seoul National University hanno sviluppato due strumenti software pensati per ridurre il traffico dati e la latenza quando i dispositivi mobili trasferiscono attività a server remoti di intelligenza artificiale. I framework riducono il consumo di banda fino a 14,5 volte e abbreviano di oltre cinque volte i tempi della prima risposta degli smartphone.
La trasmissione selettiva sostituisce lo streaming video per i modelli remoti
L'offloading dell'inferenza consente a smartphone, piattaforme robotiche e telecamere di videosorveglianza di inviare i dati visivi dei sensori a server esterni per calcoli complessi di intelligenza artificiale. Gli standard di compressione come H.265 privilegiano la fedeltà visiva per l'occhio umano, trasmettendo dettagli inutili di cui gli algoritmi di visione artificiale non hanno bisogno. Per risolvere questa inefficienza, un team di ricerca guidato dal professor Kyunghan Lee, del Dipartimento di Ingegneria elettrica e informatica della Seoul National University, ha messo a punto un'innovazione tecnologica chiamata TACToC, acronimo di Task-Adaptive Communication for Task-oriented Communications, come riportato da TechXplore.
Un'unica architettura di encoder riduce a 12,5 millisecondi il cambio dei parametri
La comunicazione task-oriented convenzionale richiede l'addestramento di encoder e decoder dedicati per ogni singola attività di visione. L'architettura TACToC utilizza invece un unico encoder descrivibile per task, che combina la stima delle caratteristiche rilevanti con l'embedding del task basato su prompt, secondo la ricerca presentata alla conferenza ACM MobiCom 2026 di Austin, Texas. Il sistema stima quanto ciascuna caratteristica visiva contribuisce a un obiettivo e seleziona solo quelle. Adattare il sistema a una nuova attività richiede l'aggiornamento di circa 1.900 parametri tramite token addestrabili leggeri invece di riaddestrare il modello, completando il passaggio da un task all'altro in circa 12,5 millisecondi.
Le prestazioni nei benchmark su cinque attività di computer vision
I test su cinque carichi di lavoro standard — segmentazione semantica, stima della posa, didascalia delle immagini, classificazione delle immagini e stima della profondità — hanno mostrato riduzioni dei costi di comunicazione tra 1,5 e 14,5 volte, mantenendo la perdita di accuratezza entro 3 punti percentuali. Su un'unità di elaborazione edge NVIDIA Jetson AGX Orin, il software ha elaborato circa 21 fotogrammi al secondo. In condizioni wireless reali, TACToC ha ridotto il consumo di banda di circa il 16,7% rispetto alla compressione video H.265 e del 41,1% rispetto ai precedenti schemi di comunicazione task-oriented. Gli autori hanno anche introdotto mzCache, un framework complementare di gestione della memoria che ha ridotto fino a 5,5 volte il tempo alla prima risposta nel ripristino delle applicazioni di machine learning sugli smartphone, un'invenzione promettente per qualsiasi startup dell'edge computing.
Leggi anche su The Patent: OpenAI e Anthropic sostengono che l'AI ha risolto un problema di informatica vecchio di 27 anni
