Seoul National University stellt TACToC und mzCache vor, um mobile KI zu beschleunigen
Zwei neue Software-Frameworks senken die Kosten der drahtlosen Übertragung um bis zu das 14-Fache und verkürzen Antwortverzögerungen auf Edge-Geräten.
Automatisch aus dem englischen Original übersetzt Original lesen
Ingenieure der Seoul National University haben zwei Softwarewerkzeuge entwickelt, die Datenverkehr und Latenz verringern sollen, wenn mobile Geräte Aufgaben an entfernte Server für künstliche Intelligenz auslagern. Die Frameworks senken den Bandbreitenverbrauch um bis zu das 14,5-Fache und verkürzen die Erstantwortzeiten von Smartphones um mehr als das Fünffache.
Selektive Übertragung ersetzt Videostreaming für entfernte Modelle
Inference Offloading ermöglicht es Smartphones, Robotikplattformen und Überwachungskameras, visuelle Sensordaten für komplexe Berechnungen künstlicher Intelligenz an externe Server zu senden. Standard-Kompressionsverfahren wie H.265 priorisieren die visuelle Treue für das menschliche Auge und übertragen unnötige Details, die Machine-Vision-Algorithmen nicht benötigen. Um diese Ineffizienz zu beheben, hat ein Forschungsteam unter Leitung von Professor Kyunghan Lee vom Department of Electrical and Computer Engineering der Seoul National University eine technologische Innovation namens TACToC entwickelt – die Abkürzung für Task-Adaptive Communication for Task-oriented Communications –, wie TechXplore berichtet.
Eine einzige Encoder-Architektur verkürzt das Umschalten von Parametern auf 12,5 Millisekunden
Herkömmliche aufgabenorientierte Kommunikation erfordert das Training eigener Encoder und Decoder für jede einzelne Sehaufgabe. Die TACToC-Architektur nutzt stattdessen einen einzigen aufgabenbeschreibbaren Encoder, der relevante Merkmalsschätzung mit promptbasiertem Task-Embedding kombiniert, so die Forschungsergebnisse, die auf der Konferenz ACM MobiCom 2026 in Austin, Texas, vorgestellt wurden. Das System schätzt, wie viel jedes visuelle Merkmal zu einem Ziel beiträgt, und wählt nur diese Merkmale aus. Um das System an eine neue Aufgabe anzupassen, müssen etwa 1.900 Parameter über leicht trainierbare Tokens aktualisiert werden, statt das Modell neu zu trainieren; Aufgabenwechsel sind in rund 12,5 Millisekunden abgeschlossen.
Benchmark-Leistung bei fünf Computer-Vision-Aufgaben
Tests über fünf Standard-Workloads – semantische Segmentierung, Pose-Schätzung, Bildbeschreibung, Bildklassifikation und Tiefenschätzung – zeigten Einsparungen bei den Kommunikationskosten zwischen dem 1,5- und dem 14,5-Fachen, wobei der Genauigkeitsverlust innerhalb von 3 Prozentpunkten blieb. Auf einer Edge-Verarbeitungseinheit NVIDIA Jetson AGX Orin verarbeitete die Software etwa 21 Bilder pro Sekunde. Unter realen Funkbedingungen senkte TACToC den Bandbreitenverbrauch um rund 16,7 % im Vergleich zur H.265-Videokompression und um 41,1 % im Vergleich zu früheren aufgabenorientierten Kommunikationsverfahren. Die Autoren stellten zudem mzCache vor, ein begleitendes Framework zur Speicherverwaltung, das die Zeit bis zur ersten Antwort um bis zu das 5,5-Fache verkürzte, wenn Machine-Learning-Anwendungen auf Smartphones wiederhergestellt werden – eine vielversprechende Erfindung für jedes Edge-Computing-Start-up.
Lesen Sie auch bei The Patent: OpenAI und Anthropic behaupten, KI habe ein 27 Jahre altes Informatikproblem gelöst
