Первые волны популярности нейросетевых помощников были полностью «облачными»: нажатие кнопки — запрос улетает на сервер — ответ возвращается. Со временем часть задач переехала обратно в телефон и ноутбук. Распознавание речи, перевод, обработка фото, подсказки в клавиатуре — всё это теперь считается на месте, а огромный дата-центр подключается только для действительно крупного запроса.

Зачем считать на устройстве

Причин три, и все они про повседневный опыт. Скорость: локальный ответ приходит мгновенно, без сетевой задержки. Офлайн: в метро, самолёте или за городом помощник продолжает работать. Приватность: расшифровка голосовой записи или черновик письма не покидают телефон — их никто не видит, кроме вас. Для многих людей именно третий пункт стал главным аргументом.

Есть и экономическая причина: миллиарды дешёвых запросов к крупным моделям дороги, а половину из них можно обработать маленькой моделью почти так же хорошо. Провайдеры выгодно отдают простое на устройство, оставляя серверу сложное.

Как модель умещается в телефон

Большая модель — это миллиарды чисел-параметров. Чтобы уместить её в смартфон, параметры «сжимают»: уменьшают точность каждого числа (квантование), убирают части сети, которые почти не влияют на результат, и учат маленькую модель повторять поведение большой (дистилляция). В результате модель теряет в нюансах, но выигрывает в размере и скорости: то, что месяц назад требовало сервера, сегодня помещается в несколько сотен мегабайт.

«Локальная модель — это не умный ассистент в кармане, а скорее грамотный помощник: быстрые типовые задачи делает хорошо, сложные вопросы всё равно отправляет туда, где думать дешевле и сильнее»

— редакционная формулировка, которую удобно держать в голове

Что это значит для пользователя

В хорошем сценарии вы этого даже не замечаете: диктовка текста работает в самолёте, переводчик не требует интернета, альбом предлагает удачные кадры без отправки фото куда-либо. В плохом — ловите себя на том, что «умный» режим делает странные вещи именно потому, что маленькая модель не тянет сложную задачу. Полезное правило простое: устройству доверяем рутину, большую задачу отправляем туда, где для неё есть мощность. И, как всегда, читаем, какие данные приложение собирается хранить локально, а какие — синхронизировать.