Apple планирует возможность запустить искусственный интеллект непосредственно на iPhone

В специальной статье разработчики описывают технологию, позволяющую использовать локальный ИИ на устройствах с небольшим объемом оперативной памяти.

Смартфоны, которые могут запускать приложения искусственного интеллекта на высоких скоростях, все больше полагаются на локальную обработку данных, а не только на связь с серверами через интернет-соединения. Производители Android-устройств уже анонсировали разработки в этом плане, как сообщает Android Authority, а в Apple пока ничего об этом не сообщали. Но в конце декабря разработчики компании опубликовали об этом специальную статью.

В статье описывается, как большие языковые модели (LLM) могут использовать локальные вычислительные мощности с ограниченной памятью. Устройства Apple обычно довольно экономичны, когда дело касается оперативной памяти. Разработчики Apple нашли решения, обеспечивающие значительный прирост производительности при работе непосредственно с приложениями искусственного интеллекта. Речь идет об увеличении загрузки ЦП и графического процессора в 4–5 и в 20–25 раз по сравнению с традиционной нагрузкой.

Пользователю не обязательно нужны новейшие смартфоны, чтобы получить быстро ответ в чатах с ChatGPT или другими LLM; это время примерно соответствовало бы времени ответа в обычном разговоре. Пользователи iPhone старых поколений также могут извлечь выгоду из нового решения Apple.