Вы когда-нибудь ловили себя на мысли: «Что это за цветок?», «До скольки открыта эта пиццерия?» или «Где я видел такой автомобиль?». Раньше ответ приходилось искать вручную. Теперь достаточно навести камеру iPhone — и Visual Intelligence разложит картинку по полочкам. Разберёмся, как заставить функцию работать, что она умеет и за счёт каких технологий понимает окружающий мир.
Visual Intelligence в двух словах
Visual Intelligence — часть пакета Apple Intelligence, который обрабатывает кадр прямо на устройстве и, при необходимости, подключает облако. Модуль анализирует объекты в реальном времени, подсказывает названия, вытягивает публичные данные о месте съёмки и прокладывает короткие «ссылки‑действия» (deep links) к приложениям: от бронирования стола до заказов еды. Формально это ближайший родственник Google Lens, но с акцентом на приватность: распознавание происходит локально, а облако получает только обезличенный запрос.
Совместимые модели и версии iOS
| Устройство | Минимальная iOS | Аппаратная кнопка |
|---|---|---|
| iPhone 16 / 16 Plus / 16 Pro / 16 Pro Max | iOS 18.2 | Camera Control |
| iPhone 16E | iOS 18.3 | Action Button |
| iPhone 15 Pro / 15 Pro Max | iOS 18.4 | Action Button |
Важно: в Настройки → Apple Intelligence & Siri переключатель Apple Intelligence должен быть активирован, иначе Visual Intelligence просто не появится.
Первые пять шагов: запускаем Visual Intelligence
- Проверьте прошивку. Обновитесь до версии iOS из таблицы выше.
- Включите Apple Intelligence. Настройки → Apple Intelligence & Siri → включить.
- Настройте кнопку.
- iPhone 16: удерживайте Camera Control справа.
- iPhone 16E/15 Pro: Настройки → Action Button → пролистайте и выберите Visual Intelligence.
- Добавьте ярлык на экран блокировки. Долгое нажатие по экрану блокировки → Customize → Lock Screen → замените нижний значок на Visual Intelligence.
- Проверьте Центр управления. Смахните вниз из правого верхнего угла. Нет иконки? Нажмите + → Add a Control → Visual Intelligence.
Что умеет Visual Intelligence: от котёнка до квитанции
Распознавание живой природы
Наводим камеру на растение — сверху всплывает имя вида. Одно касание по названию — и в карточке видно требования к почве, частоту полива и, при необходимости, ссылку на заказ семян в магазине.
«Умные» бизнес‑карты
Точка на карте, касание по подсказке — и перед вами мини‑меню:
- Schedule — часы работы;
- Reserve — ссылка на бронирование столика;
- Order — доставка через партнёров;
- Menu — PDF или веб‑меню;
- … (три точки) — звонок, сайт, навигация.
Внутри ссылка строится по формуле https://maps.apple.com/?q=<place_id>&action=reserve, поэтому iOS сразу открывает нужное split‑sheet без лишних переходов.
Работа с текстом
Сфотографируйте расписание поездов или страницу книги. Внизу появятся опции:
- Summarize — короткий пересказ;
- Translate — мгновенный перевод;
- Read Aloud — озвучка голосом Siri.
Алгоритм разбирает текст через Vision Kit, превращает в токены, далее LLM‑модель оценивает контекст и генерирует нужное действие.
Автоматические действия
Номер телефона подсвечен? Коснитесь — и начинается звонок. Дата распознана? iOS предложит создать событие. Даже авиабилет сканируется: по коду рейса откроется карта терминала и статус вылета.
Две супер‑кнопки: Ask и Search
| Кнопка | Что делает | Когда полезна |
|---|---|---|
| Ask | Открывает окно ChatGPT с готовым снимком. | «Как починить этот смеситель?», «Что приготовить из этих ингредиентов?» |
| Search | Запускает Google‑поиск по изображению. | «Купить похожие кроссовки», «Кто изображён на фото?» |
Под капотом: снимок сжимается, хэшируется, загружается в Google Image Search, а ссылка формируется по шаблону https://www.google.com/searchbyimage?image_url=<encoded_url>&btnG=Search. Браузер открывает результаты сразу в режиме картинок.
Как Visual Intelligence держит данные в секрете
Apple использует трёхступенчатую схему:
- On‑device ML — модель на нейронном процессоре анализирует объекты локально.
- Private Relay Links — для внешних справок создаётся временный токен, скрывающий IP.
- Obfuscated Query — в облако уходит только обезличенный набор признаков, а не само фото.
Такой подход объясняет, почему список поддерживаемых устройств ограничен: требуется минимум 8‑ядерный Neural Engine и 12 ГБ ОЗУ, появившиеся лишь в линейке iPhone 15 Pro.
История вопроса: как развивались «ссылки из камеры»
| Год | Технология | Что умела |
|---|---|---|
| 2017 | AR Kit 1.0 | Определение плоскостей, размещение 3D-моделей |
| 2019 | Visual Look Up | Распознавание предметов на фото в «Фото» |
| 2022 | Live Text | Копирование и перевод текста на изображениях |
| 2025 | Visual Intelligence | Комбинация распознавания, чата и прямых действий |
Каждый виток добавлял новые типы deep linkов: от tel: и mailto: к intent://orderFood и кастомным схемам ресторанов. Итоговая «формула ссылки» сегодня состоит из трёх частей: схема, идентификатор объекта, действие. Например:
maps://place?lid=123456&act=reserve
Практический чек-лист: когда функция спасает время
- Проверить режим работы аптеки в незнакомом районе.
- Быстро перевести объявление на иностранном языке.
- Узнать породу встретившейся собаки.
- Сконвертировать написанный от руки список дел в цифровой To-Do.
- Забронировать столик, просто наведя камеру на витрину ресторана.
Итоги
Visual Intelligence превращает камеру iPhone в универсальный сканер реальности. От простого распознавания объектов Apple перешла к цепочке «увидел — понял — действуй», где каждое касание экономит минуты, а то и часы. Добавьте к этому локальную обработку и гибкие deep links, и получится инструмент, который действительно упрощает жизнь без лишней показухи.
Так что в следующий раз, когда вас заинтересует уличное кафе или редкое растение у дороги, не спешите гуглить вручную — достаточно взгляда через объектив iPhone.
