Что такое Project Astra — ответ Google на GPT-4o от OpenAI

На своей ежегодной конференции I/O в Калифорнии компания Google сделала несколько объявлений, касающихся искусственного интеллекта, включая новые модели и обновления существующих. Одним из самых интересных анонсов стал Project Astra — мультимодальный помощник, который работает в режиме реального времени и сочетает в себе возможности Google Lens и Gemini, чтобы предоставлять вам информацию из вашего окружения.

Как работает проект Астра? На конференции Google продемонстрировал раннюю версию Project Astra, которая функционирует как чат-бот с камерой и может собирать информацию из вашего окружения с помощью камеры вашего устройства. Будучи мультимодальным помощником искусственного интеллекта, он может использовать аудио, видео и изображения в качестве входных данных и на их основе обеспечивать необходимый вывод. Он работает на модели Gemini 1.5 Pro, что делает его невероятно мощным.

Чат-бот анализирует объекты и окружение в режиме реального времени и может очень быстро отвечать на запросы, что делает его очень похожим на человека-помощника или любимого ДЖАРВИСА Тони Старка. Project Astra также работает с носимыми устройствами, такими как умные очки, а это означает, что у чат-бота с искусственным интеллектом есть большой потенциал для интеграции в различные устройства.

Project Astra может лучше понимать контекст, в котором он используется, быстрее обрабатывать информацию и сохранять ее для более быстрого вызова. Его речевые возможности также значительно улучшены по сравнению с предыдущими моделями Gemini, поэтому он звучит более естественно и по-человечески.

Что может проект Астра? В короткой демонстрации, продемонстрированной Google, кажется, что Project Astra может помочь во многом. Он может наблюдать и воспринимать объекты и местоположения через объектив камеры и микрофон и предоставлять вам информацию о них. Например, вы можете просто направить телефон на фрагмент кода и обсудить его с чат-ботом или попросить его идентифицировать объект и его использование.

Аналогичным образом, благодаря возможностям определения местоположения, Project Astra может предоставить информацию о вашей местности, просто взглянув на ваше окружение. Он также может сохранять показанную ему информацию, что может быть весьма полезно, если вы хотите найти неуместные предметы, как было продемонстрировано в демо-версии, когда оно помогло пользователю найти свои очки.

Вы также можете попросить ИИ-помощника поделиться творческими идеями, как в случае с Gemini на вашем телефоне. Например, вы можете попросить его придумать текст песни, название музыкальной группы или что-нибудь еще. По сути, Project Astra стремится стать универсальным помощником искусственного интеллекта, который может предоставлять вам информацию в режиме реального времени в интерактивной форме.

Создание названия группы с помощью Project Astra. Источник: Google I/O Keynote.

Когда будет доступен проект Астра? На данный момент Google не делал объявлений о доступности Project Astra. Версия, показанная в демо, является ранним прототипом, но Google намекнул, что эти возможности могут быть интегрированы в существующее приложение Gemini на более позднем этапе.

С помощью Project Astra Google стремится возглавить эволюцию ИИ-помощников, чтобы они стали еще более полезными и простыми в использовании. Однако Google не единственный, кто преследует эту цель. OpenAI также недавно анонсировала GPT-4o, сделав свой ChatGPT мультимодальным, повысив его возможности и эффективность. Новый голосовой режим ChatGPT (который будет выпущен в ближайшее время) также может использовать видеовход с камеры устройства при взаимодействии с пользователями.

На данный момент разница между ними заключается в том, что GPT-4o скоро будет доступен на всех устройствах с ChatGPT, а Project Astra, как ожидается, когда-нибудь в будущем станет доступен как Gemini Live, хотя дата выпуска в настоящее время неизвестна. Поскольку ChatGPT на базе GPT-4o стал доступен ранее, еще неизвестно, будет ли проект Astra от Google достаточно хорош, чтобы конкурировать с более популярным чат-ботом OpenAI.