Как использовать SAM 2 от Meta

Недавно Meta выпустила свой SAM 2 или Segment Anything Model 2, модель ИИ, которая может сегментировать объекты на изображениях и видео очень быстро и точно. Она работает в режиме реального времени и позволяет вам выбирать объекты на изображениях и видео, добавлять к ним контент, переносить их в другой проект и делать другие вещи. Вы даже можете комбинировать различные элементы, чтобы создать что-то совершенно новое. В настоящее время SAM 2 доступен только в качестве исследовательской демоверсии в США, но вы можете попробовать его прямо сейчас.

Посетите веб-сайт Meta SAM 2 и нажмите «Попробовать демо-версию».

Это откроет новый веб-сайт. Примите условия использования модели и нажмите кнопку «Попробовать сейчас».

Теперь вы увидите всплывающее окно с информацией о модели, и вам снова придется нажать кнопку «Принять», чтобы продолжить.

Теперь вы увидите несколько кадров человека, играющего с футбольным мячом. Под выбранным кадром находится временная шкала. Чтобы начать использовать модель, щелкните по любому объекту в кадре, чтобы выбрать его. При выборе объекта он приобретет синий контур.

С левой стороны вы увидите несколько опций. Они покажут вам, что вы можете добавлять или удалять области к выбранному объекту, нажимая на кнопки «Добавить» или «Удалить».

Вы также можете нажать кнопку «Отслеживать объекты», чтобы увидеть, как они движутся и изменяются в разных кадрах.

После того, как вы отследили объект, вы можете добавить определенные эффекты и изменить его. Например, вы можете добавить градиент к объекту, пикселизировать его, наложить на него наложение и т. д. Эти эффекты можно добавлять как к выбранному объекту, так и к фону.

Либо вы можете нажать кнопку «Удиви меня», и ИИ автоматически применит различные эффекты.

Вы можете переключаться между различными эффектами, нажимая кнопку «Удиви меня» несколько раз, и эффекты будут видны в реальном времени справа.

После внесения изменений вы можете загрузить видео или получить ссылку, которую можно использовать для обмена с другими.

Вы также можете загружать собственные видео и настраивать различные объекты с помощью опции «Загрузить собственное» или выбирать другие видео, нажав на опцию «Просмотреть галерею».

Что нужно знать

SAM 2 может отслеживать видео через разные видеокадры, даже если объект временно исчезает из поля зрения.
Компания Meta выпустила SAM 2 под лицензией Apache 2.0, что означает, что любой желающий может использовать его для создания различных приложений.
Модель обучалась на самых разных видеороликах, в том числе из 47 стран с разной географией.
Вы можете использовать SAM 2 отдельно или с другими моделями ИИ для получения уникальных творческих результатов.