Nvidia и Rylo создают технологию перевода языка жестов на базе ИИ
Nvidia и Rylo сотрудничают в сфере перевода языка жестов с помощью ИИ. Rylo также представила приложение Rylo Desktop для глухих сотрудников.
Гигант по производству процессоров Nvidia сотрудничает с компанией Rylo, ранее известной как Nagish, в разработке технологии искусственного интеллекта для перевода языка жестов в реальном времени. Параллельно с этим сотрудничеством компания запускает новое приложение, призванное сделать рабочие встречи доступными для глухих и слабослышащих сотрудников путем создания субтитров в реальном времени прямо с компьютера без необходимости подключения внешнего бота к звонку.
Разработка ИИ для языка жестов с Nvidia
Сотрудничество с Nvidia сосредоточено на ускорении обучения моделей искусственного интеллекта, способных расшифровывать и переводить видео на языке жестов. Разработка опирается на технологию Cosmos Tokenizer от Nvidia, которая обеспечивает эффективное представление видеоконтента и интегрируется в процессы создания передовых моделей для понимания, восстановления и перевода в реальном времени. Обучение моделей осуществляется с использованием вычислительной инфраструктуры и программных инструментов Nvidia, включая NeMo Framework и Megatron Bridge.
Этот шаг также опирается на приобретение компании sign.mt, которая была куплена менее года назад. Основатель компании доктор Амит Мориосеф в настоящее время возглавляет направление исследований в Rylo. По словам Мориосефа, разработка моделей, способных надежно распознавать нюансы языка жестов и преобразовывать их в текст или голос в реальном времени, требует значительных вычислительных ресурсов.
Приложение Rylo Desktop для рабочих встреч
Параллельно с разработкой технологии Rylo выпускает Rylo Desktop — бесплатное приложение для компьютеров Mac, призванное облегчить глухим и слабослышащим сотрудникам участие в рабочих совещаниях. Приложение работает как независимый слой поверх платформ видеосвязи, таких как Zoom, Microsoft Teams и Google Meet, отображая субтитры и расшифровку в реальном времени.
Одной из ключевых особенностей приложения является то, что оно работает напрямую с компьютера, без необходимости приглашать внешнего бота на встречу. Пользователи могут получать субтитры во время беседы, не добавляя автоматического участника в список присутствующих. Томер Ахарони, сооснователь и генеральный директор Rylo, пояснил, что компания стремится сделать общение доступным везде — в ходе личных разговоров, по телефону и на рабочем месте — с помощью текстовой расшифровки, синтеза речи и перевода на язык жестов.
«Мы стремимся сделать общение доступным везде, где оно происходит — при личной встрече, по телефону или на рабочем месте», — отметил Томер Ахарони, генеральный директор Rylo.
Приложение предлагает три варианта отображения: прокручиваемое окно расшифровки в стиле чата, крупную строку субтитров или минималистичный интерфейс в стиле Notch, активируемый нажатием клавиши. Кроме того, каждый говорящий идентифицируется постоянным цветом для удобства отслеживания беседы. В качестве дополнительного инструмента в приложение встроен функционал Type-to-Speak, позволяющий пользователю вводить текст в реальном времени и воспроизводить его голосом для остальных участников. На первом этапе продукт предлагается в закрытой бета-версии бесплатно для пользователей Mac в США.
Инвестиции и перспективы роста
Запуски происходят после того, как Rylo завершила раунд финансирования в размере 85 миллионов долларов, в результате чего общий объем привлеченных компанией средств достиг 101 миллиона долларов. Компания, работающая в сфере транскрипции и перевода на основе искусственного интеллекта для глухих и слабослышащих, предлагает решения для коммуникации и сотовые сервисы. По заявлению компании, она уже вышла на безубыточность и рассчитывает в течение полутора лет достичь статуса «единорога». Офисы Rylo расположены в Нью-Йорке и Тель-Авиве.
