Евразийский сервер публикаций

Евразийский патент № 039495

   Библиографические данные
(11)039495    (13) B1
(21)202090169

 A ]   B ]   C ]   D ]   E ]   F ]   G ]   H ] 

Текущий раздел: G     


Документ опубликован 2022.02.03
Текущий бюллетень: 2022-02  
Все публикации: 039495  
Реестр евразийского патента: 039495  

(22)2020.01.28
(51) G06T 13/40 (2006.01)
G10L 21/10(2006.01)
(43)A1 2021.06.30 Бюллетень № 06  тит.лист, описание 
(45)B1 2022.02.03 Бюллетень № 02  тит.лист, описание 
(31)2019144357
(32)2019.12.27
(33)RU
(71)ПУБЛИЧНОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО "СБЕРБАНК РОССИИ" (ПАО СБЕРБАНК) (RU)
(72)Ефимов Альберт Рувимович, Гонноченко Алексей Сергеевич, Владимиров Михаил Александрович (RU)
(73)ПУБЛИЧНОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО "СБЕРБАНК РОССИИ" (ПАО СБЕРБАНК) (RU)
(74)Герасин Б.В. (RU)
(54)СПОСОБ И СИСТЕМА ДЛЯ СОЗДАНИЯ МИМИКИ НА ОСНОВЕ ТЕКСТА
   Формула 
(57) 1. Способ обработки речевого сигнала для формирования видеопотока, выполняемый по меньшей мере одним вычислительным устройством, содержащий этапы, на которых
получают данные по меньшей мере одного речевого сигнала;
разделяют участки речевого сигнала, содержащие информацию о голосе, на временные окна;
формируют для каждого временного окна изображение частотного спектра для получения последовательности изображений частотного спектра;
на основе последовательности изображений частотного спектра определяют последовательность данных о множестве координат точек, образующих лицевую маску;
размещают лицевую маску на 3D-модели головы для формирования последовательности кадров, содержащих изображение 3D-модели головы с размещенной на ней лицевой маской;
на основе последовательности изображений частотного спектра формируют последовательность кадров динамической текстуры лицевой маски;
формируют последовательность кадров, содержащих изображение результирующей 3D-модели головы с размещенной на ней динамической текстурой лицевой маски на основе последовательности кадров, содержащих изображение 3D-модели головы с размещенной на ней лицевой маской, и кадров динамической текстуры лицевой маски;
формируют последовательность кадров с изображением результирующей 3D-модели головы на фоне сцены;
объединяют полученную на предыдущем шаге последовательность кадров в видеопоток.
2. Способ по п.1, характеризующийся тем, что дополнительно выполняют этапы, на которых
при получении данных речевого сигнала определяют шум-голос;
выделяют участки речевого сигнала, содержащие информацию о голосе;
причем при определении шума-голоса учитываются данные фонетической разметки.
3. Способ по п.1, характеризующийся тем, что дополнительно выполняют этап геометрической валидации данных о множестве координат точек, сформированных для временного окна, содержащихся в последовательности данных о множестве координат точек, образующих лицевую маску.
4. Способ по п.3, характеризующийся тем, что упомянутый этап геометрической валидации данных о множестве координат точек содержит этапы, на которых
на основе данных фонетической разметки голоса определяют контрольные координаты точек лицевой маски, валидацию которых необходимо выполнить;
определяют расстояние между контрольными точками лицевой маски, информация о которых содержится в данных о множестве координат точек, сформированных для временного окна, и сравнивают его с заданным значением расстояния для этих контрольных точек согласно данным о фонетических разметках голоса;
причем если определенное расстояние между контрольными точками лицевой маски не превышает заданного значения расстояния между этими контрольными точками, то данные о множестве координат точек проходят валидацию.
5. Способ по п.1, характеризующийся тем, что размещение лицевой маски на 3D-модели головы осуществляется посредством прикрепления лицевой маски по известным пограничным вершинам 3D-модели головы и соответствующим для этих вершин точкам лицевой маски.
6. Способ по п.1, характеризующийся тем, что дополнительно выполняют этап, на котором размещают на изображениях 3D-модели головы текстуры зубов и языка согласно положению лицевой маски.
7. Способ по п.1, характеризующийся тем, что дополнительно выполняют этап морфинга изображений результирующей 3D-модели головы.
8. Способ по п.1, характеризующийся тем, что дополнительно выполняют этап цветокоррекции и совмещения динамических текстур для устранения пульсирующего изменения цвета лицевой маски посредством слияния по цвету упомянутых изображений 3D-модели головы, содержащихся на предыдущих и последующих кадрах.
9. Устройство обработки речевого сигнала, содержащее по меньшей мере одно вычислительное устройство и по меньшей мере одно устройство памяти, содержащее машиночитаемые инструкции, которые при их исполнении по меньшей мере одним вычислительным устройством выполняют операции способа по любому из пп.1-8.