Nos bastidores: Nosso laboratório de ML

O que é a tecnologia Lip-Sync?

Um dos principais desafios na localização de vídeos é o movimento não natural dos lábios. A tecnologia de sincronização labial foi projetada para ajudar a sincronizar os movimentos labiais com faixas de áudio multilíngues de forma eficaz. 

Como aprendemos em nosso último artigo, a técnica de sincronização labial é muito mais complexa do que apenas acertar o tempo - você precisará acertar os movimentos da boca. Todas as palavras pronunciadas terão um efeito no rosto do locutor, como "O", que obviamente criará uma forma oval da boca, portanto não será um "M", acrescentando muito mais complexidade ao processo de dublagem.

Apresentamos o novo modelo de sincronização labial com melhor qualidade!

Nossa equipe de ML decidiu aprimorar o modelo de sincronização labial existente. Qual foi o motivo por trás dessa decisão e o que há de novo nesta versão em comparação com a versão beta?

Dima Vypirailenko

Chefe de aprendizado de máquina em Rask AI

Embora nossos resultados de sincronização labial sejam excelentes e tenham atraído considerável atenção da mídia, incluindo transmissões de TV e entrevistas sobre nossa tecnologia, quando lançamos nossa versão beta do modelo de sincronização labial, reconhecemos que ele não atendia às expectativas de qualidade de todos os segmentos de usuários. Nosso principal objetivo era preencher essa lacuna, garantindo que nossos usuários pudessem localizar com eficiência não apenas o componente de áudio de seu conteúdo, mas também o componente de vídeo.

Como exatamente o nosso modelo de IA sincroniza os movimentos labiais com o áudio traduzido?

Dima: "Nosso modelo de IA funciona combinando as informações do áudio traduzido com as informações sobre o rosto da pessoa no quadro e, em seguida, mescla essas informações na saída final. Essa integração garante que os movimentos labiais sejam sincronizados com precisão com a fala traduzida, proporcionando uma experiência de visualização perfeita".

Quais recursos exclusivos tornam o Premium Lip-Sync ideal para conteúdo de alta qualidade?

Dima: "O Premium Lip-sync foi projetado especificamente para lidar com conteúdo de alta qualidade por meio de seus recursos exclusivos, como capacidade para vários alto-falantes e suporte a alta resolução. Ele pode processar vídeos com resolução de até 2K, garantindo que a qualidade visual seja mantida sem comprometimento. Além disso, o recurso de vários alto-falantes permite a sincronização labial precisa entre diferentes alto-falantes no mesmo vídeo, o que o torna altamente eficaz para produções complexas que envolvem vários personagens ou alto-falantes. Esses recursos fazem do Premium Lipsync a melhor opção para os criadores que buscam conteúdo de nível profissional".

E o que é um recurso de alto-falante múltiplo Lip-Sync?

O recurso Multi-Speaker Lip-Sync foi projetado para sincronizar com precisão os movimentos labiais com o áudio falado em vídeos que apresentam várias pessoas. Essa tecnologia avançada identifica e diferencia vários rostos em um único quadro, garantindo que os movimentos labiais de cada indivíduo sejam animados corretamente de acordo com as palavras faladas.

Como você equilibra a qualidade e a velocidade de processamento no novo Premium Lip-sync?

Dima: "Equilibrar alta qualidade com velocidade de processamento rápida no Premium Lipsync é um desafio, mas fizemos avanços significativos na otimização da inferência do nosso modelo. Essa otimização nos permite produzir a melhor qualidade possível em uma velocidade decente".

Dima Vypirailenko

Chefe de aprendizado de máquina em Rask AI

Nós nos concentramos em processar apenas as informações necessárias do vídeo do usuário, o que acelera significativamente o tempo de processamento do modelo. Ao simplificar os dados que nosso modelo precisa analisar, garantimos a eficiência e a manutenção de resultados de alta qualidade, atendendo às demandas dos criadores de conteúdo profissionais.

Você encontrou alguma imperfeição ou surpresa interessante durante o treinamento do modelo?

Dima Vypirailenko

Chefe de aprendizado de máquina em Rask AI

Sim, há vários desafios intrigantes que enfrentamos, principalmente para garantir que não apenas os lábios, mas também os pelos faciais e os dentes tenham a aparência correta. É quase como se todos nós tivéssemos nos formado em odontologia em algum momento!

Além disso, trabalhar com oclusões ao redor da área da boca tem se mostrado bastante difícil. Esses elementos exigem atenção cuidadosa aos detalhes e modelagem sofisticada para obter uma representação realista e precisa em nossa tecnologia de sincronização labial.

Como a equipe de ML garante a privacidade e a proteção dos dados do usuário ao processar materiais de vídeo?

Dima: Nossa equipe de ML leva muito a sério a privacidade e a proteção dos dados dos usuários. Para o modelo Lipsync, não usamos dados de clientes para treinamento, eliminando assim qualquer risco de roubo de identidade. Contamos apenas com dados de código aberto que vêm com licenças apropriadas para treinar nosso modelo. Além disso, o modelo opera como uma instância separada para cada usuário, garantindo que o vídeo final seja entregue somente ao usuário específico e evitando qualquer emaranhamento de dados.

Em nossa essência, temos o compromisso de capacitar os criadores, garantindo o uso responsável da IA na criação de conteúdo, com foco nos direitos legais e na transparência ética. Garantimos que seus vídeos, fotos, vozes e semelhanças nunca serão usados sem permissão explícita, assegurando a proteção de seus dados pessoais e ativos criativos.

Temos orgulho de sermos membros da Coalition for Content Provenance and Authenticity (C2PA) e da The Content Authenticity Initiative, o que reflete nossa dedicação à integridade e autenticidade do conteúdo na era digital. Além disso, nossa fundadora e CEO, Maria Chmir, é reconhecida no diretório Women in AI Ethics™, destacando nossa liderança em práticas éticas de IA.

Quais são as perspectivas futuras para o desenvolvimento da tecnologia de sincronização labial? Há áreas específicas que o entusiasmam particularmente?

Dima: Acreditamos que nossa tecnologia de sincronização labial pode servir como base para o desenvolvimento de avatares digitais. Imaginamos um futuro em que qualquer pessoa possa criar e localizar conteúdo sem incorrer em custos de produção de vídeo.

Em curto prazo, nos próximos dois meses, estamos empenhados em aprimorar o desempenho e a qualidade do nosso modelo. Nosso objetivo é garantir uma operação suave em vídeos 4K e melhorar a funcionalidade com vídeos traduzidos para idiomas asiáticos. Esses avanços são cruciais, pois nosso objetivo é ampliar a acessibilidade e a usabilidade de nossa tecnologia, abrindo caminho para aplicativos inovadores na criação de conteúdo digital. Experimente nossa funcionalidade aprimorada de sincronização labial e envie-nos seus comentários sobre esse recurso.