Nos bastidores: Nosso laboratório de ML

Em nosso último artigo, mergulhamos no empolgante mundo da tecnologia de sincronização labial da Rask AI, com a orientação do chefe de aprendizado de máquina da empresa , Dima Vypirailenko. Nós o levamos aos bastidores do Brask ML Lab, um centro de excelência em tecnologia, onde vemos em primeira mão como essa inovadora ferramenta de IA está causando impacto na criação e distribuição de conteúdo. Nossa equipe inclui engenheiros de ML de classe mundial e artistas sintéticos de efeitos visuais que não estão apenas se adaptando ao futuro; estamos criando-o.

Junte-se a nós para descobrir como essa tecnologia está transformando o setor criativo, reduzindo custos e ajudando os criadores a alcançar públicos em todo o mundo.

O que é a tecnologia Lip-Sync?

Um dos principais desafios na localização de vídeos é o movimento não natural dos lábios. A tecnologia de sincronização labial foi projetada para ajudar a sincronizar os movimentos labiais com faixas de áudio multilíngues de forma eficaz. 

Como aprendemos em nosso último artigo, a técnica de sincronização labial é muito mais complexa do que apenas acertar o tempo - você precisará acertar os movimentos da boca. Todas as palavras pronunciadas terão um efeito no rosto do locutor, como "O", que obviamente criará uma forma oval da boca, portanto não será um "M", acrescentando muito mais complexidade ao processo de dublagem.

Apresentamos o novo modelo de sincronização labial com melhor qualidade!

Nossa equipe de ML decidiu aprimorar o modelo de sincronização labial existente. Qual foi o motivo por trás dessa decisão e o que há de novo nesta versão em comparação com a versão beta?

Dima Vypirailenko

Chefe de aprendizado de máquina em Rask AI

Embora nossos resultados de sincronização labial sejam excelentes e tenham atraído considerável atenção da mídia, incluindo transmissões de TV e entrevistas sobre nossa tecnologia, quando lançamos nossa versão beta do modelo de sincronização labial, reconhecemos que ele não atendia às expectativas de qualidade de todos os segmentos de usuários. Nosso principal objetivo era preencher essa lacuna, garantindo que nossos usuários pudessem localizar com eficiência não apenas o componente de áudio de seu conteúdo, mas também o componente de vídeo.

Foram feitos esforços significativos para aprimorar o modelo, incluindo:

1. Precisão aprimorada: Aprimoramos os algoritmos de IA para analisar e combinar melhor os detalhes fonéticos da linguagem falada, o que resulta em movimentos labiais mais precisos e estreitamente sincronizados com o áudio em vários idiomas.
2. ‍Naturalidade aprimorada: Ao integrar dados de captura de movimento mais avançados e refinar nossas técnicas de aprendizado de máquina, melhoramos significativamente a naturalidade dos movimentos labiais, fazendo com que a fala dos personagens pareça mais fluida e realista.
3. ‍Aumento davelocidade e da eficiência: Otimizamos o modelo para processar vídeos mais rapidamente sem sacrificar a qualidade, facilitando tempos de resposta mais rápidos para projetos que exigem localização em grande escala.
4. ‍Incorporação do feedback do usuário: Coletamos ativamente o feedback dos usuários da versão beta e incorporamos suas percepções ao processo de desenvolvimento para resolver problemas específicos e aumentar a satisfação geral do usuário.

Como exatamente o nosso modelo de IA sincroniza os movimentos labiais com o áudio traduzido?

Dima: "Nosso modelo de IA funciona combinando as informações do áudio traduzido com as informações sobre o rosto da pessoa no quadro e, em seguida, mescla essas informações na saída final. Essa integração garante que os movimentos labiais sejam sincronizados com precisão com a fala traduzida, proporcionando uma experiência de visualização perfeita".

Quais recursos exclusivos tornam o Premium Lip-Sync ideal para conteúdo de alta qualidade?

Dima: "O Premium Lip-sync foi projetado especificamente para lidar com conteúdo de alta qualidade por meio de seus recursos exclusivos, como capacidade para vários alto-falantes e suporte a alta resolução. Ele pode processar vídeos com resolução de até 2K, garantindo que a qualidade visual seja mantida sem comprometimento. Além disso, o recurso de vários alto-falantes permite a sincronização labial precisa entre diferentes alto-falantes no mesmo vídeo, o que o torna altamente eficaz para produções complexas que envolvem vários personagens ou alto-falantes. Esses recursos fazem do Premium Lipsync a melhor opção para os criadores que buscam conteúdo de nível profissional".

E o que é um recurso de alto-falante múltiplo Lip-Sync?

O recurso Multi-Speaker Lip-Sync foi projetado para sincronizar com precisão os movimentos labiais com o áudio falado em vídeos que apresentam várias pessoas. Essa tecnologia avançada identifica e diferencia vários rostos em um único quadro, garantindo que os movimentos labiais de cada indivíduo sejam animados corretamente de acordo com as palavras faladas.

Como funciona a sincronização labial com vários alto-falantes:

• Reconhecimento de faces no quadro: O recurso reconhece inicialmente todos os rostos presentes no quadro do vídeo, independentemente do número. Ele é capaz de identificar cada indivíduo, o que é crucial para a sincronização labial precisa.
• ‍Correspondência de áudio: durante a reprodução do vídeo, a tecnologia alinha a faixa de áudio especificamente com a pessoa que está falando. Esse processo de correspondência precisa garante que a voz e os movimentos labiais estejam sincronizados.
• Sincronização de movimentos labiais: Depois que o indivíduo que está falando é identificado, o recurso de sincronização labial redesenha os movimentos labiais apenas para a pessoa que está falando. Os indivíduos que não estiverem falando no quadro não terão seus movimentos labiais alterados, mantendo seu estado natural durante todo o vídeo. Essa sincronização aplica-se exclusivamente ao locutor ativo, tornando-a eficaz mesmo na presença de vozes fora da tela ou de vários rostos na cena.
• Manuseio deimagens estáticas de lábios: é interessante notar que essa tecnologia também é sofisticada o suficiente para redesenhar os movimentos labiais em imagens estáticas de lábios se elas aparecerem no quadro do vídeo, demonstrando sua capacidade versátil.
  
  Esse recurso de sincronização labial com vários alto-falantes aumenta o realismo e o envolvimento do espectador em cenas com vários alto-falantes ou configurações de vídeo complexas, garantindo que apenas os lábios dos indivíduos que falam se movam de acordo com o áudio. Essa abordagem direcionada ajuda a manter o foco no orador ativo e preserva a dinâmica natural das interações em grupo nos vídeos.

A partir de apenas um vídeo, em qualquer idioma, você pode criar centenas de vídeos personalizados com várias ofertas em vários idiomas. Essa versatilidade revoluciona a forma como os profissionais de marketing podem se envolver com públicos diversos e globais, aumentando o impacto e o alcance do conteúdo promocional.

Como você equilibra a qualidade e a velocidade de processamento no novo Premium Lip-sync?

Dima: "Equilibrar alta qualidade com velocidade de processamento rápida no Premium Lipsync é um desafio, mas fizemos avanços significativos na otimização da inferência do nosso modelo. Essa otimização nos permite produzir a melhor qualidade possível em uma velocidade decente".

Dima Vypirailenko

Chefe de aprendizado de máquina em Rask AI

Nós nos concentramos em processar apenas as informações necessárias do vídeo do usuário, o que acelera significativamente o tempo de processamento do modelo. Ao simplificar os dados que nosso modelo precisa analisar, garantimos a eficiência e a manutenção de resultados de alta qualidade, atendendo às demandas dos criadores de conteúdo profissionais.

Você encontrou alguma imperfeição ou surpresa interessante durante o treinamento do modelo?

Dima Vypirailenko

Chefe de aprendizado de máquina em Rask AI

Sim, há vários desafios intrigantes que enfrentamos, principalmente para garantir que não apenas os lábios, mas também os pelos faciais e os dentes tenham a aparência correta. É quase como se todos nós tivéssemos nos formado em odontologia em algum momento!

Além disso, trabalhar com oclusões ao redor da área da boca tem se mostrado bastante difícil. Esses elementos exigem atenção cuidadosa aos detalhes e modelagem sofisticada para obter uma representação realista e precisa em nossa tecnologia de sincronização labial.

Como a equipe de ML garante a privacidade e a proteção dos dados do usuário ao processar materiais de vídeo?

Dima: Nossa equipe de ML leva muito a sério a privacidade e a proteção dos dados dos usuários. Para o modelo Lipsync, não usamos dados de clientes para treinamento, eliminando assim qualquer risco de roubo de identidade. Contamos apenas com dados de código aberto que vêm com licenças apropriadas para treinar nosso modelo. Além disso, o modelo opera como uma instância separada para cada usuário, garantindo que o vídeo final seja entregue somente ao usuário específico e evitando qualquer emaranhamento de dados.

Em nossa essência, temos o compromisso de capacitar os criadores, garantindo o uso responsável da IA na criação de conteúdo, com foco nos direitos legais e na transparência ética. Garantimos que seus vídeos, fotos, vozes e semelhanças nunca serão usados sem permissão explícita, assegurando a proteção de seus dados pessoais e ativos criativos.

Temos orgulho de sermos membros da Coalition for Content Provenance and Authenticity (C2PA) e da The Content Authenticity Initiative, o que reflete nossa dedicação à integridade e autenticidade do conteúdo na era digital. Além disso, nossa fundadora e CEO, Maria Chmir, é reconhecida no diretório Women in AI Ethics™, destacando nossa liderança em práticas éticas de IA.

Quais são as perspectivas futuras para o desenvolvimento da tecnologia de sincronização labial? Há áreas específicas que o entusiasmam particularmente?

Dima: Acreditamos que nossa tecnologia de sincronização labial pode servir como base para o desenvolvimento de avatares digitais. Imaginamos um futuro em que qualquer pessoa possa criar e localizar conteúdo sem incorrer em custos de produção de vídeo.

Em curto prazo, nos próximos dois meses, estamos empenhados em aprimorar o desempenho e a qualidade do nosso modelo. Nosso objetivo é garantir uma operação suave em vídeos 4K e melhorar a funcionalidade com vídeos traduzidos para idiomas asiáticos. Esses avanços são cruciais, pois nosso objetivo é ampliar a acessibilidade e a usabilidade de nossa tecnologia, abrindo caminho para aplicativos inovadores na criação de conteúdo digital. Experimente nossa funcionalidade aprimorada de sincronização labial e envie-nos seus comentários sobre esse recurso.