A Luma AI, com sede na Califórnia, pretende democratizar as cenas 3D. Após o lançamento de uma ferramenta de texto para 3D, a startup introduziu uma API para converter imagens e vídeos em modelos 3D.

Atualmente, leva entre US $ 60 e US $ 1.500 e duas a dez semanas para criar um modelo 3D, diz a startup de IA Luma AI. Ele quer tornar o processo muito mais rápido e barato, até 30 minutos e apenas US $ 1 por modelo.

Para esse fim, a empresa, que recentemente levantou US $ 20 milhões em uma rodada de financiamento da Série A, revelou uma API de vídeo para 3D. “Nossa missão é democratizar o 3D. Qualidade de Hollywood, 3D fotorrealista para todos ”, diz a startup sediada em Palo Alto, Califórnia, que tem 14 funcionários.

Vivemos em um mundo tridimensional. Nossa percepção e memórias são de seres tridimensionais. No entanto, não há como capturar e revisitar esses momentos como se você estivesse lá. Tudo o que temos para mostrar são essas fatias 2D que chamamos de fotos. É hora de isso mudar.

Luma AI

Para criar um modelo 3D a partir de um conjunto de imagens ou vídeos, os desenvolvedores podem usar a nova API, mas os usuários finais também podem acessar uma interface web. Para alcançar o melhor resultado possível, a Luma fornece algumas diretrizes.

Dicas da Luma AI para criar a cena 3D perfeita.

A cena ou objeto deve ser fotografado andando em torno dele em um círculo, o mais lentamente possível para evitar borrões, e com o modo HDR desligado.

É melhor fotografar de três alturas diferentes: altura do peito olhando para frente, acima da cabeça olhando ligeiramente para baixo no centro da cena e, finalmente, na altura do joelho olhando ligeiramente para cima. Opcionalmente, a cena pode ser filmada em grande angular ou olho de peixe (ultra grande angular). Você precisará especificar isso ao fazer o upload.

O tamanho máximo do arquivo de vídeo que você pode carregar é de 5 GB. O mesmo se aplica a um arquivo zip de imagens. Consulte a documentação do Luma AI para obter mais informações. A partir do vídeo ou imagens, Luma cria um NeRF, uma cena 3D aprendida neuralmente.

Em meu teste curto, a função de vídeo para 3D do Luma provou ser utilizável, embora o objeto central seja um pouco de baixa resolução. Mas o buquê de flores no vidro transparente também é um objeto relativamente complexo. Tiros adicionais provavelmente melhorariam a qualidade.

After processing on the server, the 3D scene can also be downloaded as an object (GLTF, USDZ, OBJ) or mesh scene (PLY), shared by linking, or embedded as an iframe. This is an example of a chair to show you how this can work with a simple object.

Comece com créditos gratuitos.

Para usar a nova ferramenta 3D, você precisa se registrar gratuitamente. Dez créditos – o equivalente a dez cenas 3D – estão disponíveis para teste. A Luma AI promete melhorias na qualidade e no tempo de processamento em um futuro próximo.

Em dezembro de 2022, a Luma AI lançou uma interface de texto para 3D chamada Imagine 3D com resultados igualmente impressionantes. Esta ferramenta está atualmente disponível apenas através de uma lista de espera.