World Labs lance Marble : un outil d’IA pour créer et modifier des mondes 3D à partir de textes, d’images et de vidéos.

Société d'intelligence spatiale Laboratoires du monde Marble, un modèle de monde multimodal génératif novateur, a été lancé. Il permet aux utilisateurs de créer des environnements 3D à partir de textes ou d'images. Initialement proposé à un groupe restreint d'utilisateurs bêta, Marble prend désormais en charge une grande variété de types d'entrée, tels que le texte, les images, la vidéo et les ébauches 3D. Il permet également l'édition interactive, l'extension et la combinaison de mondes 3D. Une fois créés, ces mondes peuvent être exportés dans des formats comme les projections gaussiennes, les maillages ou les vidéos, offrant ainsi aux utilisateurs un contrôle et une flexibilité accrus sur leurs créations.

En complément de l'outil Marble, World Labs a lancé Marble Labs, une plateforme créative qui encourage la collaboration et l'expérimentation dans des domaines tels que le jeu vidéo, les effets visuels, le design et la robotique. Marble Labs propose des études de cas, des tutoriels et de la documentation, offrant ainsi aux utilisateurs les ressources nécessaires pour apprendre et partager leurs propres univers 3D. Les capacités multimodales de ce nouvel outil reposent sur l'idée que la perception humaine du monde intègre plusieurs sens – la vue, l'ouïe, le toucher et le langage – en un modèle mental cohérent. De même, les modèles d'univers de Marble sont conçus pour synthétiser différents types d'entrées afin de créer des mondes 3D complets qui évoluent au fur et à mesure que de nouvelles informations sont ajoutées.

Marble se présente comme un modèle de monde de nouvelle génération, offrant de vastes possibilités créatives en permettant aux utilisateurs de générer facilement des mondes 3D détaillés et de les affiner itérativement avec précision, depuis de simples invites jusqu'à des modifications interactives complexes.

World Labs permet aux utilisateurs de créer, personnaliser et étendre des mondes 3D à partir d'instructions textuelles, d'images et de vidéos. 

Marble permet de générer des mondes 3D complets à partir d'une simple image ou d'une courte description textuelle, offrant ainsi une manière intuitive et simple de créer des scènes variées dans différents styles artistiques. Grâce aux images, Marble peut être intégré à d'autres outils d'IA pour créer des environnements 3D à partir d'images générées. Cependant, malgré leur puissance, les descriptions textuelles et visuelles offrent un contrôle créatif limité, obligeant Marble à générer les détails manquants de la scène, ce qui peut parfois donner des résultats inattendus.

Pour les utilisateurs souhaitant un contrôle accru, Marble prend également en charge l'affichage multi-images, permettant de combiner différentes images pour créer un monde 3D unifié. Cette approche offre une plus grande précision en permettant aux utilisateurs de… defiMarble permet de visualiser le monde sous différents angles. Des images multiples peuvent également être utilisées pour recréer des espaces réels : Marble synthétise alors plusieurs photos ou vidéos prises sous différents angles pour créer un modèle 3D du lieu.

Le processus créatif de Marble est conçu pour être itératif, permettant aux utilisateurs d'affiner leurs mondes après leur génération. La plateforme intègre des outils d'édition natifs pour effectuer des modifications mineures ou majeures du monde 3D, de la suppression ou la modification d'objets à la transformation complète du style visuel ou de la structure. Pour un contrôle plus précis, Marble propose Chisel, un outil basé sur l'IA destiné aux utilisateurs avancés, permettant la sculpture directe de mondes en 3D. À l'aide de formes 3D simples ou d'éléments importés, les utilisateurs peuvent structurer leurs scènes et ajouter des indications textuelles pour définir le style visuel, offrant ainsi une flexibilité inédite dans la création de mondes.

Pour des mondes plus vastes et plus complexes, Marble propose des outils permettant d'agrandir un monde généré. Les utilisateurs peuvent développer des régions spécifiques, améliorant ainsi les détails et la netteté dans des zones qui manquaient auparavant de précision. De plus, le mode Compositeur permet de combiner plusieurs mondes générés en espaces plus grands, offrant un contrôle total sur la mise en page et l'agencement des scènes.

Une fois un monde créé, Marble propose plusieurs options d'exportation. Les textures gaussiennes offrent la représentation la plus fidèle des scènes 3D, tandis que les maillages triangulaires peuvent être exportés pour être utilisés dans divers logiciels standards du secteur. Marble prend également en charge le rendu vidéo avec un contrôle de la caméra au pixel près, permettant aux utilisateurs de capturer et de partager leurs mondes sous forme de vidéo, avec la possibilité d'enrichir ces vidéos de détails supplémentaires ou d'éléments dynamiques.

Marble Labs offre une plateforme d'exploration et d'expérimentation en matière de création d'univers, présentant des projets créatifs et techniques d'artistes, d'ingénieurs et de designers issus de divers secteurs. À mesure que Marble évolue, la plateforme ambitionne de proposer des expériences plus interactives, ouvrant la voie à des simulations, à la robotique et à d'autres applications avancées.

Bien que les jeux vidéo et la réalité virtuelle soient souvent les premiers secteurs qui viennent à l'esprit, les applications potentielles des modèles du monde sont vastes et s'étendent bien au-delà. Ces modèles ont le potentiel de transformer divers domaines, tels que les simulations robotiques, la conception architecturale et la création d'univers cinématographiques. À l'instar des modèles de génération d'images et de vidéos, les modèles du monde deviennent rapidement des outils précieux qui devraient s'intégrer aux flux de travail d'un large éventail de secteurs dans un avenir proche.