Extrait de l'émission CPU release Ex0239 : L'IA fait son cinéma, première partie.
Si l'animation a été une avancée formidable dans le cinéma, que cela soit dans le stop-motion ou le dessin-animé, sa plus grande difficulté est d'obtenir des mouvements réalistes dans les dessins d'intervalles pour immerger encore plus le spectateur dans l'histoire. Pour cela, les animateurs sont face à deux contraintes.
La première est de s'obliger à animer le plus fluide possible, donc 24 images par secondes en démultipliant les dessins d'intervalles, ce qui est extrêmement coûteux à produire et donc très rare.
Et la deuxième contrainte est de réussir à dessiner les mouvements les plus naturels possibles, aussi bien pour les êtres animés que pour les objets.
Car effectivement, l'incohérence de mouvements souligne le gag dans un contexte humoristique, ou l'étrangeté dans un film horrifique, mais elle n'aide pas à l'immersion dans un film dramatique. Il fallait donc trouver un moyen d'avoir un rendu plus réaliste des mouvements musculaires, de la chevelure et des vêtements.
La méthode qui a été la plus simple à utiliser pour améliorer ce naturel a été… le décalque, ce que l'on appelle techniquement le rotoscoping. Le réalisateur de dessin-animé prend une caméra cinéma conventionnelle, et fait jouer les mouvements à des acteurs, avec un minimum d'accessoires et de costumes. Puis, il projette ce film témoin photo par photo sur une planche à dessin et dessine les contours sur cellulo.
Un procédé créé en 1915 par les frères Fleischer et qui a fait leur réputation d'excellence, étant les utilisateurs exclusifs du procédé, car tout simplement ils l'avaient breveté ! Ce qui, dès l'époque du muet et avant leurs séries animées « Popeye le Marin » ou « Betty Boop », leur permit de se démarquer des autres studios de cartoons, et donc d'être bien mieux distribués et donc faire plus de bénéfices.
Quand ce brevet est passé dans le domaine public en 1935, il intéresse immédiatement un studio concurrent : celui que vient de monter Walt Disney. Ce réalisateur/producteur cartonne avec les cartoons musicaux de Mickey Mouse et Donald Duck, mais il a l'ambition de briller lui aussi par ses qualités techniques. Le rotoscoping est une des technologies qui vont lui permettre de produire le premier dessin-animé long-métrage, « Blanche Neige et les 7 nains », qui sortira sur les écrans en 1937. Inutile de vous dire que ça le change des cartoons d'avant-programme !
Grâce au rotoscoping, les mouvements deviennent suffisamment réalistes pour que le dessin-animé puisse raconter une histoire moins légère, et aussi faciliter la tâche des intervalistes pour accélérer leur travail et donc réduire le coût le production.
Et un film qui a servi à mesurer le mouvement peut être réutilisé… dessiné différemment ! D'ailleurs, les animateurs du studio Disney ont souvent ré-employé des mouvements déjà décalqués. Décalques faites depuis les scènes témoins filmées ou depuis d'autres dessins d'intervalles. Si vous trouvez des scènes de danse, par exemple des « Aristochats » et du « Livre de la jungle » étrangement similaires… c'est tout à fait normal ! En plus, ça coûte encore moins cher !
Ce procédé s'est retrouvé aussi dans le jeu vidéo, puisque le premier créateur de jeu vidéo à utiliser le rotoscoping est Jordan Mechner, d'abord pour son « Karateka » où il a filmé son père en kimono faisant des cabrioles sur sa bagnole, puis pour « Prince of Persia » où il a filmé son frère sautant dangereusement sur le trottoir. Et ensuite, partant de polaroids tirés sur la télé, il a dessiné des grilles de pixels qu'il a reproduit sur Apple II. Jordan Mechner nous l'a raconté dans l'interview qu'il nous a accordé.
Le principe du rotoscoping est loin d'avoir disparu, puisqu'avec les avancées des logiciels de reconnaissance de forme, il est devenu très simple de l'appliquer à des objets 3D ou des éléments 2D dans les logiciels actuels, le tracking entre l'image de début et de fin est réalisé automatiquement et en temps réel. C'est d'ailleurs une technologie de base utilisée dans les effets spéciaux au cinéma pour des corrections cosmétiques
, par exemple, quand on veut ajouter des effets de brume derrière un personnage en avant-plan.
Et même chez les VTubers : le rotoscoping est la technologie utilisée pour maper leurs mouvements sur leur avatar animé en utilisant la webcam d'un smartphone, que le patron soit deux dessins en 2D ou un personnage en 3D. Les logiciels Live2D Cubism, VTuber maker ou Animaze utilisent votre webcam à cet effet. Oui, la petite nièce fait peut-être naturellement du rotoscoping d'elle-même tous les soirs pendant des heures en direct sur Twitch ou TikTok.
Mais le rotoscoping ne fait que de la saisie de mouvement filmé depuis une seule caméra, donc dans un espace plan.
Parallèlement les premières tentatives de représentation en 3 dimensions sur écran d'ordinateur vont être travaillées dans les années 1960s. Et l'un des premiers éléments vivants numérisés, vectorisé en 3 dimensions sera une main, une simple main.
« A computer animated hand » est un court-métrage de démo réalisé en 1972 par Edwin Catmull et Fred Parke dans le cadre de leur thèse, et présente entre autres la main gauche d'Edwin Catmull.
Elle a été moulée dans du plâtre, le moulage a été marqué de 350 points, points qu'il a fallu mesurer manuellement les coordonnées 3D en guise de numérisation. Puis entrer les mesures par un terminal texte, écrire un logiciel de rendu, emprunter la caméra cinéma d'un labo à côté pour photographier image par image le rendu sur un écran vectoriel. D'abord en fil-de-fer, en faces pleines et enfin en faces ombrées.
Edwin et Fred ont eu le courage de remettre ça avec un moulage du visage de la copine d'Edwin.
Un travail harassant, et Edwin Catmull fit du chemin depuis puisqu'il co-fonda la division informatique de Lucasfilm, direction qui devint Pixar, il co-créa leur fameux logiciel de rendu 3D Renderman, et devint président des studios d'animation Disney, cumulant un Turing Award et 4 Oscars.
La technologie va évoluer, avec l'usage de multiples caméras témoins, de systèmes de positionnement comme le lidar, la standardisation de repères en croix ou en damier posés dans le décor, de boules réflectrices en infrarouge, ou de points posés au maquillage sur les acteurs. On parle de motion capture et les techniciens songent déjà à la performance capture.
En 1993, le studio français Gribouille mené par le réalisateur Didier Pourcel effectue le premier clonage d'un acteur humain dans le cyberspace. En l'occurrence, Richard Bohringer, s'il vous plait, le visage constellé de points blancs, pour le long métrage « 20 000 lieues sous les mers », entièrement réalisé en 3D. Eh oui, avant « Toy Story », la France avait produit un premier long métrage en 3D… mais il n'est jamais sorti en salle ! De nos jours, sincèrement, on dirait le jeu vidéo « Myst » premier du nom, ou une version scénarisée longue d'un « best of Imagina ». Le reportage making-of montre une saisie automatisée et temps réel des points du visage. Ce film a été l'occasion de produire de nombreux outils, de logiciels, de systèmes de captures, et a été célébré comme tel dans les milieux de l'infographie.
Avec déjà en 1993, des questions morales sur qui peut être la doublure de saisie 3D d'un acteur, ou qui peut reprendre les saisies d'un acteur pour en faire autre chose.
Moi, je trouve ça génial d'avoir un double qui a un double qui a un maître !
[Richard Bohringer]
Par la suite, la technologie s'est grandement améliorée, avec des processus nettement plus simples, ainsi que la gestion des squelettes, des musculatures et des tissus mous.
En 2004, Robert Zemeckis utilise la performance capture et numérise complètement l'acteur Tom Hanks, qui joue plusieurs rôles dans le film « Pôle Express ». En plus grand ou en plus petit, l'acteur joue quasiment tous les rôles du film. Une décennie plus tard, le vertigineux film « Gravity » désorbite les avatars numérisés de Sandra Bullock et George Clooney, mêlant univers complet en 3D et projection des visages filmés des acteurs derrière le casque de leurs scaphandres. On atteint le point où il est très difficile de dire quand les acteurs sont des images 3D ou composités depuis un fond vert.
Textes : Da Scritch
Illustration sonore : reportage sur la production du film pour CSI / Science Actualité par Véronique Godé et Jacques Bigot © CSI / Science actualité 1993
Illustration : Rotoscope in a retro mutoscope, CC-By-NC-SA Tricia Fuglestad, atelier de rotoscoping après d'un public jeune, détail.