Jump to content

Recommended Posts

Hello,

Quelqu'un a deja reussi un bon tracking pour insertion d'un modele 3D Archviz (immeuble, maison, etc ...) sur une vidéo ? Je connais le principe.

Dans le studio on a deja realisé ça avec Boujou, mais la personne qui s'en occupait est partie et n'a jamais fait un transfert de compétence ... 😬

Du coup je me retrouve a m'y coller et je sais que j'avais deja galèré avec des problemes d'echelle et donc un modele 3D qui "glisse".

Je cherche un bon tutos ou éventuellement quelques tips.

Merci de vos retours

Share this post


Link to post
Share on other sites

Hello,

j’en ai fais plein avec le tracker intégré de Nuke. Le truc top c’est que tu peux ensuite exporter la cam dans Max pour bosser y’a 3D et la re-utiliser dans Nuke pour caler des éléments en 2D type perso/matte painting etc.

Share this post


Link to post
Share on other sites

Hello Matt, merci de ta reponse, pour être sur qu'on parle bien de la meme chose ; un exemple de ce que je cherche a faire proprement :
 

 

Effectivement, une fois la video trackée, on récupère la cam créé suivant le tracking de la video, puis on importe cetet cam dans Max et là on se retrouve avec les frames d'animation sur al scène 3D Max correspondantes au movement de la video, y'a plsu qu'a completer la scéne 3D en fonction des besoins, calculer les frames et post-produire tout ça.

Tu aurais un tuto de ta methode avec Nuke par hasard ?

Merci

Share this post


Link to post
Share on other sites

Re, bon je reviens vers vous avec ces histoire de tracking.

J'ai regardé un peu pret 15256212645 tutos sur le net, dans toutes les langues, sur toutes les plateformes vidéos, avec tout les softs de tracking, dans toutes les couleurs, dans tout les formats ...

J'ai fait des tests dans tout les sens depuis plusieurs jours ...

Dans 99% des tutos vu sur le net, le tracking est effectué
soit dans des environnements contrôlés ; donc avec possibilité de disposer des points de tracking au murs, au sol, avec des distances connues (hauteur de murs, surface au sol, etc )
soit il s'agit de tracking dont l'échelle n'affecte pas ou peu le résultat, du coup ils importent leurs point de tracking dans maya, C4D, 3D max etc ... et font un rescale a la main, et surtout à la louche ...

Quand on veut insérer un eléments CG dans une vidéo ;  s'il s'agit d'une poubelle dans une rue (tuto sur tracking avec Nuke) , d'un personnage de fantaisie sur un terrain de foot, ou d'un cube sur un meuble du salon ... ici on peut se permettre de "rescale" a la louche dans le soft 3D, la perte de précision n'a pas forcément d'importance.

Par contre quand on fait de l'archviz, l'échelle des choses est super importante et du coup on doit être précis, on peut pas se permettre de générer un immeuble ou une maison qui n'ai pas les bonnes proportions ou la bonne échelle par rapport a son environnement !

Du coup je suis, plus ou moins, arrivé a mes fins avec Boujou (pas testé d'autres solutions pour le moment, j'avais boujou sous la main, et on avait deja réussi dans le studio avec cet outils).

Le truc important c'est donc de définir l'échelle dans Boujou et pour cela il faut :

1 - avoir des références sur la vidéo pour définir l'échelle ; quand on est pas soi-même la personne qui a fait le film, on ne sait pas exactement quelles sont les dimensions des éléments présents dans la vidéo : la hauteur d'un poteau, la largeur d'une façade ou d'une route, etc ... 

2 - Definir des distances entre les points de tracking (pts de tracking qui peuvent être automatiques ou manuels). distances qui devraient être cohérents avec les distances dans notre maquette 3D.

Malgrés ces 2 points, j'ai bien galéré car je n'ai pas de cotes de niveaux du terrain terminé, je en sais donc pas la hauteurs des immeubles sur le terrain, ni même les modifications apportés par un terrassement : création de zones plates sur un terrain en pente par exemple ...

Du coup, après des heures de galère, et malgrés avoir défini l'échelle dans Boujou, j'ai bien du me résoudre à terminer de positionner mes éléments 3D à la main sur Max en ayant la video en fond. Et ça colle un peu près .. Ouf !

Si ça intéresse quelqu'un sur ce forum, je veux bien continuer cette conversation et débattre sur les solutions aux divers problèmes, mais vu le nombre de réponses a part Matt, je ne suis pas sûr de l'intérêt pour les autres.

Cdlt


 

Share this post


Link to post
Share on other sites

Je lis tous les sujets, en général ça m'intéresse :). Je le lirais à nouveau un jour si jamais je dois faire un truc de ce genre là, en tout cas je trouve ça classe sur les vidéos que tu as mises en démo.

Bravo pour ton acharnement, et si tu as le droit de poster le résultat, je serais encore de ceux qui le regarderont !

Bonne journée

Share this post


Link to post
Share on other sites

moi ça m’intéresse ^^

C'est pas hyper courant comme sujet et très peu traité, je suis sur que meme si il y a peu de réponses ca aidera beaucoup de monde dans le temps ;)

Share this post


Link to post
Share on other sites
54 minutes ago, patagoniak said:

Si ça intéresse quelqu'un sur ce forum, je veux bien continuer cette conversation et débattre sur les solutions aux divers problèmes, mais vu le nombre de réponses a part Matt, je ne suis pas sûr de l'intérêt pour les autres

Tu sais, il n'y a pas que les gens qui te répondent que ça intéresse ;)

Personnellement, ça m'intéresse, mais n'ayant pour ainsi dire aucune expérience en la matière, je ne peux que suivre les échanges...

Share this post


Link to post
Share on other sites

Merci pour vos réponses, j'ai pensé un moment que ça n'intéressait que moi ! 😎

@KruL Vu le peu de tutos Tracking/matchmoving en ArchViz, effectivement  ça commence á s'apparenter à de l'acharnement. Et je trouve aussi que les résultats sont bluffants,.
Bien sûr cette technique n'a de sens que si l'environnement met en valeur le projet (on a des clients qui préfèrent ne pas trop montrer le voisinage ...). Là le projet est entre un lac et un volcan (Patagonie) donc ça jette !
Je mettrais en lien des avancées qquand j aurai un truc montrable ...

@matt Yep, merci de ton soutien :) J'ai pas encore touché á ta méthode avec Nuke (que j ai pas .. ) mais je suppose que c'est similaire á la methode Mocha Pro (que j ai ) ... Faut que je test si le workflow est plus simple qu'avec Boujou ou PFTrack.

@Nicolas Caplat Je suis sûir que tu aurai plein d'idées pour améliorer le résultat, par exemple pour bien "matcher" photo reel avec éléments 3D via des textures en "matte" par exemple, pour laisser apparaître la photo/video reelle sous/au travers de la texture ; ce qui permettrait de bien mélanger par exemple les arbres 3D avec les arbres existants.

Arbres 3D qui devront être retouchés en post.-prod pour bien "matcher" les couleurs et l'ilumination. Donc ça veut dire aussi jouer avec des masques.

 

Share this post


Link to post
Share on other sites

Hello,

J'ai vu un tuto que date de Max 2009 et qui faisait ça .. mais le problème n'est pas le tracking en lui-même (boujou et autres font ça plutôt trés bien)  mais c'est plutôt l'intégration de la maquette 3D sur la vidéo en respectant une échelle réelle (cas d'un bâtiment placé à coté d'une route ou d'un autre bâtiment, donc proportions a respecter au minimum). La majorité des tutos vu sur le net n'abordent pas cette problématique puisqu'ils se contentent de faire un tracking sur un route y d'y placer un texte en 3D, du coup, effectivement pas de probleme d'echelle a respecter.

 

Share this post


Link to post
Share on other sites

Je fais des cuisines, mais ça m'intéresse quand même aussi !
J'allais dire concernant l'échelle de l'environnement qu'on peut faire des estimations, alors ok ça reste à la louche, en se promenant dans streetview, mais c'était avant de voir ton décor naturel sans référentiel évident ! Chaud !
Et j'imagine que les propriétés de la caméra qui a filmé sont importantes, focale, etc...  Et t'as aucun moyen non plus de savoir à partir d'où ça a été filmé évidemment... Effectivement, pas simple.
Bon je retourne à mes cuisines.

Share this post


Link to post
Share on other sites

Hello, merci de vos commentaires,
 

@Troadegrafix oui, des estimations, donc c'est un peu compliqué, et à la louche ... 

Merci de pointer ces problemes.
Concernant les propriétés de la cam, il semble que oui ça soit important, le moteur de Boujou fait une détection automatique et corrige ta video en la deformant pour compenser la distorsión de la lentille..

Aprés il te suffit de re-exporter le sequence video depusi Boujou AVEC la distortion corrigée.

Le truc c'est que mes batiments semblent plus deformés aprés la correction de lentille de Boujou qu'avant ... Ça aussi ça joue au moment d'insérer la maquette 3D sur la vidéo, si on a pas les même lignes de fuites, les mêmes déformations de parallèles ; ça se voit et ça nuit au réalisme.

Sur Boujou, on peut indiquer manuellement les paramètres de la caméra, et par chance je les connais car quand c'est pas moi qui filme, je connais en general celui qui me remplace et je connais (en general) son matos.

Pour ces prises de vues, il s'agit d'un drone DJI Mavic Pro dont les specifications de lentille sont :

Sensor 1/2.3” (CMOS), Effective pixels:12.35 M (Total pixels:12.71M)
Lens FOV 78.8° 26 mm (35 mm format equivalent) f/2.2 
Distortion < 1.5% Focus from 0.5 m to ∞

Le truc c'est que je ne suis pas sûr de comprendre la relation entre les specs de la cam et les paramètres de correction de Boujou (voir image jointe).
 

Param-cam-boujou.png

Si quelqu'un peut m'aider sur ce point ?

Et de plus la Cam de Max doit avoi rles memes parametres que la cam reelle ; voila ce que dit la doc (succinte sur bien des points) :

From the menu bar choose "Rendering" then "Render." In the Common tab make sure that the Output Size>Aperture Width (mm) matches the value in boujou (can be found under the advanced camera properties, Ctrl + e in boujou).


Deja là je pense qu'il y a une coquille dans le texte, ils ont surement voulu dire : Choose "Renderin"g then "Render setup" parceque sinon ça lance un rendu ....

Je comprend qu'il faudrait mettre dans "Render Setup > Output Size > Aperture Width (mm) " la valeur de Filmback Width detectée par Boujou, mais je n'en suis pas sûr, je en vois pas quelle autre valeur ça pourrait être ...


 

Share this post


Link to post
Share on other sites

Comme tu l'a fait il te faut le maximum d'info pour le calcul. Dans ton cas tu as de la chance c'est un drone avec un objectif "soudé". Pas besoin de chercher quels objectifs, avec backplate.. ect...

Dans un autre cas tu peux aussi regarder dans les exif, metadata des images, conteneurs, afin de voir quels appareils ont été utilisés.

Ensuite oui, comme tout il faut des unités cohérentes. Ça peux se calculer avec la hauteur des bâtiments, hauteur entre étages, banc, rue, ect...logiquement il a pleins d'éléments dans la vidéo qui te le permet.

Normalement, pftrack, boujou, mocha te livre une cam déjà paramétrées, non ?

Si ce n'est pas le cas, il faudrait re-cabler ça avec une camera max (j'ai des doutes) :

https://knowledge.autodesk.com/support/3ds-max/learn-explore/caas/CloudHelp/cloudhelp/2016/ENU/3DSMax/files/GUID-BCA258CE-B108-4B77-A62E-7014842E1157-htm.html

 

Attention tout de même au paramètre "aperture" dans le rendering de max, car ça reste ambiguë...c'est le Filmback Width ?

 

- undistord /degrain ton image.

- remplit un maximum d'information pour le tracking.

- tracking

- import de cam dans 3dsmax.

- calcul ta séquence

- compositing

- distord/ regrain ton image compositée.

- final grading.

 

 

 

Share this post


Link to post
Share on other sites
4 hours ago, Miaz3 said:

ça me rappel un sujet de discussion  :

 

Ah oui c'est vrai , mais c'etait pour du tracking "simple" en 2D sur du titrage en post-prod ; c'est quand même bcp plus simple.

Mais j'avais oublié ctte discussion ... Quelle memoire Miaz !?! 😃

 

Quote

Normalement, pftrack, boujou, mocha te livre une cam déjà paramétrées, non ?

Yep, mais y'a 2 façon, soit le soft de tracking fait sa sauce pour deviner les params de la cam, soit tu peux lui indiquer (voir les screen posté plus haut) dont je ne susi pas sûr de comprendre les paramètres.

Dans mon cas j'ai laissé les paramètres en auto, car en manuel j'avais trop de déformation sur mes bâtiments 3D par rapport au bâtiment réel en construction, ce qui logiquement en devrait pas être le cas.
C'est pas super grave dans ce cas, je m'arrange pour "recouvrir le bâtiment existant en construction part un bâtiment 3D, mais dans l'idéal, ça devrait correspondre ... Et ça le ferait peut être pas pour une autre vidéo oú je doivent insérer un bâtiment 3D a coté d'un bâtiment existant, on verrai alors que les échelles ne sont pas correctes.
 

Quote

undistord /degrain ton image.

- remplit un maximum d'information pour le tracking.

- tracking

- import de cam dans 3dsmax.

- calcul ta séquence

- compositing

- distord/ regrain ton image compositée.

- final grading.


- Tu utilises quoi pour undistort / degrain ta sequence ? les outisl de base de After par exemple ? ou un plugin particulier ?

- Je ne comprend pas quan tu dis "remplis un max d'infos pour le tracking" : tu parles des params camera, fps, pixels ratio, etc ? Si c'est ça, c'est normalement ok

- Tracking en auto puis ajout de trackers á la main sur des zones intéressantes/importantes, eventuellement définition de certains trackers comme "gold", définition d'une origine et définition des axes X,Y et Z pour paramétrer correctement l'orientation du nuage de points 3D dans l'espace (pour que cela soit en relation avec la scène max). Là c'est un autre sujet pas simple ... Sur Boujou on a une grille / une base / qui se forme / deforme suivant ces parametres mais quand le terrain est pas plat c'est pas evident ...

- Pour l'import de la cam dans Max : c'est un autre point compliqué puisque probleme de lens correction comme expliqué avant + origine / axes x, y. z pas toujorus super bien défini ... Donc callage a la louche de la scene max sur la video trackée.

Share this post


Link to post
Share on other sites

Indique lui toutes les informations nécessaires dans ce cas, meilleur tes calculs de track seront.

http://vfxcamdb.com/dji-mavic/

(comparé à ton screen plus tu n'es pas bon)

Reste à trouver les infos d'ouvertures, iso ect...dans les métadata de ton conteneur (MOV ou MP4) en lisant simplement ton film dans vlc ou via exifTool si pas dispo dans vlc.

Share this post


Link to post
Share on other sites
4 minutes ago, Miaz3 said:

Indique lui toutes les informations nécessaires dans ce cas, meilleur tes calculs de track seront.

J'etais en train de repondre, mais oui je confirme que toutes les infos sont correctement remplies, sauf les params camera, puisque comme indiqué dans un message précédent je ne comprend pas la relation entre les specs camera et les params dans Boujou

 

Share this post


Link to post
Share on other sites
Quote

Tu utilises quoi pour undistort / degrain ta sequence ? les outisl de base de After par exemple ? ou un plugin particulier ?

Si tu utilise PFTrack, tu utilise ne node 'undistord', sous boujou c'est le même principe mais via un 'solver'...

Regarde sur le web : lens distortion workflow + boujou et/ou pftrack.

Après analyse, sous Pftrack, tu peux sortir une map de distortion (map de vecteur). Ensuite cette map tu peux t'en servir dans des tools de lens correction (distord, lens distortion, ...) que ce soit dans nuke, fusion, natron...(after effect - je ne connais pas)

Pour le grain de l'image, Nuke le permet nativement, Sinon sous natron/fusion (after effect ?!) il existe les plugin sapphire et revisionfx.

 

 

Quote

Je ne comprend pas quan tu dis "remplis un max d'infos pour le tracking" : tu parles des params camera, fps, pixels ratio, etc ? Si c'est ça, c'est normalement ok

Oui, filmBack, lens, fov, fps, pixel ratio, ect...au plus tu as d'informations de la prise de vue, au mieux sera ton tracking.

 

Quote

- Tracking en auto puis ajout de trackers á la main sur des zones intéressantes/importantes, eventuellement définition de certains trackers comme "gold", définition d'une origine et définition des axes X,Y et Z pour paramétrer correctement l'orientation du nuage de points 3D dans l'espace (pour que cela soit en relation avec la scène max). Là c'est un autre sujet pas simple ... Sur Boujou on a une grille / une base / qui se forme / deforme suivant ces parametres mais quand le terrain est pas plat c'est pas evident ...

Oui, il faut des fois faire une petite correction de couleurs afin de contraster légèrement la vidéo afin de pouvoir faire de meilleur accroche. Pour la pers, effectivement ce n'est pas simple, mais tu as un bâtiment avec pleins de fuyantes ;)

 

bonne continuation,

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...

×
×
  • Create New...