Gaussian Splatting: online and local
Gaussian splatting offers an interesting alternative to photogrammetry for specific use cases, particularly where real-time rendering, photorealistic results, and the ability to capture reflective and transparent surfaces are necessary.
There are lots of online options for Gaussian splatting, paid and unpaid. Kiri Engine seems to be a very complete suite and now has the option to make meshes out of splats, for use in for instance Blender in the paid version.
For all online platforms, please be aware of your data and privacy!
If you don't want to be reliant on external systems, you can make Gaussian splats (and photogrammetry) locally with a somewhat beefy computer.
Running Gaussian Splatting locally
Workflow in Postshot:
- Installeer Postshot van https://www.jawset.com/
- Neem een video op van het object of de ruimte. Je kunt meerdere video's importeren in de tool, alle video's met dezelfde camera geeft de beste resultaten
- Sleep de video's in Postshot
- Render. De software draait voornamelijk op je grafische kaart. Op een Nvidia 3080 duurt dit ongeveer 20 min
- Na renderen kun je het beeld croppen om alle extra ruis ver van het object weg te filteren. Ga hiervoor rechts in het menu onder Parameters - Edit
- Na render kun je het object exporteren naar een .ply
- Om te impoteren in andere software heb je een extra plugin nodig
Er zijn plugins voor:
- After Effects
- Unreal (betaalde plugin)
- Blender (geeft een meer abstract beeld). Het resultaat in Blender is GEEN mesh!
- Unity
Hieronder: dezelfde stoel in Postshot en Blender
|
Postshot |
Zelfde model in Blender |
We hebben dezelfde video gebruikt voor een render in RealityCapture, fotogrammetrie software. Deze render duurde ongeveer 3 minuten
Diverse tutorials gaussian splatting:
importing .ply gaussian splat in Blender