Skip to main content

Gaussian Splatting: online and local

Gaussian splatting offers an interesting alternative to photogrammetry for specific use cases, particularly where real-time rendering, photorealistic results, and the ability to capture reflective and transparent surfaces are necessary.

There are lots of online options for Gaussian splatting, paid and unpaid. Kiri Engine seems to be a very complete suite and now has the option to make meshes out of splats, for use in for instance Blender in the paid version.

For all online platforms, please be aware of your data and privacy! 

If you don't want to be reliant on external systems, you can make Gaussian splats (and photogrammetry) locally with a somewhat beefy computer.

Running Gaussian Splatting locally

Workflow in Postshot:

  • InstalleerInstall Postshot vanfrom https://www.jawset.com/
  • Neem een video op van het object of de ruimte. Je kunt meerdere video's importeren in de tool, alle video's met dezelfde camera geeft de beste resultaten
  • Sleep de video's in Postshot
  • Render. De software draait voornamelijk op je grafische kaart. Op een Nvidia 3080 duurt dit ongeveer 20 min
  • Na renderen kun je het beeld croppen om alle extra ruis ver van het object weg te filteren. Ga hiervoor rechts in het menu onder Parameters - Edit
  • Na render kun je het object exporteren naar een .ply
  • Om te impoteren in andere software heb je een extra plugin nodig

Er zijn plugins voor:

  • After Effects 
  • Unreal (betaalde plugin)
  • Blender (geeft een meer abstract beeld). Het resultaat in Blender is GEEN mesh!
  • Unity 

Hieronder: dezelfde stoel in Postshot en Blender

Screenshot (2).png

Postshot

Screenshot (3).png

Zelfde model in Blender

Compared to local photogrammetry (RealityCapture)

WeWe've hebbenused dezelfdethe same source video gebruiktfor voor eena render in RealityCapture,RealityCapture. fotogrammetrie software. DezeThis render duurdetook ongeveerabout 3three minutenminutes and shows one of the problems with photogrammetry: shiny objects become invisible. You can fix this by using a polarizing filter over your lens.

Screenshot (5).png

In RealityCapture

Screenshot (6).png

.obj imported in Blender

Screenshot (7).png

Render with lighting in Blender

Diverse tutorials gaussian splatting:

importing .ply gaussian splat in Blender

Back to top