a 
Sledování kamery s centimetrovou přesností pro 3D snímání ve velkém měřítku (Gaussovo rozstřikování)
Přehled
Tento zákaznický projekt pochází z Aryonix, kterou založil Alexandre Cavaleri. Aryonix vyvíjí renderovací engine v reálném čase, který dokáže z fotografií vytvářet filmová, fotorealistická a imerzivní 3D prostředí. Aryonix spolupracoval s Sjezdová křídla, projekt věnovaný průzkumu, mapování a natáčení sjezdových tras pro inline brusle, longboardy a další gravitační sporty. Projekt využívá techniku zvanou Gaussovo splatting.
Pro sjezdové sporty je důležité, aby digitální rekonstrukce odpovídala skutečnému světu. Trasa musí mít správnou polohu, měřítko a sklon, aby jezdci mohli přesně vyhodnotit její obtížnost, bezpečnost a celkový zážitek z jízdy.
Hlavní výzvou při rekonstrukci tak dlouhých venkovních tras je výpočet pozic kamery: nástroje jako COLMAP se v průběhu času mění a hromadí chyby, potýkají se s přirozeně se vyskytujícími opakujícími se vzory a nevýraznými pohledy (řady vinné révy, povrch vozovky, obloha) a bez předchozího GPS není výsledek vázán na reálné souřadnice, měřítko ani sklon.
Aby Aryonix překonal tato omezení, použil GNSS kompas – startovací sada RTK aby během nahrávání poskytoval na centimetr přesné polohy a směr kamery.
Souprava
Abychom tento problém vyřešili, použili jsme startovací sadu kompasu GNSS, která poskytuje centimetrově přesné polohy a směr kamery jako předběžné informace pro COLMAP.
- GNSS kompas – startovací sada RTK: GNSS/RTK sada s deskou založenou na UM982 a dvěma vysoce kvalitními spirálovými anténami
- Filmová kamera Blackmagic URSA Mini Pro 4.6K G2, natáčení do formátu RAW
- Adaptér Hosa MIT-129 XLR převádí signál PPS desky na audio úrovně kompatibilní s kamerou a chrání desku před fantomovým napájením kamery.
- Telefon s běžícím SW Mapy, RTK logováním + napájením desky
Synchronizace videa s RTK
Znalost polohy kamery je užitečná pouze tehdy, pokud lze každý snímek videa přiřadit ke správnému měření RTK.
Přijímač GNSS vysílá signál PPS (puls za sekundu). Jedná se o vysoce přesný elektrický impuls generovaný přesně jednou za sekundu GPS. Namísto spoléhání se na interní hodiny fotoaparátu byl tento signál PPS zaznamenán přímo do jednoho zvukového kanálu fotoaparátu prostřednictvím jeho XLR vstupu.
Protože je zvuk vzorkován s frekvencí 48 kHz, lze každý puls PPS detekovat s přesností na submilisekundy. Pro srovnání, jeden snímek videa nahraný s frekvencí 24 fps trvá přibližně 42 milisekund. To umožňuje mnohem přesněji časově označit každý snímek než pomocí vlastních časovacích informací kamery.
Záznam pulzu PPS každou sekundu také umožňuje detekovat a průběžně korigovat jakýkoli posun hodin v kameře během celého záznamu. Signál PPS označuje začátek každé sekundy GPS, zatímco záznam RTK zaznamenaný telefonem poskytuje odpovídající časová razítka GNSS. Spuštění obou záznamů přibližně ve stejnou dobu stačí k automatickému spárování pulzů PPS s daty RTK.
Pokud vám to zní složitě, podívejte se na náš příspěvek. Pochopení GPS Timepulse nebo PPS.
Zachycení scény
Tým prošel 800 metrů dlouhou trasu vinicemi Lavaux ve Švýcarsku a přitom nepřetržitě nahrával video.
Místo pouhé chůze po přímé linii se kamera pohybovala ve spirálovitém vzoru, aby mohla scénu pozorovat z různých úhlů pohledu. To zlepšuje kvalitu 3D rekonstrukce a zároveň zabraňuje stínům vrhaným operátorem.
Občas byly před návratem na hlavní trasu zachyceny krátké vedlejší cesty, čímž byly přidány další vyhlídky, které zlepšují přesnost rekonstrukce.
Pohybující se objekty, jako jsou chodci a vozidla, byly během snímání řešeny přímo krátkým odkloněním kamery, což snížilo pozdější potřebu čištění.
výsledky
Po synchronizaci RTK měření s video snímky byly pozice kamer dodány do rekonstrukčního procesu jako apriorní polohy kamer. Software nehodnotí polohu každé kamery pouze na základě snímků, ale vychází z centimetrově přesných RTK měření.
Výsledná 3D reprezentace je vykreslena v reálném čase pomocí enginu Aryonix, přičemž je zachována správná reálná poloha, orientace, měřítko a sklon trasy.
Ačkoli je zde demonstrováno použití Gaussovského splattingu, stejný pracovní postup platí pro jakoukoli metodu rekonstrukce, která se spoléhá na 2D snímky a pozice kamery: synchronizované apriorní snímky kamery lze předat nástrojům, jako je COLMAP, pro trénování Gaussových splatů, NeRF nebo tradičních fotogrammetrických rekonstrukcí.
Poskytováním přesných pozic kamery v průběhu celého záznamu transformuje RTK GNSS pracovní postup, který by normálně trpěl nahromaděným driftem, na spolehlivou metodu pro rekonstrukci dlouhých venkovních prostředí. Výsledkem je fotorealistická 3D scéna, kterou lze také použít pro přesné měření trasy, včetně sklonů, které jsou často detailnější než ty dostupné ze stávajících digitálních modelů reliéfu.
Související produkty
Asistent RTK
Najděte nejlepší produkty pro vaši aplikaci během několika otázek.