Apple zaprezentowało DepthPro, innowacyjny model do szacowania głębi z pojedynczego obrazu. DepthPro wyróżnia się na tle innych modeli tym, że działa w trybie zero-shot, co oznacza, że nie potrzebuje danych wejściowych o kamerze, takich jak metadane dotyczące parametrów optycznych (np. intrinsics), aby przewidzieć głębię obrazu.
Kluczowe funkcje DepthPro:
- Szybkość i wydajność: Model generuje mapy głębi o rozdzielczości 2,25 megapiksela w mniej niż 0,3 sekundy na standardowym GPU. To niezwykle szybkie narzędzie do generowania bardzo precyzyjnych map głębi.
- Precyzyjne detale: Dzięki zastosowaniu transformera wieloskalowego (multi-scale vision transformer), DepthPro generuje mapy głębi z wyraźnymi, ostrymi detalami, co pozwala na wierne odwzorowanie krawędzi i drobnych elementów na obrazach.
- Dokładność metryczna: Model nie tylko generuje szczegółowe mapy głębi, ale robi to z zachowaniem absolutnej skali, co oznacza, że mapy głębi są w pełni zgodne z rzeczywistymi wymiarami.
- Wykorzystanie różnorodnych danych: DepthPro został wytrenowany na mieszance zbiorów danych rzeczywistych i syntetycznych, co zapewnia zarówno wysoką dokładność metryczną, jak i wierne odwzorowanie krawędzi obiektów.
Zastosowania
Dzięki szybkości i precyzji, DepthPro może znaleźć zastosowanie w wielu obszarach, takich jak edycja zdjęć, rzeczywistość rozszerzona (AR), renderowanie 3D oraz inne zadania związane z wizją komputerową, które wymagają dokładnego odwzorowania głębi na podstawie jednego obrazu.
Apple udostępniło kod źródłowy oraz gotowe wagi modelu na GitHubie, co umożliwia łatwą integrację z różnymi projektami badawczymi i komercyjnymi.
Więcej informacji znajdziesz tutaj.
