Sztuczna inteligencja (AI) w połączeniu z nową bioinspirowaną kamerą pozwala na wykrywanie pieszych i przeszkód 100 razy szybciej niż obecne kamery samochodowe. To ważny krok dla systemów wizyjnych i AI, który może znacznie poprawić bezpieczeństwo systemów motoryzacyjnych i autonomicznych pojazdów.
Każdy kierowca zna ten koszmar: pieszy nagle wychodzący na drogę, pozostawiając tylko ułamek sekundy na hamowanie lub ominięcie go. Obecnie niektóre samochody są wyposażone w systemy kamer, które mogą ostrzec kierowcę lub aktywować hamowanie awaryjne, ale nie są one jeszcze wystarczająco szybkie i niezawodne. Aby mogły być używane w autonomicznych pojazdach, muszą się znacznie poprawić.
Szybsze wykrywanie przy mniejszym zużyciu mocy obliczeniowej
Daniel Gehrig i Davide Scaramuzza z Wydziału Informatyki Uniwersytetu Zuryskiego (UZH) połączyli nową bioinspirowaną kamerę z AI, aby opracować system, który wykrywa przeszkody wokół samochodu znacznie szybciej niż obecne systemy, zużywając przy tym mniej mocy obliczeniowej. Wyniki ich badań opublikowano w najnowszym numerze czasopisma „Nature”.
Większość obecnych kamer opiera się na rejestrowaniu klatek w regularnych odstępach czasu. Kamery używane w samochodach zazwyczaj rejestrują 30 do 50 klatek na sekundę, a sztuczna sieć neuronowa może być trenowana do rozpoznawania obiektów na tych obrazach, takich jak piesi, rowery czy inne samochody. „Ale jeśli coś się wydarzy w ciągu 20 lub 30 milisekund między dwoma zdjęciami, kamera może to zobaczyć zbyt późno. Rozwiązaniem byłoby zwiększenie liczby klatek na sekundę, ale to oznacza więcej danych do przetworzenia w czasie rzeczywistym i większe zużycie mocy obliczeniowej,” mówi Daniel Gehrig, pierwszy autor publikacji.
Łączenie najlepszych cech dwóch typów kamer z AI
Kamery zdarzeń są nowością opartą na innym zasadzie. Zamiast stałej liczby klatek na sekundę, mają inteligentne piksele, które rejestrują informacje za każdym razem, gdy wykryją szybkie ruchy. „W ten sposób nie mają martwego pola między klatkami, co pozwala im szybciej wykrywać przeszkody. Nazywane są również kamerami neuromorficznymi, ponieważ naśladują sposób, w jaki ludzkie oko postrzega obrazy,” mówi Davide Scaramuzza, kierownik Grupy Robotyki i Percepcji. Jednak mają one swoje wady: mogą przeoczyć wolno poruszające się obiekty, a ich obrazy trudno przekształcić w dane używane do trenowania algorytmu AI.
Gehrig i Scaramuzza stworzyli hybrydowy system łączący zalety obu technologii: standardowa kamera rejestruje 20 obrazów na sekundę, co jest stosunkowo niską liczbą w porównaniu z obecnie używanymi. Jej obrazy są przetwarzane przez system AI zwany konwolucyjną siecią neuronową, trenowaną do rozpoznawania samochodów i pieszych. Dane z kamery zdarzeń są przetwarzane przez inny typ AI, zwany asynchroniczną siecią neuronową, która jest szczególnie odpowiednia do analizowania danych 3D zmieniających się w czasie. Wykrycia z kamery zdarzeń są używane do przewidywania wykryć przez standardową kamerę i zwiększania jej wydajności. „Wynikiem jest detektor wizualny, który może wykrywać obiekty tak szybko, jak standardowa kamera rejestrująca 5000 obrazów na sekundę, ale wymaga takiej samej przepustowości, jak standardowa kamera rejestrująca 50 klatek na sekundę,” mówi Daniel Gehrig.
Sto razy szybsze wykrywanie przy użyciu mniejszej ilości danych
Zespół porównał swój system z najlepszymi kamerami i algorytmami wizualnymi dostępnymi obecnie na rynku motoryzacyjnym i odkrył, że pozwala on na sto razy szybsze wykrywanie, jednocześnie zmniejszając ilość danych, które muszą być przesyłane między kamerą a komputerem pokładowym oraz moc obliczeniową potrzebną do przetwarzania obrazów bez utraty dokładności. System może skutecznie wykrywać samochody i pieszych, którzy pojawiają się w polu widzenia między dwoma kolejnymi klatkami standardowej kamery, zapewniając dodatkowe bezpieczeństwo zarówno kierowcy, jak i uczestnikom ruchu.
Naukowcy uważają, że metoda ta może być jeszcze bardziej skuteczna w przyszłości poprzez integrację kamer z sensorami LiDAR, podobnymi do tych używanych w autonomicznych pojazdach. „Systemy hybrydowe takie jak ten mogą być kluczowe dla umożliwienia autonomicznej jazdy, gwarantując bezpieczeństwo bez znaczącego wzrostu ilości danych i mocy obliczeniowej,” mówi Davide Scaramuzza.
źródło: sciencedaily.com
