Technologia

Podstawy

Podstawowy system wizyjny

Omówienie elementów systemu wizyjnego i różnych impementacji łańcucha sensor-digitalizacja-przesyłanie-processing.

Rolling Shutter vs. Global Shutter

Dopóki kamera jest zasilana, piksele matrycy są aktywne. Światło jest stale generuje foto-elektrony, jednak nośniki ładunku nie są akumulowane, lecz nieustannie usuwane. Rozpoczęcie ekspozycji zatrzymuje usuwanie i rozpoczyna akumulację nośników ładunku. Odczyt pikseli następuje po zakończeniu ekspozycji. Do tego momentu matryce zachowują się tak samo w obu metodach ekspozycji. Mechanizm kontroli ekspozycji nazywamy migawką (shutter). W uproszczeniu, gdy migawka jest zamknięta, piksel nie gromadzi ładunku gdyż jest zwarty przez tranzystor.Wybór metody pracy migawki w sensorach CMOS decyduje o sposobie ekspozycji pikseli matrycy na światło oraz o sekwencji transferu ładunku elektrycznego do przetwornika analogowo-cyfrowego (ADC). Różnice te determinują przydatność kamery do rejestracji obiektów w szybkim ruchu.

Interfejsy kamer

W zależności od sposobu wykorzystanie obrazów, wymagania co do sposobu jego przesyłania różnią się diametralnie. Dla monitoringu chcemy przesyłać ciągły strumień obrazów, często na duże odległości, najlepiej używając kompresji. Dla widzenia maszynowego przesyłamy pojedyncze obrazy, często bardzo wysokiej rozdzielczości, powtarzane w dużych odstępach czasu, gdy kontrolowany przedmiot pojawia się przed kamerą albo przeciwnie, obrazy zbierane z ekstremalną częstością. Obraz najczęściej jest przetwarzany blisko kamery, na tym samym stanowisku (Edge Computing)

Kamery GigE Vision vs. Kamery IP

GigE Vision znajdziemy w zastosowaniach, w których maszyny podejmują decyzje na podstawie obrazów, a komputer “wyciąga” z kamery pojedynczo kolejne surowe obrazy bez kompresji. Kamery IP spotykamy zaś w zastosowaniach, w których to ludzie oglądają i archiwizują obraz wideo. To kamera “pcha” w sieć skompresowany stream video. Optymizacja GigE Vision stawia na jakość obrazu i precyzję czasową, natomiast optymizacja kamery IP na efektywne przesyłanie strumienia wideo.

Rozmiary matryc kamer

Historyczne oznaczenia typu 1/2", 2/3" czy 1" nie odpowiadają rzeczywistym wymiarom przekątnej matrycy. Są one pozostałością po czasach lamp obrazowych (Vidicon) i należy je traktować jako nazwy formatów. Oznaczenia odpowiadały zewnętrzej średnicy obudowy lampy!

Latency. Opóźnienie obrazu wobec sceny

Opóźnienie obrazu w systemach robotycznych i wizyjnych to całkowity czas, jaki upływa od fizycznego zdarzenia w świecie rzeczywistym do momentu podjęcia akcji zwrotnej. W układzie z człowiekiem jako operatorem ważne jest by opóźnienie dostarczenia obrazu było poniżej progu percepcji. Przyjmuje się, że wartość graniczna to około 150ms. Metoda pomiaru Glass-to-Glass (G2G) Latency z wykorzystaniem pulsującej diody LED i pary fotodiod to jedna z najbardziej niezawodnych i precyzyjnych metod laboratoryjnych. Jej największą zaletą jest niezależność sprzętowa – pomiar odbywa się całkowicie poza badanym systemem komputerowym, dzięki czemu eliminujemy błędy wynikające z narzutu zegara systemowego czy asynchroniczności oprogramowania.

Rozdzielczość, piksel i format sensora

W praktyce często wybieramy rozdzielczość wystarczającą by dostrzec najmniejsze szczegóły, wybieramy odpowiednią kamerę i okazuje się, że wymagane pole widzenia wymaga obiektywu, o którym nie wiemy, czy rysuje dość ostro dla naszej kamery. Producent kamery podaje wielkość piksela, a producent obiektywu klasę obiektywu jako np. 10MP 2/3”. Przygotowaliśmy tabelę, która pozwala szybko określić brakujące wielkości.

Interface

Interfejs kamery USB vs. GigE

W systemach widzenia maszynowego wybór interfejsu komunikacyjnego kamery ma istotny wpływ na wydajność, niezawodność oraz koszty całego rozwiązania. Dwa najczęściej stosowane standardy to USB (głównie USB 3.0/3.1) oraz GigE Vision wykorzystujący sieć Ethernet. Oba rozwiązania umożliwiają przesyłanie obrazów o wysokiej rozdzielczości do komputera przetwarzającego, jednak różnią się pod względem przepustowości, odległości transmisji, łatwości instalacji oraz odporności na warunki przemysłowe.

Zasilanie kamer GigE PoE

Jedną z zalet interfejsu GigE Vision jest możliwość przesyłania zasilania i danych jednym przewodem Ethernet na odległość znacznie większą niż możliwości USB. Dzięki technologii PoE (Power over Ethernet) instalacja jest uproszczona do jednego kabla, a montaż kamer w miejscach trudno dostępnych jest łatwiejszy.

Przepustowość GigE i USB

Szybkość kamer jest obecnie częściej ograniczona przez przepustowość interfejsu niż przez szybkość odczytu pikseli z sensora. W skrócie interfejs USB3.0 jest około 3x szybszy niż 1GigE, porównywalny z 2.5GigE, trochę wolniejszy od 5GigE.

GigE a N-BASE-T

Przez ponad dekadę standardowym interfejsem sieciowym stosowanym w kamerach przemysłowych był GigE Vision wykorzystujący transmisję 1 Gigabit Ethernet Wraz ze wzrostem rozdzielczości matryc CMOS oraz liczby klatek na sekundę przepustowość 1 Gb/s zaczęła stanowić ograniczenie dla wielu aplikacji. Odpowiedzią rynku było wprowadzenie standardów Ethernet o pośrednich prędkościach 2.5 Gb/s i 5 Gb/s, określanych zbiorczo jako NBASE-T. Dzięki nim możliwe stało się kilkukrotne zwiększenie przepustowości bez konieczności przechodzenia bezpośrednio na bardziej kosztowną infrastrukturę.

Technologie odbioru 1GigE

Interfejs 1GigE oferuje ograniczoną maksymalną przepustowość, a zastosowana technologia odbioru danych z kamery (driver producenta) dodatkowo wpływa na czas w jakim obraz stanie się dostępny do obróbki przez procesor.

Optyka

Jakość optyki - wykres MTF

Wartość parametru MTF systemu obrazowania jest prawdziwą miarą rozdzielczości (ostrości obrazu, widoczność szczegółów) jaką system może osiągnąć. Powszechna praktyka definiowania rozdzielczości jako liczby pikseli mówi tylko o etapie pikselizacji będącym częścią procesu akwizycji. W systemie, obraz jest najpierw rzutowany przez obiektyw, spikselizowany przez matryce kamery, podlega konwersji cyfrowej i na koniec poddany jest działaniu filtrów cyfrowych. W tym artykule skupimy się na MTF obiektywu, czyli OTF (Optical Transfer Function)

Edge AI Vision

Platformy Edge AI Vision

W zastosowaniach Edge AI komputer znajduje się bezpośrednio przy maszynie lub stanowisku produkcyjnym, dzięki czemu analiza obrazu może być wykonywana lokalnie – bez konieczności przesyłania dużych strumieni danych do serwera lub chmury. W zależności od modelu dostępne są rozwiązania wyposażone w akceleratory GPU/AI, umożliwiające wykorzystanie algorytmów deep learning do klasyfikacji, detekcji obiektów, kontroli jakości oraz automatycznej analizy obrazu. Interfejsy USB oraz GigE Vision są w pełni uniwersalne i działają z komputerami oraz SBC wyposażonymi w odpowiednie porty. Zapewniają standardową komunikację, enumerację urządzeń oraz zgodność sterowników. Nie można tego powiedzieć o interfejsach MIPI CSI-2, GMSL2 i FPD-Link III często uzywanych w aplikacjach Edge AI. Są to interfejsy niskopoziomowe, przeznaczone do przesyłania surowych danych z sensora obrazu i wymagają dedykowanych kontrolerów oraz konfiguracji.

Zaawansowane

Systemy wielokamerowe GigE i USB

Stosując kilka kamer rejestrujących scenę, powstaje możliwość utraty danych w wyniku konfliktu dostępu do interfejsu w momencie chwilowego przeciążenia, gdy po ekspozycji wszystkie jednocześnie próbują przesyłać obrazy.

Warstwa fizyczna NBASE-T

Porównanie mediów transmisyjnych i standardów od 1GigE do 100GigE na przykładzie rozwiązań Emergent Vision Technologies.

Autonegocjacja Prędkości w Interfejsach NBASE-T

Autonegocjacja, czyli automatyczna wymiana informacji między np. między kamerą a kartą sieciową, pozwala wybrać najwyższą, wspólnie obsługiwaną prędkość transmisji.

Pomiar GtoG Latency

Opóźnienie obrazu w systemach robotycznych i wizyjnych to całkowity czas, jaki upływa od fizycznego zdarzenia w świecie rzeczywistym do momentu podjęcia akcji zwrotnej. W układzie z człowiekiem jako operatorem ważne jest by opóźnienie dostarczenia obrazu było poniżej progu percepcji. Przyjmuje się, że wartość graniczna to około 150ms. W robotyce oprócz samego opóźnienia, które do pewnego stopnia można kompensować, ważna jest jego zmienność. Metoda pomiaru Glass-to-Glass (G2G) Latency z wykorzystaniem pulsującej diody LED i pary fotodiod to jedna z najbardziej niezawodnych i precyzyjnych metod laboratoryjnych.