Základní principy strojového vidění - 1 díl

Pro úspěšnou realizaci systému strojového vidění potřebujeme nejen kvalitní kamery a mocné programové vybavení, ale tím nejdůležitějším jsou zde znalosti a zkušenosti autora aplikace. Autor aplikace musí zvolit přiměřené technické prostředky a strukturu aplikačního programu.

Musíme zvolit správné technické řešení, jako je např.:

• počet a uspořádání kamer
• správný typ, rozlišení, kvalitu obrazu, dynamiku jasu, šum, barevnost a snímkovou frekvenci kamery
• typ, rozlišení, světelnost a ohniskovou vzdálenost objektivu
• způsob osvětlení, osvětlovací prvky a jejich řízení
• vybavení a potřebný výkon počítače
• využití GPU a potřebný výkon GPU

V oblasti programového vybavení musíme rozhodnout např. o:

• zpracování obrazu pomocí GPU nebo CPU
• kalibraci geometrie obrazového pole
• nastavení jasu, kontrastu, barevnosti
• redukci šumu, korekci ostrosti, filtraci obrazu
• zpracování obrazu, jako je např. prahování, detekce hran, morfologická filtrace atd.
• sekvenci vhodných kroků pro dosažení požadované funkčností
• ukládání obrazů a videosekvencí na disk a přenosu obrazů v počítačové síti

Všechna tato rozhodnutí mají zásadní vliv na přesnost a robustnost vyvíjené aplikace. Programátor musí dobře znát možnosti i omezení jednotlivých metod a algoritmů zpracování obrazů. Musí vědět, kde mají jednotlivé metody své limity, k čemu jsou vhodné a k čemu nikoliv. Proto budou v seriálu článků stručně shrnuty základní metody a postupy obvykle používané v systémech strojového vidění. Seriál si nemůže klást za cíl konzistentně a podrobně vysvětlit současný stav poznání v oblasti počítačového zpracování obrazů. Zájemci o podrobnější teoretické informace mají k dispozici mnoho literatury a mnoho dalších informací na internetu.

Při zpracování obrazů existuje mnoho algoritmů, které lze velmi výhodně provozovat paralelně a velmi znatelně tak zvýšit celkový výkon systému. Současné počítače, které kombinují vícejádrová CPU s mohutně paralelní architekturou GPU, umožňují využívat donedávna ještě prakticky nedostupnou kvalitu algoritmů strojového vidění.

Proto se budeme snažit omezovat matematickou formu popisu problematiky a budeme preferovat přístupnou formu vysvětlení i za cenu určité ztráty exaktnosti.

Digitální obrazy

Při zpracování obrazů prostřednictvím počítače pracujeme s digitálními obrazovými daty, která jsou uložena ve dvourozměrných maticích, tzv. obrazech nebo také snímcích. Prvky těchto matic jsou obrazové body, tzv. pixely (z anglického picture element). Souřadnice pixelů i jejich hodnoty jsou obvykle celými čísly.

Kvalita digitálního obrazu je definována svým plošným, jasovým (přesně řečeno radiometrickým, ale pro potřeby článku budeme používat obvyklý termín jas) a časovým rozlišením. Plošné rozlišení je dáno vzdáleností pixelů, roste tedy se zvětšováním počtu řádků a sloupců obrazové matice. Jasové rozlišení je dáno počtem kvantizačních úrovní jasu. U monochromatického obrazu je nulová hodnota jasu považována za černou a nejvyšší zobrazitelná hodnota jasu za bílou. Časové rozlišení je dáno časovými intervaly mezi jednotlivými snímky.

Obvykle pracujeme s monochromními nebo barevnými obrazy, kde jasy jednotlivých pixelů nebo intenzity barev jednotlivých pixelů jsou uloženy s přesností 8 bitů — tj. 256 možných úrovní. Jeden pixel monochromního obrazu tak zabere jeden byte. Součástí hodnoty pixelu barevného obrazu bývá kromě tří osmibitových barevných složek červeného, zeleného a modrého kanálu i tzv. alpha kanál, který definuje transparenci pixelu. Tato informace je důležitá pro případné slučování (míchání, blending) obrazů a navíc zarovnání dat na 4 byte je rovněž pro současné procesory výhodnější než granularita dat po 24 bitech.

Pro náročné aplikace bývají složky pixelů jako šestnáctibitová celá čísla nebo dokonce i jako dvaatřicetibitová čísla s plovoucí řádovou čárkou. Jeden pixel pak zabere 128 bitů. Nejčastěji jsou ale používány výše uvedené formáty s osmi bity na barevný kanál nebo na jas.

Nyní můžeme zavést pojem obrazové funkce definující hodnotu pixelu f( x, y ) dvou proměnných x a y, které určují pozici pixelu. Vzhledem k tomu, že naše funkce je definována diskrétními body (diskrétním definičním oborem i diskrétním oborem hodnot), je tedy v celém svém definičním oboru integrovatelná a existuje k ní přímá i inverzní Fourierova transformace.

Poznámka:
Digitální kamery poskytující více než osmibitovou dynamiku obrazu jsou celkem vzácné. Obvykle i několik nejnižších bitů osmibitových kamer bývá postiženo šumem a ztrátovou kompresí dat. Člověk již obraz s cca padesáti úrovněmi jasu vnímá jako vynikající. To odpovídá rozlišení asi šesti bitů na pixel.

Reprezentace obrazu a analýza obrazových dat

Při tvorbě aplikací strojového vidění se musíme vydat daleko za hranice zpracování obrazu v relacích teorie signálů, kdy se pracuje s obrazem jako s funkcí dvou proměnných, tj. pozice pixelu ve dvourozměrném souřadném systému. Strojové vidění souvisí spíše s oborem umělé inteligence, kdy se pomocí programového vybavení snažíme napodobit některé lidské schopnosti vnímání a analýzy obrazu. Velkými překážkami jsou nám při tom velké objemy dat, jejich neurčitost a značná komplikovanost a malá robustnost používaných algoritmů.

Podstatnými příčinami většiny obtíží strojovém vidění, tj. při snaze "pozorumět" informacím skrytým v obrazových datech prostřednictvím algoritmů realizovaných počítači, jsou např.:

• Ztráta informace při perspektivní projekci třírozměrné scény do dvourozměrného obrazu. Tato transformace je jednocestná a z dvourozměrného obrazu již nelze nazpět rekonstruovat tvary třírozměrných předmětů ve scéně.
• Také vztah mezi tvarem třírozměrných předmětů ve scéně a jasem obrazových bodů v jejich dvourozměrné projekci je velmi složitý a nejednoznačný. Modely pracující s osvětlovacími rovnicemi BRDF (Bidirectional Reflectance Distribution Functions) jsou jen přibližnou aproximací reality.
• Reálný obraz z kamer je vždy více či méně zatížen chybami danými šumem, elektrickým rušením, interpolací barev, linearitou a saturací, vadami optiky a kompresními artefakty.
• Obrazy obsahují velké množství dat, většina algoritmů musí pracovat jen s malou částí z celkových obrazových dat, což snižuje kvalitu "porozumění" obrazu.

Úlohy strojového vidění lze přibližně rozdělit do sekvence čtyř funkčních bloků:

• Předzpracování veškerých obrazových dat pomocí filtrací (tj. transformací obrazové funkce).
• Nalezení segmentů obrazu s charakteristickými příznaky hledaných objektů, např. hrany, barvy atd.
• Nalezení objektů.
• Nalezení relací mezi objekty.

Ne každá aplikace musí obsahovat kroky všech těchto funkčních bloků. Autor aplikace strojového vidění ale musí celé této problematice alespoň zevrubně rozumět. Musí vždy při úpravách obrazu vědět co dělá a čeho chce každým zařazeným krokem dosáhnout.

Literatura: Programový systém strojového vidění v prostředí Control Web, Moravské přístroje a.s., www.mii.cz

Zájímáte se o kamery pro systémy strojového vidění, pokračujte do přehledu produktů na trhu:
Machine Vision – kamery pro strojové vidění