Základní principy strojového vidění – 2. díl

Digitální obraz a jeho pořízení

Už první CCD čipy nabízely vysokou citlivost na světlo, ale trpěly malou obrazovou plochou, vysokým šumem, vysokou cenou a malým rozlišením. Dnes jsou všechny tyto nevýhody eliminovány — CCD nabízí lepší rozlišení, nízký šum a jejich cena se stále snižuje. Zůstávají jen významné výhody:

• CCD jsou podstatně citlivější než film. Kvantová účinnost (quantum efficiency — QE) CCD čipů v digitálních fotoaparátech se pohybuje kolem 20 až 30 %, u CCD čipů používaných v kvalitních vědeckých kamerách může být 60 nebo i 80 % a tenčené, zezadu osvětlované čipy mohou dosáhnout QE přes 90 %.
• CCD čip dokáže světlo akumulovat. Pokud je úroveň osvětlení velmi malá, lze prodloužit expozici a počkat, až se v jednotlivých pixelech nashromáždí dostatek náboje pro dosažení potřebného poměru signál/šum. Pokud je úroveň osvětlení extrémně malá a expoziční doba dosahuje sekund či minut, zpravidla bývá nezbytné chladit CCD detektor, aby jeho temný proud nepřehlušil užitečný signál.
• CCD mají lineární odezvu na světlo. CCD čipy bez tzv. „anti-blooming“ (ABG) elektrod jsou lineární prakticky v celém dynamickém rozsahu, CCD detektory s ABG zachovávají linearitu pouze než se signál přiblíží k saturační hranici. Odezva fotografické emulze je velice nelineární. Proč je to důležité? Lineární odezva je klíčová pro fotometrická měření. Pokud srovnáváme signál (hodnotu pixelů) na CCD snímku, můžeme se spolehnout, že zachycené množství světla (tedy jas sledovaného předmětu) je ve stejném poměru jako jsou hodnoty pixelů. Tento poměr nebude stejný, pokud by detektor převádějící světelný tok na signál nebyl lineární a měření jasnosti by bylo postiženo značnou chybou.
• Křemíkový čip, na němž je CCD vyroben, má velice stálé mechanické rozměry. Precizně definované a stálé rozměry dovolují provádět precizní měření rozměrů — přepočet velikosti obrazu na skutečnou délku.
• Obrazy pořízené CCD kamerou jsou bezprostředně zpracovatelné pomocí počítačů. To je skutečně nedocenitelná výhoda. Bez této vlastnosti by aplikace strojového vidění byly prakticky nerealizovatelné.

Samozřejmě záleží na elektronice, která CCD čip ovládá. Ačkoliv CCD čip snímá obraz maticí jednotlivých bodů (obrazový bod bývá označován jako pixel, z anglického „picture element“), hodnota každého pixelu je z CCD čipu čtena jako analogové napětí. Toto napětí může být použito ke generování analogového video signálu, odpovídajícímu televiznímu standardu. Pak je nutné signál digitalizovat až v počítači. Digitalizovaný televizní signál zpravidla nemá vysokou dynamiku, nízký odstup signál/šum a jeho rozlišení je pochopitelně omezeno, neboť je pevně dáno danou televizní normou. Stejně tak je snímkovou frekvencí televizní normy dána maximální expoziční doba a tedy citlivost kamery.

Výrazně lepších výsledků lze dosáhnout bezprostřední digitalizací signálu na výstupu CCD čipu. Tento typ kamer bývá označován jako „digitální“. Záleží pak na kvalitě návrhu elektroniky, jak vysokou dynamiku bude obraz mít, jak veliký bude odstup signálu od šumu a také jaké bude rozlišení a jak dlouho bude každá expozice trvat.

Obrazové snímače vyrobené technologií CMOS mají obdobné vlastnosti. Ovšem v porovnání s CCD snímači mají vždy nižší citlivost (kvantovou účinnost) a vyšší šum, což vede na horší poměr signál/šum v celém obraze. Výrobní proces CMOS ale umožňuje integrovat na čip další pomocné obvody, např. A/D převodníky. CMOS snímače jsou tak mnohem méně náročné na okolní elektroniku a kamery s těmito detektory jsou levnější a mohou dosáhnout vyšších snímkových frekvencí. Pokud má být ale dosažena nejlepší možná obrazová kvalita, CCD snímače jsou vhodnější i za cenu náročnějších podpůrných obvodů.

Nábojově vázané prvky (Charge Coupled Devices — CCDs)

Nábojově vázané prvky sice vznikly jako experimentální počítačové paměti, ale jejich schopnost převádět světlo na elektrický signál z nich udělala nejlepší známé detektory světla. Základní princip práce CCD je poměrně jednoduchý — přicházející světlo vytváří v polovodiči elektrický náboj (elektrony). Elektrony se nemohou volně pohybovat, neboť na čipu jsou vytvořeny svislé negativní potenciálové valy (odpuzující elektrony). Systém vodorovných elektrod, rovněž s negativním nábojem, vytváří na čipu mřížku tzv. „potenciálových studní“, z nich elektrony nemohou uniknout. Každá potenciálová studna reprezentuje jeden obrazový bod (tzv. „pixel“ z anglického picture element), tedy nejmenší čtvereček obrazu. Počet pixelů v horizontálním a vertikálním směru stejně jako velikost pixelu tvoří jedny z nejzákladnějších charakteristik CCD čipu. Pixely vystavené většímu množství světla naakumulují více elektronů a naopak. Jedna ze základních výhod CCD čipů ve srovnání s lidským okem tedy je schopnost akumulace náboje po dlouhou dobu. CCD tak mohou postupně nashromáždit dostatek světla i z velmi slabých světelných zdrojů.

Jak již bylo řečeno, CCD čip je pokryt sítí elektrod, která udržuje světlem uvolněné elektrony v pixelech. Ale struktura elektrod je poněkud komplikovanější. Pokud se na elektrody přivede různé napětí, elektrony mohou být „přelévány“ z jedné nábojové studny do sousední. Tak je možné náboj posouvat po ploše čipu. Tento proces je používán když je potřeba informaci z CCD čipu vyčíst. Balíky elektronů, reprezentující jednotlivé pixely, jsou posouvány do výstupního zesilovače, kde je elektrický náboj převeden na napětí. Toto napětí se objeví na výstupním pinu CCD čipu. Elektronika kamery pak musí toto napětí změřit (převést na číslo pomocí analogově/digitálního převodníku, anglicky Analog/Digital Converter — ADC) pro každý pixel. Informace o náboji akumulovaném v každém pixelu (a tedy o množství světla, která do každého pixelu dopadlo) tvoří datový soubor reprezentující obrázek.

Pixely mohou být v CCD čipu organizovány několika způsoby:

• Jediná řada pixelů tvoří lineární CCD. Lineární CCD bývají používány když je zapotřebí snímat pouze jednorozměrný obraz (např. při detekci spektra). I dvourozměrný obraz ale může být vytvořen s pomocí lineárního snímače — stačí aby se detektor nebo cílový objekt pohyboval a obraz je vytvořen postupným snímáním řádek po řádku. Tento princip je použit např. u skeneru dokumentů — detektor spolu s optikou se posouvá vzhledem ke snímanému dokumentu a obraz se vytváří řádek po řádku. Také kamery v družicích a sondách obíhajících kolem zkoumaných planet často používají tento princip — orbitální pohyb družice je použit k vytváření obrazu povrchu řádek po řádku.
• Pixely vytvořené v matici na křemíkovém čipu vytvářejí maticový CCD. Maticový CCD detektor snímá obrázek najednou. Používají se v digitálních fotoaparátech, kamerách a také v astronomických CCD kamerách.

Pixely akumulující světlo jsou v maticových CCD organizovány do sloupců. Změnami napětí na vertikálních elektrodách je možné celý obraz posunout podél obrazových sloupců o jeden řádek dolů. To znamená, že každý řádek se posune o jeden řádek dolů, pouze nejnižší řádek se přesune to tzv. horizontálního registru. Horizontální registr může být posouván pomocí horizontálních elektrod do výstupního zesilovače. Čtení maticového CCD tedy představuje svislý posun obrazu do horizontálního registru prokládaný vodorovným posunem pixelů horizontálního registru do výstupního zesilovače a digitalizací jeho hodnoty.

Kvantová účinnost CCD čipů je ovlivňována řadou výrobních technologií:

• Efekt zastínění čipu elektrodami na povrchu lze zmírnit použitím transparentního materiálu k výrobě elektrod.
• Výrobci mohou vytvořit malé cylindrické čočky nad každým obrazovým sloupcem. Tyto čočky soustředí světlo z oblastí na světlo necitlivých (např. skladové sloupce IT čipů) do oblastí citlivých. Zvláště IT čipy mají z použití mikročoček největší prospěch, ale mikročočky mohou významně zvýšit QE i u FF čipů.
  
  
  
  
• Nejvyšší možné QE lze dosáhnout použitím tenčených čipů osvětlovaných zezadu (anglicky back-illuminated CCD). Tyto čipy jsou zapouzdřeny „vzhůru nohama“, takže elektrody jsou na spodní straně čipu a neblokují přicházející světlo. Čip je velmi ztenčen. Prakticky celá zadní strana čipu je tedy vystavena světlu. Výroba tenčených čipů je ale velmi náročná a čipy jsem relativně drahé. Osvětlení zezadu také může způsobovat některé negativní efekty, jako jsou např. interferenční obrazce způsobené infračerveným zářením atmosféry apod.¨

Výsledná obrazová kvalita ale není určena pouze úrovní zachyceného signálu, ale poměrem signál/šum. Např. čip s dvojnásobnou QE při čtyřnásobném šumu poskytne obraz s polovičním poměrem signál/šum. To znamená, že i poněkud méně citlivý čip s velmi nízkým tepelným šumem může ve výsledku poskytnout lepší výsledky než srovnatelně chlazený vysoce citlivý čip s velkým tepelným šumem.

Několik slov o barvách

Lidé jsou zvyklí vídat jen barevné obrazy. Černobílé fotografie zmizely spolu s černobílými časopisy a televizory (samozřejmě s výjimkou fotografií, u nichž je omezená barevnost součástí výtvarného záměru). V případě digitálních fotoaparátů dokonce ani žádné černobílé neexistovaly — už první 1 MPx modely snímaly barevně.

V aplikacích strojového vidění ale není požadavek na snímání barevného obrazu tak jednoznačný. Řada aplikací pracuje lépe s černobílým obrazem, např. pokud měříme rozměry výrobků snímaných jako siluety na prosvětlovací podložce apod. Z důvodů objasněných později v této kapitole dovoluje černobílý obraz dosáhnout vyšší přesnosti měření. Některé aplikace jsou ale přímo založeny na schopnosti rozlišovat jednotlivé barvy a barevný obraz je tedy podmínkou.

Abychom vytvořili barevný obraz, potřebujeme snímat zvlášť ve třech barvách — v červené, zelené a modré. CCD snímač je ale citlivý na všechny barvy a dokonce zasahuje i mimo viditelné spektrum do blízké infra-červené oblasti. K detekci pouze požadované barvy je tedy zapotřebí světlo filtrovat.

V principu lze filtry k vytvoření barevného obrazu použít několika způsoby:

• Je možné exponovat samostatné snímky s monochromním čipem přes červený, zelený a modrý filtr. Expozice barevného obrazu tímto způsobem chvíli trvá (je nezbytné měnit mezi expozicemi filtry), takže tento princip nelze použít u rychle se pohybujících objektů.
• Lze také světlo pomocí hranolů či polopropustných zrcadel rozdělit podle barev na na tři samostatné snímací čipy. Barevný obraz je možno získat jedinou expozicí, ale nevýhodou je nižši citlivost a trojnásobná složitost snímací elektroniky.
• Dále je možné aplikovat filtry přímo na CCD pixely. Barevný obraz je pak možné získat jedinou expozicí. Nevýhodou je, že rozlišení a citlivost takového CCD čipu ve srovnání s monochromním je nižší.

Obě řešení mají své výhody a nevýhody a oba způsoby jsou používány v různých situacích. Veškeré video kamery, digitální fotoaparáty, webové kamery apod. používají detektory s barevnou maskou. První barevné CCD snímače pracovaly s celým sloupcem pixelů zakrytým jednou barevnou maskou — první sloupec byl červený, druhý zelený, třetí modrý, čtvrtý opět červený atd. Obrazový bod s úplnou barevnou informací byl vytvořen ze tří sousedních pixelů. Ačkoliv pixely u takových čipů byly protáhlé do výšky, přeci jen bylo vodorovné rozlišení takového čipu omezeno.

Dnešní barevné CCD čipy používají tzv. Bayerovy masky. Tato maska kryje jednotlivé pixely různými filtry ve vzoru šachovnice:

Zpracování obrazů z barevného čipu spoléhá na skutečnost, že lidské oko je mnohem citlivější na změnu jasu než na změnu barvy (stejně jako běžný televizní signál, který přenáší barevnou informaci s pouhou 1/4 šířky pásma ve srovnání s jasovou informací). Bayerova maska téměř zachová rozlišení čipu v jasové složce — je ji možné dopočítat pro každý pixel z barevné informace okolních pixelů jen s malou chybou. Barevná informace je pro každý pixel dopočítána rovněž z okolních pixelů s již znatelně větší chybou, to ale lidskému oku nevadí.

Každý pixel tedy registruje světlo pouze určité barvy (červené, zelené nebo modré), barevný snímek ale obsahuje informaci o všech barvách v každém pixelu. Je tedy nezbytné dopočítat ostatní barvy z hodnot okolních pixelů.

Literatura: Programový systém strojového vidění v prostředí Control Web, Moravské přístroje a.s., www.mii.cz