Slide 1

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 2

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 3

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 4

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 5

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 6

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 7

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 8

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 9

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 10

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 11

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 12

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 13

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 14

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 15

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 16

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 17

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 18

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 19

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 20

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 21

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 22

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 23

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 24

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 25

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 26

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 27

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 28

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 29

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 30

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 31

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 32

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 33

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 34

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 35

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 36

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 37

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 38

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!


Slide 39

Компютърно зрение
Въведение
Физични основи
Апаратна структура
Информационна структура

гл.ас. д-р Милена Лазарова, кат.КС, ФКСУ, ТУ-София

Зрение


Зрението е едно от човешките сетива,
което способства получаването на
информация за заобикалящия ни свят



Компютърното зрение има за цел да
наподоби функциите на човешкото
зрение чрез електронно възприемане и
разбиране на изображения

Дефиниции на КЗ






Определяне на характеристики и свойства на тримерния свят от
едно или повече цифрови изображения [Trucco and Verri]
Определяне на полезни решения за реални физически обекти и
сцени на базата на изображения [Stockman and Shapiro]
Конструиране на ясни и значими описания на физически обекти
[Ballard and Brown]
Извличане на описания за света от изображения или
последователности от изображения [Forsyth and Ponce]
Възприемане на визуална информация с помощта на видео
сензор; построяване на описание на сцената по нейното
изображение; представяне на описанията в паметта на
компютъра и тяхната интерпретация с цел разпознаване на
обектите на основата на критерии, получени в резултат на
обучение; изграждане на модел за околната среда [Гочев]

Връзка на КЗ с ...


Обработка на изображения





Разпознаване на образи





изучаване на особеностите на оператори и алгоритми, с
които се получават изображения от други изображения
КЗ използва методи и алгоритми за обработка на
изображения на ниското ниво на обработка
класифициране, разпознаване и интерпретиране на
образи в изображения
КЗ използва методи и алгоритми за разпознаване на
образи на ниското ниво на обработка

Машинно зрение


индустриални приложения на КЗ, при които се решават
задачи за контрол и наблюдение при наличие на силни
ограничения

КЗ и КГ


Компютърна графика




създаване на правдоподобни изображения при
зададени модели, условия, параметри и др.

Компютърно зрение


от зададено изображение, съдържащо шумове и
дефекти да се оценят физични характеристики
за структурата на обектите и съдържанието на
изображението

КЗ и зрение при човека







Зрението при човека носи около 70% от данните, постъпващи в
централната нервна система
Честотата на подаване на данни е около 1011 bits/second
Човешката зрителна система се е усъвършенствала в резултат
на еволюция за период от около 4.109 години
Резултатът е изключително ефективна система, съставена от
билиони нервни клетки (около 1013 неврона) с изключително
голям брой на взаимните връзки (около 1014)
Не съществува компютърна система, която да имитира
устройството и функционирането на зрението при човека




“Тhe simplest description of the human brain may be the human brain
itself“ (John von Neumann )

КЗ използва инженерни (прагматични) принципи и не се опитва
напълно да наподоби биологичните системи

Feature

Machine Vision

Human Vision

Spectral range

Gamma rays to microwaves (10-11 - 10-1 m)

Visible light (4.10-7 - 7.10-7m)

Spatial Resolution

4.106 pixels (area scan, growing rapidly),
8192 (line-scan)

Effective approximately
4000x4000 pixels

Sensor size

Small (approx. 5x5 x15 mm3)

Very large

Quantitative

Yes. Capable of precise measurement of size, area

No

Ability to cope with unseen events

Poor

Good

Performance on repetitive tasks

Good

Poor, due to fatigue and boredom

Intelligence

Low

High

Light level variability

Fixed, closely controlled

Highly variable

Light level (min)

Equivalent to cloudy moonless night

Quarter-moon light
(greater if dark-adaptation is extended)

Consistency

Good

Poor

Capital cost

Moderate

Low

Running cost

Low

High

Inspection cost, per unit

Low

High

Able to cope with multiple views in
space and/or time

Versatile

Limited

Able to work in toxic, biohazard
areas

Yes

Not easily

Non-standard scanning methods

Line scan, circular scan, random scan, spiral-scan,
radial scan

Not possible

Image storage

Good

Poor without photography or digital storage

Приложението на КЗ







роботика (автономна навигация)
индустриален контрол (контрол на
качеството)
системи за сигурност (контрол на достъпа,
системи за наблюдение)
картография (автоматизирано съставяне на
географски карти от самолетни и сателитни
изображения)
медицина (анализ на медицински
изображения)

Feature

Machine Vision

Computer Vision

Motivation

Practical

Academic

Theoretical

Unlikely.
(Practical issues are likely to dominate)

Yes. Many academic papers contain a lot of
"deep" mathematics

Cost

Critical

Likely to be of secondary importance

Dedicated electronic hardware

Possibly needed to achieve high speed processing

No (by definition)

Use non-algorithmic solutions

Yes

There is a strong emphasis on proven
algorithmic methods

Data source

Human artefact, such as a piece of metal, plastic, glass, wood, etc.

Computer file

Models human vision

Most unlikely

Very likely

Most important criteria

(a) Easy to use (b) Cost-effective
(c) Consistent & reliable (d) Fast

Performance judged in a specific way (e.g.
accuracy of measurement, probability of
recognising critical features)

Multi-disciplinary

Yes

No

Criterion for good solution

Satisfactory performance

Optimal performance

Nature of subject

Systems Engineering (pragmatic)

Mathematics / Computer Science

Human interaction

(a) For interactive prototyping system: experienced vision engineer
(b) For target system in factory: low skill level during set-up.
Autonomous in inspection mode.

Often relies on user having specialist skills
(e.g. medicine, satellite imagery,
forensic science, etc.)

Operator skill level required

(a) For interactive prototyping system: medium / high
(b) For target system in factory: must be able to cope with low skill
level

May rely on user having specialist skills (e.g.
medical)

Output data

Simple signal, to control external equipment (e.g. simple accept/reject
device, or multi-axis robot)

Complex signal, for human being

Prime factor determining
processing speed

(a) For interactive prototyping system: human interaction
(b) For target system in factory: speed of production

Human interaction. Speed is often of
secondary importance

Физични основи на КЗ


Светлина (Light)





форма на енергия
източник – атом, движещ се със
скоростта на светлината
скорост на разпространение на
светлината: 300 000 000 m/sec (във
вакуум)


лъч светлина, излъчен от Слънцето,
достига Земята след 8 минути

Физични основи на КЗ


Електромагнитна енергия



electromagnetic energy, electromagnetic radiation
енергия, движеща се през пространство или материя като
вълна



Електромагнитната енергия обхваща видими, радио,
инфрачервени, гама лъчи,



Електромагнитната енергия се движи със скоростта на
светлината






скорост на светлината във вакуум: 3x10x8 m/s
скорост на светлината във вода: 2.25x10x8 m/s
скорост на светлината в диамант: 1.24x10x8 m/s

Честотата е свойство на вълната описващо колко цикъла
има вълната в единица време

Физични основи на КЗ

Електромагнитен спектър

Атмосферни прозорци

Цветови пространства


основни компоненти на пространството


цветове:




цветове:




циан-магента-жълт (CMY)

параметри:




червен-зелен-син (RGB)

оттенък-наситеност-интензитет (HSI)

параметри:


оттенък-наситеност-стойност (HSV)

Hue

Saturation

ISO-8859
FORID:10
partner-pu

Value

Апаратна структура на СКЗ


Една или няколко цифрови или аналогови камери
(черно-бели или цветни) в подходящи сензори за
получаване на изображения



Входно-изходни устройства и комуникационен канал
за предаване на регистрираните данни



Софтуерна система за осъществяване на
необходимата обработка на данните

Видове сензори


Пасивни сензори




използват съществуващ източник на ЕМ
енергия, най-често слънцето

Активни сензори


генерират ЕМ, която използват за да
наблюдават отдалечен обект или явление

Видикон



използва фото чувствителен полупроводников слой
стойността на всеки пиксел се формира от
съпротивление и кондензатор


стойността на съпротивлението и големината на заряда на
кондензатора зависят от интензитета на светлина за
конкретния пиксел





с увеличаване на интензитета на осветеност стойността на
съпротивлението намалява, а заряда на кондензатора расте

зарядите за всеки пиксел се снемат с електронен лъч
изходният резултат е аналогов видеосигнал

Видикон

CCD цифрови камери



използват CCD матрица от фото чувствителни елементи
CCD – Charged-Coupled Device – кондензаторна двойка

CMOS цифрови камери



използват CMOS матрица от фото чувствителни елементи
CMOS - Complimentary Metal Oxide Semiconductor – три или
повече транзистора

Feature

CCD

CMOS

Signal out of pixel

Electron packet

Voltage

Signal out of chip

Voltage (analog)

Bits (digital)

Signal out of camera

Bits (digital)

Bits (digital)

Fill factor

High

Moderate

Amplifier mismatch

N/A

Moderate

System Noise

Low

Moderate

System Complexity

High

Low

Sensor Complexity

Low

High

Camera components

Sensor + multiple support chips +
lens

Sensor + lens possible, but additional support chips
common

Relative R&D cost

Lower

Higher

Relative system cost

Depends on Application

Depends on Application

Performance

CCD

CMOS

Responsivity

Moderate

Slightly better

Dynamic Range

High

Moderate

Uniformity

High

Low to Moderate

Uniform Shuttering

Fast, common

Poor

Speed

Moderate to High

Higher

Windowing

Limited

Extensive

Antiblooming

High to none

High

Biasing and Clocking

Multiple, higher voltage

Single, low-voltage

Мултиспектрални сензори

Мултиспектрални сензори

Информационна структура
на СКЗ


Организацията и структурата на СКЗ силно зависи
от приложението й






някои системи са ориентирани към решаване на
конкретен проблем за измерване или детектиране
други формират подсистема от система, която освен това
съдържа модули за контрол на механични устройства,
планиране, интерфейс човек-машина и т.н.

Специфичната имплементация на СКЗ зависи и
предвидената функционалност



предварително специфицирана
с възможност за обучение и модифициране по време на
работа

Информационна структура
на СКЗ


Независимо от предназначението обработката в
СКЗ може условно да се раздели на две нива


Ниско ниво







представяне на изображението
филтрация на изображението
отделяне на ръбове, граници и признаци
сегментация

Високо ниво





построяване на описание на сцената
синтактична и семантична интерпретация
разпознаване
построяване на модел за околната среда

Построяване на модел за
околната среда
Интерпретация, разпознаване
Високо ниво

Управление
База данни
База знания

Построяване на описания

Построяване на модел за
околната среда

Отделяне на признаци,
сегментация
b(x, y)
Ниско ниво

Отделяне на ръбове и граници
g(x, y)

Цифрово представяне,
филтрация

f1(x, y)
Изображение на околната среда

Система за
визуализация

Ниско ниво (ниво данни)





Не се използват никакви или се използват много малко знания за
съдържанието на изображението
Входните изображения са представени като числови масиви
Прилагат се контекстно независими оператори
Извличат се примитиви, характеристики и полезна информация за
обектите в изображението


откриване на локалните прекъсвания




определяне на хомогенни области






маркиранe на някои пиксели от изображението като дъги (edge pixels)
пиксели, принадлежащи на хомогенни региони (region pixels)

Примитивите за изображението не използват и не изискват
знания от по-високо ниво за изображението или за обектите,
съдържащи се в него
Ефективността на методите за обработка имат решаващо
значение и влияние върху работата на следващото ниво

Високо ниво (ниво знания)








Прилагат се методи и алгоритми от областта изкуствен интелект,
базирани на знания
Знания за конкретната решавана задача и ограничения,
поставени от разглежданата предметна област, се използват
активно
Използваните знания се отнасят до модели на характеристиките,
модели на обектите, взаимна връзка между обектите
Интерпретацията на примитивите, определени на предното ниво,
може да се базира на ограничена база данни, съдържаща
компоненти и модели, присъщи на решаваната задача
Операциите на високото ниво обезпечават смисловата
интерпретация


описание на сцената, разпознаване на обектите и др.

Етапи на работа в СКЗ


Формиране на изображение


създават се едно или няколко изображения с помощта на
различни сензори








камери, “range” сензори, томографски устройства, радарни и
ултразвукови камери и др.

в зависимост от използваните сензори изображението
съдържа 2D данни, 3D данни или представлява
последователност от изображения
стойностите на пикселите обикновено съответстват на
интензитет на осветеност в един или повече спектрални
канала (полутонови или цветни изображения)
изображенията могат да съдържат данни за физични
параметри


дълбочина, поглъщане или отразяване на звукови или
електромагнитни вълни

Етапи на работа в СКЗ


Предварителна обработка


данните се обработват за осигуряване на определени
условия, изисквани от използваните на следващите етапи
методи





re-sampling за формиране на коректна координатна система
редуциране на шумове за да се избегне фалшива
информация, дължаща се на използваните сензори
промяна на контраст за подпомагане на извличането на
полезна информация
промяна на мащаба за подпомагане на работата на
следващите етапи

Етапи на работа в СКЗ


Извличане на характеристики


от изображението се извличат характеристики с различна
степен на сложност






линии, контури, ръбове
локализиране на съществени точки – ъгли, петна, характерни
точки за обектите
характеристики, описващи текстура, форма, движение

Сегментация


определя се кои точки или региони са съществени за
следващите анализи



селектиране на специфично множество характерни точки
формиране на един или няколко региона съдържащи
специфичен обект

Етапи на работа в СКЗ


Високо ниво на обработка


входната информация е малко множество данни





множество характерни точки
регион, съдържащ специфичен обект

обработката изисква






верифициране на съответствието на данните с моделноориентирани или приложно зависими предположения
на базата на приложно ориентирани параметри (като форма и
разположение на обекта) се отговаря на конкретни въпроси за
обектите
класифициране на детектираните обекти в различни категории
определяне на взаимното разположение на обектите

Благодаря за вниманието!