Slide 1

Технологии обработки информации.
Лекция 2. Оцифровка данных
Антон Викторович Кудинов,
доцент кафедры ВТ


Slide 2

Содержание
Общие понятия. Виды сигналов
Дискретизация
Квантование
Теорема Котельникова
Оцифровка звука
Оцифровка изображений
Оцифровка видео
Оцифровка текстовой информации.
Кодирование текста













2


Slide 3

Оцифровка сигналов
Сигнал – скалярная функция от одного или нескольких
аргументов



Примеры сигналов

s(t) – звук
3

f(x,y) – изображение


Slide 4

Виды сигналов
Аналоговые (непрерывные)







звук в воздухе или в проводе, идущем от микрофона
изображение (до ввода в компьютер)
запись показаний датчика

Цифровые (дискретные)







4

звук в компьютере (одномерный массив чисел)
изображение в компьютере (двумерный массив чисел)
запись показаний датчика в компьютере (одномерный
массив)


Slide 5

Оцифровка
Цифровой сигнал — сигнал данных, у которого каждый из
представляющих параметров описывается функцией
дискретного времени и конечным множеством возможных
значений
Оцифро́ вка (англ. digitization) — описание объекта,
изображения или аудио- видеосигнала (в аналоговом
виде) в виде набора дискретных цифровых замеров
(выборок) этого сигнала/объекта, при помощи той или
иной аппаратуры, т. е. перевод его в цифровой вид,
пригодный для записи на электронные носители
Кодирование информации — процесс преобразования
сигнала из формы, удобной для непосредственного
использования информации, в форму, удобную для
передачи, хранения или автоматической переработки







5


Slide 6

Оцифровка сигналов (1)


1. Преобразование в электрический сигнал



2. Аналогово-цифровое преобразование:




6

квантование
дискретизация


Slide 7

Оцифровка сигналов (2)
Введем понятие спектра аналогового сигнала



разложение на синусоиды с различными частотами

x(t) – исходный сигнал
X(ν) – спектр, т.е. коэффициенты при гармониках с частотой ν

7


Slide 8

Теорема Котельникова
Пусть







спектр сигнала x(t) не содержит частот выше F, т.е. X(ν)=0 за
пределами отрезка [- F, F]
дискретизация сигнала x(t) производится с частотой F Fs , ,
т.е. в моменты времени nT, здесь T= 1/ Fs
Fs > 2F „„

Тогда исходный аналоговый сигнал x(t) можно точно
восстановить из его цифровых отсчетов x(nT),
пользуясь интерполяционной формулой



8


Slide 9

Оцифровка звуковых сигналов

9


Slide 10

Природа звука





Отличается от всех цифровых средств информации
(визуальных)
Комбинация физических и психологических факторов
Сложно смоделировать
Не всегда нужен: легко раздражает

10


Slide 11

Два специальных типа звука





Музыка (имеет культурный статус)
Речь (имеет лингвистическое содержание)

Разработаны специальные представления речи
(особые алгоритмы сжатия) и музыки (команды)

11


Slide 12

Природа звука






Преобразование энергии в колебания воздуха или
другой упругой среды
Камертон – одна частота
Большинство звуков – сложной природы, можно
разложить на набор частотных компонентов
Частотный спектр - способ описания звука через
относительные амплитуды его частотных компонентов

12


Slide 13

Оцифровка звука


1. Преобразование звука в электрический сигнал



2. Аналогово-цифровое преобразование:




13

квантование
дискретизация


Slide 14

Дискретизация


Частота Найквиста для оцифровки звука:




Для разный целей:








f = 2 fmax = 2 * 20 кГц = 40 кГц
AudioCD – 44,1 кГц
передача через Internet – 22,05 кГц
запись речи – 11, 025 кГц
цифровые аудиоленты – 48 кГц

Используется частотный фильтр, удаляющий частоты
больше половины частоты дискретизации

14


Slide 15

Квантование






Количество уровней выбирается исходя из удобного
количества бит
Обычно – 16 бит, 65 536 уровней
Шум квантования
Минимальный уровень – 8 бит
Высококачественный звук – 24 бит (сложная схема
АЦП)

15


Slide 16

Шум квантования

16


Slide 17

Оцифровка изображений

17


Slide 18

Способы представления изображений в
памяти ЭВМ
•

•

растровый
векторный

18


Slide 19

Растровая графика

19


Slide 20

Пиксель –
мельчайший элемент растрового
изображения.
P i x e l - picture element «элемент изображения»

20


Slide 21

Растровая графика

1,2,8,3,128,255,255,16,16 ………...
способ представления изображений в виде совокупности
отдельных точек (пикселей) различных цветов и оттенков
21


Slide 22

10 х 15 см

300 dpi
3,9 x 5,9 дюйма
1170 х 1770 точек
= 2 000 000 точек
24 бит = 3 байт

2 000 000 х 3 = 6 Мб
22


Slide 23

Векторная графика

способ представления изображений в виде совокупности
отдельных объектов (графических примитивов). Каждый
примитив описывается математически относительно его узлов.
23


Slide 24

Способы оцифровки изображений




сканирование
векторизация
цифровая фотография

24


Slide 25

Цветовой (тоновый) диапазон –
это максимальное число цветов (N)
используемых при создании
изображения
n = log2(N)
Глубина цвета –
это число бит (n), используемых для
представления цвета каждого
отдельного пикселя изображения,
определяемое цветовым или
тоновым диапазоном
25


Slide 26

Кривые реакции глаза

26


Slide 27

Характеристики цвета (2)





Светлота – это различимость участков, сильнее или
слабее отражающих свет
Насыщенность цвета показывает, насколько данный
цвет отличается от монохроматического («чистого»)
излучения того же светового тона
Цветовой тон позволяет различать основные цвета,
такие, как красный, зеленый, синий

27


Slide 28

Цветовая модель–
способ цифрового кодирования
цветов

28


Slide 29

Различают



полноцветные модели
модели в индексированных цветах (палитра)

• аппаратно-зависимые цветовые
пространства (RGB, CMYK)
• аппаратно-независимые цветовые
пространства (CIE XYZ, sRGB)
29


Slide 30

красный
зеленый
синий

Red
Green
Blue

RGB
0..255

( 0, 0, 0)

24 бит
16,7 млн.

( 255, 255, 255)
( 100, 0, 100)

30


Slide 31

Цветовое пространство модели
RGB

Синий (0, 0, 1)
Малиновый
(1, 0, 1)

Голубой (0, 1, 1)
Белый (1, 1, 1)

Черный (0, 0, 0)
Зеленый (0, 1, 0)
Красный
(1, 0, 0)

31

Желтый
(1, 1, 0)


Slide 32

голубой
розовый
желтый

Cyan
Magenta
Yellow

CMY K
0..255

( 0, 0, 0)

24 бит

( 255, 255, 255)

16,7 млн.

( 100, 0, 100)

32


Slide 33

Модели HSV, HSB и HLS
HLS (Hue, Lightness, Saturation)
V

Зеленый

Голубой

Желтый

1,0

Красный

Белый

Малиновый

Синий

1,0 Белый

Зеленый

Голубой

Желтый
0.5, 0

Красный

H
S
0,0

Малиновый

Синий

Черный

HSV (Hue, Saturation, Value)
HSB (Hue, Saturation, Brightness)
33

H
S
0,0
Черный


Slide 34

Оцифровка видео

34


Slide 35

Природа видео






Инертность зрительного восприятия – задержка
реакции глаза на зрительный раздражитель, из-за
которой возникают остаточные явления
Можно демонстрировать последовательность
неподвижных изображений, которые будут
восприниматься непрерывно
Условия:



35

незначительное отличие соседних изображений
частота не менее 40 Гц (в кино – 24/48 кадров/с, обтюратор,
NTSC 30/60 кадров/с, PAL – 25/50 кадров/с)


Slide 36

Природа видео (продолжение)


Два способа генерации движущихся изображений:



36

видео – запись последовательности кадров реального
движения в реальном мире
анимация – создание отдельных кадров на компьютере
или запись неподвижных изображений


Slide 37

Аналоговые видеостандарты


NTSC (National Television System Committee) – Северная
Америка, Япония, Тайвань, часть стран Латинской и
Южной Америки




37

525 строк (480 видимых, остальные для синхронизации)
чересстрочная развертка – 60 полукадров (30 кадров) в
секунду
для цветного сигнала – 59,94 полукадра в секунду


Slide 38

Аналоговые видеостандарты




PAL (от англ. phase-alternating line – поэтапнопеременная линия) - Европа, Азия, Африки,
Австралия, Южная Америка
SECAM (от фр. Séquentiel couleur à mémoire –
последовательный цвет с памятью) – Франция и
бывшие колонии в Африке и Южной Америке, СССР



38

625 строк (576 видимых, остальные для синхронизации)
чересстрочная развертка – 50 полукадров (25 кадров) в
секунду


Slide 39

Оцифровка видео


Проблема размера памяти:






Варианты:





640 х 480 х 3 байта = 900Кб х 30 кадров/с = 26 Мб/с,
1,6 Гб/мин – для несжатого видео
не хватает скорости для воспроизведения с CD или DVD,
нереально передавать по сети
выход - сжатие при записи в реальном времени
оцифровка в камере
оцифровка в компьютере (внешняя и встроенная карта)

Оцифровка в камере:


39

запись DV-формате
передача в компьютер через интерфейс IEEE 1394 (FireWire,
iLink)


Slide 40

Оцифровка видео (2)


Оцифровка в компьютере:







Оцифровка в камере предпочтительнее, т.к. меньше
искажений при передаче аналогового видеосигнала,
но зато сложнее контролировать параметры
оцифровки
Кодеки:






«слабая» плата требует мощного компьютера
«мощная» плата может работать на слабом компьютере

аппаратные
программные

Алгоритмы сжатия, подходящие для аппаратной
реализации отличаются от алгоритмов, подходящих
40для программной


Slide 41

Цифровые видеостандарты







Нужны цифровые стандарты, соответствующие
аналоговым (в том числе, для HDTV – High-Defenition
Television)
Стандарт для дискретизации Rec.ITU-R BT.601 (CCIR 601)
PAL – 720 х 576 пикселей, NTSC – 640 х 480 пикселей
Стандарт DV (DVCAM, DVPRO)






скорость 25 Мбит/с (3 Мбайт/с)
коэффициент сжатия 5:1

Профессиональные стандарты Digital-S, HDDV
MPEG-1 (VideoCD), MPEG-2 (DV), MPEG-4 (потоковое
видео от 10Кбит/с до 1,8 Мбит/с)
41


Slide 42

Сжатие видео


Два подхода:









сжимать отдельно каждый кадр (пространственное,
внутрикадровое, intra-frame сжатие)
записывать отличия соседних кадров (временное,
межкадровое, inter-frame сжатие)

можно сочетать оба подхода одновременно
Для внутрикадрового сжатия эффективно только
сжатие с потерей качества
Вывод: монтаж надо вести на несжатом материале, а
сжимать только перед распространением
Ключевые, разностные кадры
Симметричное, асимметричное сжатие
42


Slide 43

Сжатие видео



Motion-JPEG – внутрикадровое сжатие (от 5:1 до
100:1)
MPEG – межкадровое сжатие (до 200:1)

43


Slide 44

Форматы хранения видео






AVI ( Audio Video Interleaved ) – разработка Microsoft
для Windows. Несколько форматов компрессии.
Quick Time Movie ( .qt, .mov ) – разработка Apple для
компьютеров Мас. Несколько форматов компрессии, в
том числе MPEG.
MPEG ( .mpg, .mpeg ) – формат, основанный на
алгоритме MPEG.
Digital Video ( .dv ) – формат, разработанный для
цифровых видеокамер и видеомагнитофонов.

44


Slide 45

Оцифровка текстовой информации

45


Slide 46

Историческое значение текста


В доисторические времена смысл
послания передавался в виде
набора рисунков



Самые ранние письменные памятники появились на
юге Месопотамии (современного государства Ирак) в
конце IV тысячелетия до н.э.
Паек для гонца.
… 5 литров пива, 3 литра
хлебной похлебки, 3/60
литра лука, 3/60 литра
масла, 2/60 литра мыльного
корня…
© http://www.hermitagemuseum.org
46


Slide 47

Текст и символы


Различают:





лексическое содержимое текста
внешний вид текстового фрагмента

А также:



T
абстрактный символ
графическое представление символа
T T T T T T T T TT T

47

О,Боже!
Боже! Космические
О,
Космические
О,
Боже!
Космические
пришельцы! Не
пришельцы!
Неешьте
ешьте
пришельцы!
ешьте
меня.
жена,
дети.
меня.
У меня
жена,
меня.
УУ меня
дети.
Съешьте
их!
дети.
Съешьте
Съешьте
их! их!


Slide 48

Символы и алфавиты


Абстрактные символы группируются в алфавиты




48

традиционные фонетические алфавиты
идеографическая система записи
промежуточные слоговые алфавиты (корейский)


Slide 49

Алфавиты и кодовые точки



В математике алфавит – множество символов
Символ – кодовое значение из набора кодовых точек
АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЬЫЪЭЮЯ
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
A B C D E F G H I J K L M N O P Q R ST UV W XY Z

1 .. 6000

49


Slide 50

Стандарт ASCII





American Standard Code for Information Interchange
7 бит → 128 кодовых точек
95 знаков
0..31 и 127 – управляющие символы
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

50

пробел
!
''
#
$
%
&
‘
(
)
*
+
,
.
/

48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63

0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?

64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79

@
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O

80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95

P
Q
R
S
T
U
V
W
X
Y
Z
[
\
]
^
_

96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111

`
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o

112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127

p
q
r
s
t
u
v
w
x
y
z
{
|
}
~
Escape


Slide 51

ASCII и ISO







1972 г. ASCII принят как стандарт ISO 646
национальные версии стандарта (ISO 646-US) –
проблемы совместимости
решение – увеличение числа кодовых точек
(8 бит → 255 кодовых точек)
нижняя половина – ISO 646-US, верхняя половина –
национальные наборы символов
стандарт ISO 8859, Latin1
недостатки:


51

мало кодовых точек для идеографических алфавитов
нельзя одновременно работать с несколькими языками


Slide 52

ISO 10646




256 групп по 256 плоскостей по 256 строк из 256
символов
32-битные кодовые точки (g,p,r,c)
(0,0,0,*) = ISO Latin1

52


Slide 53

Unicode









16 бит → 65536 кодовых точек
CJK-consolidation (Chinese, Japanese and Korean)
Содержит:
 символы нескольких десятков алфавитов
 идеограммы и силлабические шрифты китайского, японского и
корейского языков
 знаки пунктуации, технические и математические символы
 стрелки и декоративные символы
 диакритические знаки и др.
сейчас распределены 39 000 кодовых точек
6400 кодовых точек – Private Use Area
1991 г. – согласованы Unicode и ISO 10646
(0,0,*,*) – Basic Multilingual Plane (BMP) = Unicode
53


Slide 54

Кодирование


преобразование кодового значения в последовательность
байтов для хранения и передачи



схема Quoted-Printable (QP) – представление 8-битных
символов как последовательности 7-битных символов



Символ é (233(10)=Е9(16) в ISO Latin1) записывается как =Е9
схема ISO 10646 UCS-4 (Universal Character Set)



– 4 байта на символ


схема ISO 10646 UCS-2
– отброшены 2 байта (= Unicode)



3 схемы для Unicode - UCS Transformation Formats (UTF)
UTF-8, UTF-7, UTF-16
54


Slide 55

Форматы текстовых файлов
ANSI (.TXT)
 Microsoft Word (.DOC, .DOCX)
 Rich Text Format (.RTF)
 Hyper Text Markup Language (.HTML)
 Portable Document Format (.PDF)
 LaTeX (.TEX)
 Электронные книги (FB2, EPUB, LIT, LRF, AZW)


55


Slide 56

Гипертекст и гипермедиа







1945 г. – концепция организации памяти «MEMEX»,
Ваннивер Буш, США – ассоциативный принцип
организации больших массивов информации
рубеж 60-70-х годов – проект Xanadu, Тед Нельсон –
объединение всей мировой литературы,
возникновение термина «гипертекст»
1987 г. – программа HyperCard от Apple – первое
массовое внедрение технологии, язык HyperTalk
1991 г. – HTML, World Wide Web

56


Slide 57

Способы ввода текста



компьютерный набор
сканирование и распознавание (OCR – optical character
recognition)

57


Slide 58

Источники


Алексей Лукин «Основы цифровой обработки
сигналов» http://audio.rightmark.org/lukin/msu/LectureDSP2008.pdf

58


Slide 59

Спасибо за внимание!



59

[email protected]