Проверяем системы распознавания знаков в деле. TSR – система распознавания дорожных знаков

Водителю при управлении транспортным средством приходится выполнять множество разнообразных действий в зависимости от складывающейся ситуации, и самое главное, она быстро меняется. Изменения обстановки или рельефа дороги зачастую не позволяют своевременно отследить установленные ограничения, и хорошо, если такие ошибки остаются без последствий. Чтобы облегчить весь этот процесс, автопроизводителями в помощь водителю, на некоторые модели авто устанавливается система распознавания дорожных знаков.

Что это такое?

Такая функция как распознавание дорожных знаков используется на автомобилях BMW, Opel, Mercedes-Benz и других. По сути дела, все базируется на работе видеокамеры, расположенной перед зеркалом обзора заднего вида и направленной по ходу движения. Работает такая система распознавания дорожных знаков следующим образом – видеокамера сканирует местность перед собой.

Полученное изображение передается в электронный блок, где распознается, и при его соответствии тем требованиям, которые заложены в устройство, на панели приборов высвечивается нужный символ, что порой сопровождается звуковым сигналом.

Чаще всего предметом анализа является ограничение скорости. При распознавании анализируется:

форма знака;
его цвет;
значение надписи (скорости);
содержание ограничения (вид ТС, на которое данное ограничение распространяется, время и зона действия);
фактическая скорость машины.

Система распознавания дорожных знаков непрерывно улучшается и расширяется, в ее базе появляются новые знаки, такие как запрещение обгона и одностороннее движение. Для лучшего восприятия обстановки в сложных метеорологических условиях камера дополняется инфракрасным прожектором.

Чем это хорошо, и что в этом плохого?

То, что подобная система распознавания дорожных знаков может оказаться полезной водителю, не вызывает сомнений. Все, что облегчает его труд, помогает управлению и обеспечивает безопасность, должно оцениваться только положительно. Однако не стоит возлагать на это устройство слишком больших надежд, во всяком случае, пока.

Дело в том, что система зачастую не способна правильно идентифицировать знак. Когда он завален, криво установлен, или плохо читаем, то устройство его просто не видит. В то же время и скорость движения машины влияет на распознавание изображения. Чем она выше, тем хуже или с большей задержкой начинает работать такое изделие.

Кроме того, не стоит забывать о ложных срабатываниях. Отмечены случаи, когда изображения, нанесенные на другие транспортные средства, движущиеся в попутном направлении (на автобусах, грузовиках), воспринимаются системой как ограничения, и она при этом выдает соответствующее предупреждение.

Такое устройство, как система, распознающая дорожные знаки, несомненно может считаться полезным на автомобиле, но на него не стоит слишком полагаться. В любом случае, ответственность за безопасность движения несет водитель, да и штраф за превышение скорости платить придется именно ему.

Вспомогательные системы автомобиля всегда будут полезными, как пример частые ДТП из-за невнимательности или незнаний знаков дорожного движения. Расскажем как устроена и работает эта система.

Что такое система распознавания знаков движения

Для облегчения водителям на дороге и для исключения варианта незнания знаков, инженеры разработали систему распознавания дорожных знаков. Главным назначением системы является предупреждение водителя о дорожных знаках ограничения скорость, проезда перекрестков или других.

Многие автомобильные производители имеют в своем арсенале подобные системы, в зависимости от производителя, системы именуются по-разному. Чаще всего система встречается под названием TSR (Traffic Sign Recognition). Такое название можно встретить в автомобилях марки Audi, Ford, BMW, Volkswagen и Opel.

В автомобилях производителя Opel, система распознавания дорожных знаков входит в комплекс систем Opel Eye. Это одна из лучших комплексных систем защиты водителя признанная в 2010 году. В этот набор включены системы распознавания пешеходов, распознавания преград, автоматической парковки и подобные системы.

Компания Mercedes-Benz дала название своей системе Speed Limit Assist. В автомобиле этой марки она известна больше как система контроля ограничения скорости. Компания Volvo в своем вооружении называет эту систему RSI - Road Sigh Information, информирование о дорожных знаках.

С прогрессом меняются и названия, система распознавания знаков может быть как самостоятельной системой, так и входить в комплексный набор систем защиты и предупреждения.

С чего состоит система предупреждения

В зависимости от марки и модели автомобиля, система может состоять из разных компонентов. Так же не исключено использование компонентов другой системы, к примеру, датчики, сканеры и камеры. Но как правило система распознавания дорожных знаков состоит из компонентов:

видеокамера на ветровом стекле;
блок управления;
место (зачастую дисплей) для вывода обработанной информации.

Именно такое расположение камеры, на уровне головы водителя, позволяет максимально точно и быстро распознать дорожный знак и его наличие на дороге. Сама ж камера выполнена по последнему слову техники, качественная оптика и хорошее полученное изображение, дают больше шансов качественно распознать знак.

Можно выделить два поколения систем предупреждения. Первая только информирует водителя, выводя небольшую часть информации о знаке. Второе же поколение уже намного сложней, особенно если в автомобиле есть центральный дисплей, на него будет выводиться сам знак, информация о знаке и что вы нарушили.

Первое поколение способно распознать знаки:

ограничение скорости;
запрет на обгон;
некоторые знаки дополнительной информации.

Второе поколение способно распознать кроме выше перечисленных знаков еще:

движение без остановки запрещено;
жилая зона;
начало/конец населенного пункта;
конец зоны всех ограничений;
въезд запрещен;
преимущество встречного/перед встречным автомобилем.

Это еще не полный список знаков, которые способно распознать второе поколение. Для этой системы используется разумный блок управления на основе операционной системы, и в меру появления новый знаков для распознания, система будет обновляться. Последним новшеством стало использование системы GPS вместо данных автомобиля, к примеру, скорости, пути направления и прочими данными, которые можно заменить с помощью GPS.

Принцип распознавания знаков

Так все же, как устроена система и принцип её работы. Как уже говорилось, камера на ветровом стекле это первое с чего начинается работа системы. Камера снимает путь перед автомобилем, как правило, эта зона по сторону переднего пассажира (зависит от направления движения) и вверху над водителем. Эта же камера может быть использована системой обнаружения пешеходов, или помощи движения по полосе.

После полученного изображения, информация передается на блок управления. В первом поколении блок управления простой и сравнивает полученные данные с уже существующими знаками в базе, если же знак распознан, то информация выводится водителю, в ином случае никакого действия не произойдет.

Второе поколение системы куда сложней. Полученные данные система не только перебирает, но и знак на изображении с камеры корректирует и подбирает разные комбинации возможных вариантов. Это говорит о том, что есть больше шансов распознать поврежденный или плохо просматриваемый знак. Так же во втором поколении операционка блока управления накладывает полученную информацию на карты навигации GPS и прорисовывает знаки, чтоб водитель не только слышал, но и видел возможные препятствия.

Стоит учесть, что система способна помнить действие нескольких знаков. Ведь часто бывает один знак еще не закончил зону действия, а второй также назначил свои правила.

Вывод предупреждения может осуществляться как на дисплей на панели приборов, так и на отдельный центральный дисплей вместе с картами навигации. Для примера система сравнит, какая скорость максимально допустима и насколько км/час вы превысили или же начнет информировать, если поехали на знак въезд запрещен.

Поговаривают, что третье поколение будет использовать правила движения по знакам и в случае грубого нарушения давать водителю советы как избежать нарушения и как правильно сделать. Ведь часто бывает, что новички водители без практики попросту нарушают самые простые правила по знакам.

Видео принципа работы системы распознавания дорожных знаков:

Транскрипт

1 УДК Алгоритм распознавания дорожных знаков Романов П. В., студент Россия, г. Москва, МГТУ им. Н. Э. Баумана, кафедры «Компьютерные системы и сети» Научный руководитель: Самарев Р. С., к.т.н., доцент Россия, г. Москва, МГТУ им. Н. Э. Баумана Введение Цель данной работы решение задачи распознавания дорожных знаков, а также проверка эффективности и удобства использования алгоритмов, реализованных в библиотеке opencv. Для получения исходных данных применялась камера, закрепленная в автомобиле типовой видеорегистратор, обеспечивающий видеосъемку в формате Full-HD. Основными задачами были: фиксирование знака на видео с камеры, определение его типа по упрощенной классификации. Алгоритм распознавания знаков В процессе анализа возможных подходов рассматривались как «нейронные сети», так и статистические подходы. Библиотека OpenCV реализует большое количество функций, позволяющих реализовать эти подходы по заранее приготовленным шаблонам. Однако в данном случае было принято решение об использовании точных методов, которые также реализованы в OpenCV. Для решения задачи была написана программараспознаватель. Процесс распознавания осуществлялся в три этапа: фиксация в кадре видеопотока области поиска и самого объекта (знака, в случае правильного срабатывания); анализ параметров найденного объекта, отнесение его к одному из типов (шаблонов из базы данных); адаптация программы для работы в более неблагоприятных условиях: в темноте, присутствии помех.

2 На каждом из указанных этапов вызываются функции из библиотеки. Обобщенная схема алгоритма анализа приведена на рисунке 1. В схеме показаны этапы и используемые функции OpenCV. Рис. 1. Обобщенная схема алгоритма (начало) Молодежный научно-технический вестник ФС, ISSN

3 Рис. 1. Обобщенная схема алгоритма (продолжение) На первом этапе использованы функции cvsetimageroi, cvboundingrect и cvcopy. Первая позволяет сфокусироваться на интересующем участке изображения (ROI region of interest). На рисунке 3 можно увидеть, что программа реально анализирует и представляет пользователю лишь часть кадра (рисунок 2). Одни из ее параметров, координаты выделяемого участка, легко вычисляется, поскольку в OpenCV предусмотрено сопровождение картинки необходимой информацией.

4 Рис. 2. Исходное изображение Рис. 3. Анализируемая часть изображения (кадра) После выделения области, в которой наиболее вероятно появление знаков, примерно средняя треть кадра, нужно приготовить ее для поиска похожих на знаки форм. Для этого использовались следующие инструменты из opencv. Функция cvcvtcolor с опцией перевода картинки в градации серого, необходимая для применения порогового преобразования (функция cvthreshold) или преобразования Кенни (функция cvcanny). Оба метода предназначены для бинаризации изображения(только черное и белое) и выделения на нем границ объектов, но первый учитывает только яркость участков изображения, тогда как алгоритм Кенни также выполняет частичное восстановление контуров. Эксперименты подтвердили преимущество функции cvcanny (рисунок 4). Молодежный научно-технический вестник ФС, ISSN

5 Рис. 4. Результат последовательного применения cvcvtcolor и cvcanny к изображению Далее на изображении нужно найти все возможные замкнутые контуры. Для этого использована функция cvfindcontours, имеющая параметром бинаризированное изображение, полученное ранее. Были попытки применить оператор Собеля для вычисления градиента яркости каждой точки картинки (функция cvsobel) и путем преобразования Хафа найти геометрические фигуры, в данном случае круги (функция cvhoughcircles). Ни одна из этих функций не показала себя в экспериментах достаточно универсальной в силу неточности комбинаций входных параметров при работе с видео. Следующий шаг выбор контуров, удовлетворяющих заданным условиям. Первое, что анализировалось площадь контура, поскольку она колеблется в заранее известных границах. Ее можно получить, вызвав cvcontourarea. cvcontourperimeter возвращает длину контура, что необходимо для вычисления второго параметра компактности. Это отношение площади ко квадрату периметра. Проще говоря, характеризует схожесть объекта с кругом, поскольку круг самая компактная фигура. имеет коэффициент примерно 0,79. И наконец, проводилась проверка на совпадение моментов контуров (их отличительных форм) с помощью функции opencv cvmatchshapes, сравнивающей переведенные в цепной код Фримана контуры и выдающей уровень их отличия. Опыты показали, что почти полное сходство выражается значением меньше На рисунке 5 пример всех зафиксированных контуров (выделено ярко зеленым и фиолетовым), а на рисунке 6 правильно узнанных знаков.

6 Рис. 5. Все найденные в области контуры Рис. 6. Контуры, подошедшие по форме По результату работы этой функции бывает нельзя точно сказать, подходит контур или нет, поэтому последний из приемов установления различий это анализ цвета в контуре. Для разбиения изображения на цветовые каналы применялись функции cvsplit и cvcvtpixtoplane. Однако функция cvcvtpixtoplane предназначена для изображений, представленных не цветовыми, а тональными каналами: оттенком, яркостью и глубиной (модель HSV) Отличие второго этапа от первого в меньшем размере обрабатываемого изображения, но более тщательном сравнении моментов контуров. Происходит сопоставление со всеми знаками базы данных, удовлетворяющими условиям, проверенным на предыдущем этапе. Также производилось вручную контрастирование изображения для обеспечения более четкой работы функций детекции границ. Результаты Выборка сформирована с учетом включения различных форм знаков и изображений на них. Тестировалось распознавание 7 знаков на 16 видео фрагментов с разрешением 1920x1080. Использовано видео в ясный день. Результаты сведены в таблицу. Молодежный научно-технический вестник ФС, ISSN

7 Пример знака Точность распознавания Пример формы знака Точность распознавания Обгон запрещен 85% Круглый Въезд запрещен 65% Ограничение скорости 40 км/ч 65% 75% Ограничение скорости 70 км/ч 70% Поворот запрещен 40% Уступите дорогу 70% Треугольный Примыкание второстепенной дороги 80% 75% Заключение По результатам проведенной работы можно отметить возможность использования библиотеки OpenCV для решения задачи распознавания дорожных знаков. Распознается примерно 70%, что, однако, говорит о необходимости нахождения более оптимальных методов. В качестве возможного направления работ также следует отметить исследование распознавания знаков в сложных условиях, например, ночью или при тумане. Список литературы 1. Ворошин Г. Я Методы распознавания образов. Режим доступа: (дата обращения). 2. Владимир Н. OpenCV шаг за шагом. Режим доступа: (дата обращения). 3. Распознавание образов с OpenCV: контуры против haartraining Режим доступа: (дата обращения:). 4. Gary Bradski, Adrian Kaehler. Learning OpenCV. Computer vision with the OpenCV library. Available at: %D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0, accessed RECOG.RU: распознавание образов для программистов Режим доступа: (дата обращения:).

УДК 004.932.72"1 Ключевые особенности алгоритма распознавания дорожной разметки Введение Чистяков И.Ю., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Информационные системы и телекоммуникации»

УДК 004.051 Бойнов М.А. студент магистратуры факультет Системы обработки информации и управления МГТУ им. Н.Э.Баумана Россия г. Москва Джанаев С.И. студент магистратуры факультет Системы обработки информации

УДК 004.932 Метод выделения похожих изображений на основе применения SIFT дескрипторов Савонин А.И., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение ЭВМ и информационные

# 06, июнь 2016 УДК 004.932 Использование нейросети и SIFT дескрипторов для сравнения изображений Введение Савонин А.И., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение

УДК 004.93"1 П.Ф. Павленко, Институт автоматики и информационных технологий НАН КР РАСПОЗНАВАНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ТРАНСПОРТНОМ ПОТОКЕ Работа посвящена проблеме выделения движущихся объектов (транспортных

УДК 004.932 Алгоритм распознавания заданных участков дорожно-транспортной инфраструктуры на аэрофотоснимках Косюра О.В., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение

Секция 6. Цифровая обработка сигналов и изображений 337 УДК 004.932.4 Бани-Амер Тамер, Хмелевой С.В., Азаренко Д.В. Донецкий национальный технический университет, г. Донецк, кафедра автоматизированных

УДК 004.93 Исследование методов формирования вектора признаков изображения лица с использованием фильтров Габора Лаврова Е.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Биомедицинские

ÓДÊ 004.932.2 Ðазработка и оптимизация процесса сегментации изображения и видео потока на стороне мобильного устройства Н.À. Северинов Московский государственный университет печати имени Ивана Федорова

УДК 004.932 Алгоритм классификации отпечатков пальцев Ломов Д.С., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение ЭВМ и информационные технологии» Научный руководитель:

# 08, август 2016 УДК 004.93"1 Нормализация данных 3D камеры с использованием метода главных компонент для решения задачи распознавания поз и поведения пользователей Умного дома Малых Д.А., студент Россия,

# 06, июнь 2016 УДК 681.531.2 Распознавание объектов с помощью телекамеры Воронин А.В., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Специальная робототехника и мехатроника» Научный

УДК 681.5:004.93 Калиниченко Ю.В. К ВОПРОСУ О ВЫДЕЛЕНИИ ГРАНИЦ ДЕТЕКТОРОМ КЕННИ Луганский национальный университет имени Тараса Шевченко Рассмотрен вопрос выделения границ детектором Кенни. Алгоритм реализован

УДК 004.93 Сравнительный анализ алгоритмов распознавания лиц в задаче визуальной идентификации О.В. Рогозин, С.А. Кладов МГТУ им. Н.Э. Баумана, Москва, 105005, Россия Статья посвящена двум подходам к распознаванию

УДК 004.932, 681.518 Сравнительный анализ алгоритмов построения изображений подстилающей поверхности Бочаров В.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Системы автоматического

УДК 159.9.072.592 Распознавание характеристик пользователя по почерку всего интересных сведений. http://sntbul.bmstu.ru/doc/616688.html Тамбиев К.Ш., студент кафедра «Информационные системы и телекоммуникации»,

Преобразование Хафа (Hough transform) Анна Дегтярева [email protected] Вежневец Владимир [email protected] Содержание Введение Основная идея метода Пример: выделение прямых на изображении Пример:

УДК.004.01 Вычисление оптического потока для выделения транспортных средств на видеоизображении П. А. Девайкин 1, А. В. Шикуть 1 1 МГТУ им. Н.Э. Баумана, Москва, 105005, Россия Рассмотрены алгоритмы вычисления

Вопросы для текущего контроля успеваемости и промежуточной аттестации по курсу «Методы и техника распознавания образов» 1. Задача анализа изображений, ее практическая значимость 2. Понятие изображения.

266 Секция 6. Цифровая обработка сигналов и изображений УДК 004.932 Д.С. Химич, А.Ю. Харитонов Донецкий национальный технический университет, г. Донецк Кафедра компьютерных систем мониторинга ТЕХНОЛОГИИ

Построение дополненной реальности на примере создания виртуальной примерочной. 77-48211/482783 # 08, август 2012 Девайкин П. А., Шикуть А. В. УДК.004.021 Россия, МГТУ им. Н.Э. Баумана [email protected]

Программный комплекс «Интерактивная информационная доска» Дроздова Юлия Александровна ПГНИУ, Пермь, Россия. Аннотация. Статья посвящена вопросу создания программного комплекса «Интерактивная информационная

298 СПЕЦИАЛИЗИРОВАННАЯ КОМПЬЮТЕРНАЯ СИСТЕМА ФОКУСИРОВКИ МИКРОСКОПА Кириченко М.Н., группа КСД-05м Руководитель доц. каф. АСУ Омельченко А.А. В настоящее время в медицине и технике широко применяются микроскопы

172 Секция 5. Цифровая обработка сигналов и изображений Н.Н. Шеремет Донецкий национальный технический университет, кафедра программного обеспечения интеллектуальных систем ИССЛЕДОВАНИЕ МЕТОДА АКТИВНЫХ

ОБНАРУЖЕНИЕ, КЛАССИФИКАЦИЯ И ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ ОБЪЕКТОВ ЗАДАННЫХ ГРАНИЦАМИ ЕГО ОСОБЕННОСТЕЙ НА ПОЛУТОНОВОМ ИЗОБРАЖЕНИИ В РЕАЛЬНОМ ВРЕМЕНИ. А.В. Бовырин, А.В. Губанов, В.Ф. Курякин, К.В. Родюшкин,

Математические структуры и моделирование 2015. 4(36). С. 123 128 УДК 004.93 КОМПЬЮТЕРНОЕ ЗРЕНИЕ КАК СРЕДСТВО ИЗВЛЕЧЕНИЯ ИНФОРМАЦИИ ИЗ ВИДЕОРЯДА Н.В. Манюкова кандидат педагогических наук, доцент, e-mail:

УДК 57.08 Тестирование библиотек автоматической расстановки контрольных точек лица 07, июль 2012 Томак К.С. Студентка, кафедра «Системы обработки информации» Научный руководитель: Кашапова Л.Х., ассистент

УДК 004.4 ПРЕДВАРИТЕЛЬНАЯ ГРУБАЯ СКЕЛЕТЕЗАЦИЯ РАСТРОВЫХ ИЗОБРАЖЕНИЙ И ДЕТЕКТИРОВАНИЕ ПРОСТЫХ ЭЛЕМЕНТОВ А.Н. Романов, М.В. Привалов Донецкий национальный технический университет У статті розглядається задача

# 07, июль 2017 УДК 004.032.26 Сверточная нейронная сеть для разработки системы распознавания и классификации изображений Гузий Е.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Компьютерные

АЛГОРИТМЫ РАСПОЗНАВАНИЯ ЛИЦА НА БАЗЕ БИБЛИОТЕКИ OPENCV 66 С.В. Томилов Большинство современных систем распознавания лиц очень чувствительны к характеристикам предъявляемых изображений. Поэтому перед непосредственным

УДК 0093 1; 0093 АН САМОЙЛОВ, ИВ ШЕВЧЕНКО МЕТОД ОБНАРУЖЕНИЯ ЛИНИЙ КОНТУРОВ В ЯРКОСТНЫХ ПЕРЕПАДАХ ПРЕДПОЛАГАЕМЫХ ГРАНЕЙ БИНАРИЗОВАННОГО ИЗОБРАЖЕНИЯ СЛЕДОВ ДИСЛОКАЦИЙ НА ПЛАСТИНАХ GaAs Рассматривается проблема

УДК 621.391 Двумерное распознавание сигнала на основе метода k ближайших соседей Якубов Р.Ж., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Информационная безопасность» Научный руководитель:

УДК 531.1 СИСТЕМА ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ВИДЕОМАРКЕРОВ ДЛЯ ОБЕСПЕЧЕНИЯ НАВИГАЦИИ РОБОТА А.В.Калиниченко ([email protected]) Институт прикладной математики им. М.В. Келдыша РАН, Москва В работе описывается

Донецкий национальный технический университет Факультет компьютерных наук и технологий Кафедра прикладной математики и информатики АВТОМАТИЧЕСКОЕ ОТСЛЕЖИВАНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ

УДК 004.932.2 Алгоритмы сегментации изображений Оглуздина Ю.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение ЭВМ и информационные технологии» Научный руководитель:

УДК 681.327.1 # 12, декабрь 2015 Проектирование системы распознавания динамического поведения людей Демин Н.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Информационные системы

УДК 681.326 А.М. Шашлов ЭФФЕКТИВНОЕ ВОССТАНОВЛЕНИЕ СВЕДЕНИЙ О РАЗДЕЛАХ ПРИ ПОВРЕЖДЕНИЯХ СИСТЕМ РАЗДЕЛОВ НАКОПИТЕЛЕЙ Рассмотрены существующие подходы восстановления данных при логических повреждениях систем

АЛГОРИТМЫ КОНТРОЛЯ КООРДИНАТ ИСТОЧНИКА ИЗЛУЧЕНИЯ НА ФОТОЧУВСТВИТЕЛЬНОЙ ПОВЕРХНОСТИ МАТРИЦЫ В.В.Замятин Для измерения координат точечного источника излучения на поверхности фоточувствительной матрицы применяют

Обнаружение узких мест трасс передачи данных в компьютерной сети и оценка их пропускной способности Для организации эффективной работы компьютерной сети маршрутизаторам и иным устройствам необходимы сведения

54 ВЕРИФИКАЦИЯ ОПТИКО-ПЕРЕМЕННОГО ОБЪЕКТА ПУТЁМ ОБНАРУЖЕНИЯ ИЗМЕНЕНИЯ ЦВЕТА Екатерина Горшкова, Роман Телятников, Иван Шумский Аннотация: Рассматривается задача обнаружения изменения цвета на оптико-переменных

УДК 004.031.2, 004.932 Методы оптимизации вычисления оптического потока в автономных системах навигации Введение Жуков Р.В., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра ««Системы

Санкт Петербургский государственный университет Математико Механический факультет Кафедра системного программирования Снижение разрешения гистограммы ориентированных градиентов для детекции объектов малого

# 01, январь 2016 УДК 534.4 Программный синтез звука музыкальных инструментов Тишина Е. М., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Информационные системы и телекоммуникации»

Паспорт фонда оценочных средств по дисциплине «Теория распознавания образов» Приложение 1 п/п Контролируемые разделы (темы) дисциплины* Код компетенции Наименование оценочного средства Раздел 1. Распознавание

Получение контура стопы по фотографиям с максимальной точностью Немного о проекте Место выполнения проекта: СПБГПУ, лаборатория компьютерной графики, руководитель Беляев Сергей Юрьевич Задача является

Системы автоматического распознавания автономеров # 12, декабрь 2014 Юзов М. В., Пугачёв Е. К. УДК: 004.8 Россия, МГТУ им. Н.Э. Баумана [email protected] Введение Сегодня технологии компьютерного

УДК 004.021 Использование Redis Cluster в задаче выявления плагиата Евграфов И.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Компьютерные системы и сети» Научный руководитель:

СИСТЕМА РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ Гильманов Тимур Аделевич, магистрант, КНИТУ-КАИ им. А.Н. Туполева, г. Казань E-mail: [email protected] Аннотация: В данной статье представлено описание системы

3 Л.В. АНТОНОВ, А.А. ОРЛОВ Экспериментальное исследование алгоритмов обработки снимков промышленных изделий УДК 004.942 Муромский институт (филиал) ФГБОУ ВПО «Владимирский государственный университет имени

Компьютерная модель системы ВАДС Сегеда С.В., к.т.н. Девочкин О.В. МГТУ «МАМИ» С целью снижения количества ДТП на дорогах постоянно развиваются новые системы безопасности автомобиля. Наиболее перспективными,

382 Секция 7. Технологии и системы искусственного интеллекта УДК 004.931 Ткачук Е.О., Федяев О.И. Донецкий национальный технический университет Кафедра прикладной математики и информатики [email protected]

Алгоритм регистрации трехмерных образов объектов с помощью пассивной стереоскопической системы с использованием кратномасштабной обработки изображений. 77-3569/23289 # 1 октябрь 211 Зайцев К. И. Перов

УДК 681.325 СОВМЕЩЕНИЕ РАСТРОВЫХ ИЗОБРАЖЕНИЙ В СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ Н.В.Соловьев, канд. техн. наук, доцент А.А.Козлов, соискатель М.Ю.Литвинов, соискатель Санкт-Петербургский государственный университет

Лекция 15 Использование аппарата нейронных сетей для определения качества восприятия в системах IPTV План 1. Общие понятия о нейронных сетях (определение нейронной сети, шкала MOS) 2. Классификация нейронных

Руководство пользователя по работе с программным обеспечением «Орион-Авто» 1 Назначение системы «Орион-Авто»... 3 2 Характеристики системы... 3 3 Установка «Орион-Авто»... 4 4 Организация системы... 4

# 09, сентябрь 2015 УДК 004.021 Применение фильтра Калмана для обработки последовательности GPS-координат Листеренко Р.Р., бакалавр Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное

Line fitting, или методы аппроксимации набора точек прямой Анна Дегтярева [email protected] Вежневец Владимир [email protected] Содержание Line fitting, или методы аппроксимации набора точек прямой

УДК 004.424.4 Исследование влияния количества слоев и их количества на поведение ошибки скорость обучения сети Живых C.Ю., студент кафедра «Система обработки информации и управление» Россия, 105005, г.

Н.Н. Алексеева, А.С. Иргит, А.А. Куртова, Ш.Ш. Монгуш Применение методов обработки изображений к задаче распознавания васкулярного рисунка ладони С каждым годом возрастают требования к системам безопасности.

2. ЭРГОНОМИЧЕСКИЕ ТРЕБОВАНИЯ К СРЕДСТВАМ ИНФОРМАЦИИ Главный принцип информационного дизайна состоит в том, что основной массив информации нужно сделать доступным и легко усваиваемым аудиторией. Продуманная

ПОСТРОЕНИЕ МОДЕЛИ ИЗОБРАЖЕНИЯ И ЕЁ ПРИМЕНЕНИЕ В ЗАДАЧАХ ДЕТЕКТИРОВАНИЯ ОБЪЕКТОВ 1. Введение Получение признакового описания изображений является одним из главных этапов в таких задачах машинного (технического)

Понятие алгоритма. Изображение алгоритма в виде блок схемы. Алгоритмы линейной и разветвляющейся структуры. Решение любой задачи на ЭВМ необходимо разбить на следующие этапы: разработка алгоритма решения

Исследование библиотек технического зрения для построения системы учёта движения на перекрёстках А. Е. Соколов Институт автоматики и электрометрии СО РАН Новосибирский государственный университет Научный

17 я Всероссийская конференция с международным участием «Математические методы распознавания образов - 2015» г. Светлогорск Калининградская область 19-25 сентября 2015 Морфологическая фильтрация изображений

ПРИКЛАДНЫЕ АСПЕКТЫ ИНФОРМАТИКИ Поиск изображений по визуальному содержанию в графических базах данных и сети Интернет И.Е. Десятников Аннотация. В статье представлена система поиска изображений по визуальному

Методы распознавания лиц Ю. Лифшиц. 4 декабря 2005 г. Содержание 1 Применение алгоритмов распознавания лиц 2 2 Особенности распознавания лиц 2 2.1 Специфика задачи.......................... 2 2.2 Абстрактная

Иван Ожиганов Июль 9, 2013

Будущее рынка программного обеспечения и мобильных приложений в частности тесно связано с прикладным использованием M2M-технологий, позволяющих реализовывать новые интересные идеи и внедрять более совершенные решения в самых различных областях: безопасности, удаленного видеонаблюдения, автоматизации производства, потребительской электроники и других.

В 2014 Apple планирует запустить iOS in the Car - мобильную платформу, позволяющую использовать iOS-устройства через интерфейс автомобиля, и сейчас наша команда работает над созданием прототипа приложения-помощника водителя для iOS-устройств.

Обзор проекта

Идея проекта - добавить к возможностям iOS-устройств функции штурмана, «умного видеорегистратора». Задача текущего этапа - разработать приложение-прототип, которое не только ведет запись дорожных событий, как обычный регистратор, но и распознает встречающиеся дорожные знаки, предупреждая о них водителя. Функция предупреждения важна, т. к. зачастую водители не успевают заметить знак или быстро забывают, какой последний знак или последовательность знаков они проехали.

Разрабатывая прототип, мы ограничились лишь запрещающими знаками - знаками круглой формы с красной каймой на белом фоне. В дальнейшем планируем добавить остальные знаки, реализовать постоянно пополняемую базу данных о дорогах и дорожных знаках, общую для всех устройств, использующих приложение, и многое другое.

Принцип работы приложения: видеокамера телефона захватывает видеопоток с разрешением 1920×1080, полученные кадры анализируются и распознаются, когда знак распознан, запускается определенное событие: подать предупреждающий сигнал водителю, добавить информацию в базу данных о дорогах и т. д.

Задачу можно условно разбить на два этапа:

Цветовая сегментация изображения
Распознавание знака

Этап 1. Цветовая сегментация изображения

Захват изображения. Поиск красного и белого цветов

Уникальной характеристикой запрещающих знаков является круг с преобладанием белого цвета и красным контуром, позволяющий идентифицировать эти знаки на изображениях. После того, как мы получили кадр с камеры в формате RGB, мы вырезаем изображение размером 512 на 512 (Рис. 1) и выделяем на нем красный и белый цвета, отбрасывая все остальные.

Для цветовой локализации - определения элементов конкретного цвета - формат RGB очень неудобен, потому что чистый красный цвет в природе встречается очень редко, но почти всегда идет с примесями других цветов. Кроме того, цвет изменяет оттенок и яркость в зависимости от освещения. Так, например, на восходе и закате солнца все предметы приобретаю красный оттенок; сумерки и полумрак тоже дают свои оттенки.

Рис. 1 . Изображение в формате RGB размером 512 х 512, поступающее на вход алгоритма.

Тем не менее, сначала мы попробовали решить задачу, используя исходный RGB-формат. Чтобы выделить красный цвет, мы устанавливали верхний и нижний пороги: R > 0,7, а G и B < 0,2. Но модель оказалась не очень удобной, т.к. значения цветовых каналов сильно зависели от освещенности и времени суток. Например, значения каналов RGB красного цвета в солнечный и пасмурный дни сильно отличаются.

Поэтому модель RGB мы перевели в цветовую модель HSV/B, в которой координатами цвета являются: цветовой тон (Hue), насыщенность (Saturation) и яркость (Value / Brightness).

Модель HSV/B обычно представляют цветовым цилиндром (Рис. 2). Она удобна тем, что оттенки цвета в ней являются лишь инвариантами различных типов освещения и теней, что естественным образом упрощает задачу выделения необходимого цвета на изображении вне зависимости от условий, таких как время суток, погода, тень, расположение солнца и др.

Код шейдера для перехода от RGB к HSV/B:

Varying highp vec2 textureCoordinate; precision highp float; uniform sampler2D Source; void main() { vec4 RGB = texture2D(Source, textureCoordinate); vec3 HSV = vec3(0); float M = min(RGB.r, min(RGB.g, RGB.b)); HSV.z = max(RGB.r, max(RGB.g, RGB.b)); float C = HSV.z - M; if (C != 0.0) { HSV.y = C / HSV.z; vec3 D = vec3((((HSV.z - RGB) / 6.0) + (C / 2.0)) / C); if (RGB.r == HSV.z) HSV.x = D.b - D.g; else if (RGB.g == HSV.z) HSV.x = (1.0/3.0) + D.r - D.b; else if (RGB.b == HSV.z) HSV.x = (2.0/3.0) + D.g - D.r; if (HSV.x < 0.0) { HSV.x += 1.0; } if (HSV.x > 1.0) { HSV.x -= 1.0; } } gl_FragColor = vec4(HSV, 1); }

Рис. 2 . Цветовой цилиндр HSV/B.

Для выделения красного цвета мы строим три пересекающиеся плоскости, которые образуют область в цветовом цилиндре HSV/B, соответствующую красному цвету. Задача выделения белого цвета является более простой, т.к. белый цвет расположен в центральной части цилиндра и нам достаточно указать порог по радиусу (ось S) и высоте (ось V) цилиндра, которые образуют область, соответствующую белому цвету.

Код шейдера, выполняющий эту операцию:

Varying highp vec2 textureCoordinate; precision highp float; uniform sampler2D Source; //parameters that define plane const float v12_1 = 0.7500; const float s21_1 = 0.2800; const float sv_1 = -0.3700; const float v12_2 = 0.1400; const float s21_2 = 0.6000; const float sv_2 = -0.2060; const float v12_w1 = -0.6; const float s21_w1 = 0.07; const float sv_w1 = 0.0260; const float v12_w2 = -0.3; const float s21_w2 = 0.0900; const float sv_w2 = -0.0090; void main() { vec4 valueHSV = texture2D(Source, textureCoordinate); float H = valueHSV.r; float S = valueHSV.g; float V = valueHSV.b; bool fR=(((H>=0.75 && -0.81*H-0.225*S+0.8325 <= 0.0) || (H <= 0.045 && -0.81*H+0.045*V-0.0045 >= 0.0)) && (v12_1*S + s21_1*V + sv_1 >= 0.0 && v12_2*S + s21_2*V + sv_2 >= 0.0)); float R = float(fR); float B = float(!fR && v12_w1*S + s21_w1*V + sv_w1 >= 0.0 && v12_w2*S + s21_w2*V + sv_w2 >= 0.0); gl_FragColor = vec4(R, 0.0, B, 1.0); }

Результат работы шейдера, выделяющего красный и белый цвет на изображении 512 х 512, приведен на Рис. 2. Однако, как показали вычислительные эксперименты, для дальнейшей работы полезно понижать разрешение изображения до 256 на 256, т.к. это повышает производительность и практически не влияет на качество локализации знаков.

Рис . 3. Красно-белое изображение.

Поиск окружностей на изображении

Большинство методов поиска окружностей работают с бинарными изображениями. Поэтому, полученное на предыдущем шаге красно-белое изображение нужно преобразовать в бинарный вид. В нашей работе мы опирались на то, что на запрещающих знаках белый цвет фона граничит с красным контуром знака, и разработали алгоритм для шейдера, который ищет такие границы на красно-белом изображении и отмечает граничные пиксели как 1, а не граничные - 0.

Работа алгоритма заключается в следующем:

сканируются соседние пиксели каждого красного пикселя изображения;
если находится хоть один пиксел белого цвета, то исходный красный пиксел помечается как граничный.

Таким образом, у нас получается черно-белое изображение (256 х 256), в котором фон залит черным цветом, а предполагаемые окружности - белым (Рис. 4а).

Рис. 4а . Бинарное изображение, отображающее границы красного и белого цветов.

Для уменьшения количества ложных точек полезно применить морфологию (Рис. 4б).

Рис. 4б . То же изображение, но после применения морфологии.

Далее, на полученном бинарном изображении необходимо найти окружности. Сначала, мы решили использовать метод Хаффа для поиска окружностей (Hough Circles Transform), реализованный на CPU в библиотеке OpenCV. К сожалению, как показали вычислительные эксперименты, данный метод слишком нагружает CPU и снижает производительность до неприемлемого уровня.

Логичным выходом из данной ситуации служил бы перенос алгоритма на шейдеры GPU, однако, как и другие методы поиска окружностей на изображениях, метод Хаффа плохо соответствует парадигме шейдеров (shader-approach). Таким образом, нам пришлось обратиться к более экзотическому методу поисков окружностей - методу быстрого поиск кругов при помощи градиентных пар (Fast Circle Detection Using Gradient Pair Vectors) , который показывает более высокую производительность на CPU.

Основные этапы данного метода следующие:

1 . Для каждого пикселя бинарного изображения определяется вектор, характеризующий направление градиента яркости в данной точке. Данные вычисления выполняет шейдер, реализующий оператор Собеля (Sobel operator):

Varying highp vec2 textureCoordinate; precision highp float; uniform sampler2D Source; uniform float Offset; void main() { vec4 center = texture2D(Source, textureCoordinate); vec4 NE = texture2D(Source, textureCoordinate + vec2(Offset, Offset)); vec4 SW = texture2D(Source, textureCoordinate + vec2(-Offset, -Offset)); vec4 NW = texture2D(Source, textureCoordinate + vec2(-Offset, Offset)); vec4 SE = texture2D(Source, textureCoordinate + vec2(Offset, -Offset)); vec4 S = texture2D(Source, textureCoordinate + vec2(0, -Offset)); vec4 N = texture2D(Source, textureCoordinate + vec2(0, Offset)); vec4 E = texture2D(Source, textureCoordinate + vec2(Offset, 0)); vec4 W = texture2D(Source, textureCoordinate + vec2(-Offset, 0)); vec2 gradient; gradient.x = NE.r + 2.0*E.r + SE.r - NW.r - 2.0*W.r - SW.r; gradient.y = SW.r + 2.0*S.r + SE.r - NW.r - 2.0*N.r - NE.r; float gradMagnitude = length(gradient); float gradX = (gradient.x+4.0)/255.0; float gradY = (gradient.y+4.0)/255.0; gl_FragColor = vec4(gradMagnitude, gradX, gradY, 1.0); }

Все ненулевые векторы группируются по направлениям. В силу дискретности бинарного изображения всего получается 48 направлений, т. е. 48 групп.

2 . В группах ищутся пары противоположно направленных векторов V1 и V2, например, 45 градусов и 225. Для каждой найденной пары проверяются условия (Рис. 5):

угол бета меньше некоторого порога
расстояние между точками P1 и P2 меньше заданного максимального диаметра окружности и больше минимального.

Если данные условия выполняются, то считается, что точка С, являющаяся серединой отрезка P1P2, является предполагаемым центром окружности. Далее эта точка C помещается, в так называемый, аккумулятор.

3 . Аккумулятор представляет собой трехмерный массив размером 256 x 256 x 80. Первые два измерения (256 x 256 - высота и ширина бинарного изображения) соответствуют предполагаемым центрам окружностей, а третье измерение (80) представляет возможные радиусы окружностей (максимальный - 80 пикселей). Таким образом, каждая градиентная пара накапливает отклик в некоторой точке, соответствующей предполагаемому центру окружности с некоторым радиусом.

Рис. 5 . Пара векторов V1-V2 и предполагаемый центр окружности C.

4 . Далее, в аккумуляторе ищутся центры, в которых дали отклик как минимум 4 пары векторов с различными направлениями, например, пары 0 и 180, 45 и 225, 90 и 270, 135 и 315. Близкие друг к другу центры объединяются. Если в одной точке аккумулятора найдено несколько центров окружностей с разными радиусами, то эти центры также объединяются и берется максимальный радиус.

Результат работы алгоритма поиска окружностей показан на Рис. 6.

Рис. 6 . Локализованные окружности, соответствующие двум запрещающим знакам.

Этап 2. Распознавание локализованных знаков

Локализованные на изображение окружности, которые должны соответствовать запрещающим знакам, вырезаются и нормализуются до размера 28х28 пикселя. Вырезанные изображения дополнительно обрабатываются оператором Собеля и передаются на вход сверточной нейронной сети, предварительно обученной на базе изображений запрещающих знаков.

О принципе работы нейросетей мы писали в одном из наших недавних проектов по распознаванию номеров банковских карт. Наша задача требовала работу с многослойными - сверточными - нейросетями. Когда сегментация знака завершена, мы получаем изображение, которое и передаем сверточной нейронной сети, построенной на основе работ Йэн ЛеКана, Леона Вотту, Йошуа Бенджио и Патрика Хаффнера. Для обучения нейросети была подготовлена небольшая база обучающих изображений.

После распознавания каждой окружности мы получаем массив вероятностей того или иного знака. Не всегда получается определить знак с хорошей вероятностью на одном кадре, нераспознанные знаки будут уточнены после обработки следующего кадра; точно распознанной считается знак, максимальное значение вероятности для которого в массиве вероятностей выше определенного порога.

Заключение

Прототип приложения-штурмана - наш пробный шар в использовании M2M-технологий, и мы планируем развивать это направление в дальнейшем. В ближайших планах - реализовать распознавание всех типов знаков и расширить диапазон яркости: день, сумерки, яркое солнце, закаты и др.

Основная сложность задачи по распознаванию других типов знаков - в определении форм отличных от круга: треугольников, квадратов и других. Пока у нас нет конечного решения, есть несколько вариантов, каждый со своими достоинствами и недостатками. Поэтому нам очень интересен ваш опыт решения задач по цветовой локализации, будем признательны вам за рекомендации и советы.

Введение

С каждым годом количество автомобилей в мире возрастает, соответственно возрастает и количество дорожно-транспортных происшествий. В связи с этим все больше внимания уделяется автомобильным системам интеллектуальной обработки информации и принятия решений. Инженерами разных стран мира разработано множество систем активной безопасности для автомобилей таких, как ABS (антиблокировочная система), EBD (система распределения тормозных усилий), ESP (система динамической стабилизации автомобиля) и многие другие. Одной из наиболее современных является система распознавания дорожных знаков и дорожной разметки, функциональные возможности которой заключаются в оповещении водителя о наличии дорожных знаков в поле зрения камеры и предупреждении о приближении к опасным участкам дороги.

Идентификация дорожных знаков относится к актуальной и сложной научно-практической задаче распознавания образов. В настоящее время в этой области ведутся интенсивные исследования. Результатом этих работ стало появление коммерческих интеллектуальных систем, основной особенностью которых является закрытость алгоритма функционирования. Серийные автомобили, оснащенные системой распознавания дорожных знаков и дорожной разметки, появились на рынке в 2010 – 2011 гг. Однако многие системы подобного рода основаны на алгоритмах с высокой ресурсоемкостью, что затрудняет их использование в системах реального времени.

Цель данной работы заключается в разработке алгоритма, осуществляющего распознавание дорожных знаков ограничения скорости, основной особенностью которого является высокая скорость обработки кадров (не менее 10 кадров/с). Достижение этой цели подразумевает решение следующих задач: преобразование цветового пространства; удаление шумов; выделение областей интереса; верификация объектов интереса; идентификация дорожного знака .

Преобразование цветового пространства кадров видеосигнала

Все дорожные знаки ограничения скорости имеют два общих признака – контур красного цвета и круглую форму знака (рис. 1). Поэтому первой стадией обработки кадров видеосигнала является выделение областей красного цвета.

Рис. 1. Дорожные знаки ограничения скорости

Входной видеосигнал состоит из последовательности изображений (кадров), каждое из которых представлено в цветовом пространстве RGB и фактически представляет собой матрицу размерностью M×N×3, состоящую из целых чисел в диапазоне , которые определяют цвет каждого пикселя изображения. В таком цветовом пространстве поиск областей красного цвета предполагает одновременный анализ трех составляющих, при этом изменение составляющей R будет влиять на допустимые значения составляющих G и B. Поэтому целесообразно использование цветового пространства HSV, в котором эффективность выделения красного цвета выше по сравнению с RGB пространством.

HSV (Hue, Saturation, Value - тон, насыщенность, значение) - цветовая модель, в которой координатами цвета являются:

Hue - цветовой тон , (например, красный , зелёный или сине-голубой). Варьируется в пределах 0-360°, однако иногда приводится к диапазону 0-100 или 0-1.
Saturation - насыщенность . Варьируется в пределах 0-100 или 0-1. Чем больше этот параметр, тем «чище» цвет, поэтому этот параметр иногда называют чистотой цвета . А чем ближе этот параметр к нулю , тем ближе цвет к нейтральному серому .
Value (значение цвета). Также задаётся в пределах 0-100 и 0-1.

Цветовая модель HSV наиболее близкая к человеческому восприятию цветов.

Преобразование изображения из цветовой модели RGB в цветовую модель HSV производится по следующим формулам :

Если H < 0, то H = H + 360.

После данных преобразований координаты цвета будут находиться в следующих диапазонах: .

Цвет дорожных знаков меняется в зависимости от освещения. Так пороговые значения цветового тона (Hue) для дорожных знаков с красным контуром в дневное время будут отличаться от пороговых значений цветового тона (Hue) для этих знаков в ночное время. В связи с эффектом отражения света от поверхности дорожных знаков, например, при свете автомобильных фар или уличного освещения в ночное время красный цвет на знаках может восприниматься как оранжевый. Поэтому нами экспериментально были подобраны пороговые значения координат цвета в различных погодных условиях и при различной освещенности (табл. 1).

Таблица 1. Пороговые значения координат цвета, используемые для выделения красного цвета

Цветовое пространство

Ясный день

Дождь/Влажность

Вечер

Ночь

129

156

100

YCbCr

100

140

100

150

170

156

300

0.7

0.5

300

0.7

0.5

300

0.7

0.5

0.7

0.5

Как видно из результатов таблицы 1 цветовое пространство HSV является наиболее подходящим для выделения красного цвета, т.к. пороговые значения координат цвета практически в любых условиях постоянны и только в ночное время пороговые значения цветового тона (Hue) отличны.

Выделение объектов красного цвета на кадрах видеосигнала после их конвертации в цветовое пространство HSV производится следующим образом:

Суммарная матрица изображения размером M×N×3 разделяется на три матрицы размером M×N, которые соответствуют трем компонентам цвета H, S и V.

Над каждой из матриц H, S, V производится пороговое преобразование в соответствии с пороговыми значениями из таблицы 1 такое, что если компонент матрицы попадает в интервал между пороговыми значениями, то яркость данного пикселя равна 1, в противном случае – 0. В результате данной операции получаются три матрицы со значениями компонентов 0 или 1.

Модифицированные матрицы H*, S*, V* объединяются с помощью выполнения над ними операции логического И. В результате получается бинарное изображение, на котором белые области соответствуют объектам красного цвета, а черные – всему остальному.

Рис. 2. Функции пороговой обработки

Рис. 3. Выделение красного цвета на изображении: а – исходное изображение; б – результат порогового преобразования

Удаление шумов с помощью морфологической фильтрации изображения

Морфологическая фильтрация представляет собой применение к, как правило, бинарному изображению следующих операций: расширение, сужение, открытие, закрытие.

Расширение - это свёртка некоторого изображения (или области изображения), которое мы будем называть A, с некоторым ядром, которое мы будем называть B. Ядро имеет точку привязки (якорь) и может быть любых форм и размеров. Чаще всего ядро имеет квадратную форму с точкой привязки в центре. Ядро может рассматриваться как шаблон или маска, и его эффект на расширение зависит от оператора локального максимума. Когда ядро “скользит” над изображением вычисляется максимальное значение пикселя перекрываемого B, и затем значение пикселя лежащего под опорной точкой заменяется этим максимальным значением. Это вызывает появление ярких областей на изображении.

Сужение - обратная операция. Действие оператора сужения заключается в вычислении локального минимума под ядром. Данный оператор создаёт новое изображение на основе исходного по следующему алгоритму: когда ядро “скользит” над изображением вычисляется минимальное значение пикселя перекрываемого B, и затем значение пикселя лежащего под опорной точкой заменяется этим минимальным значением.

Суть операции сужения в том, что вкрапления и шумы размываются, в то время как большие и соответственно более значимые регионы не затрагиваются. А идея операции расширения – найти регионы аналогичного цвета и интенсивности и попытаться их объединить. Полезность расширения возникает, потому что во многих случаях большая область разбита на несколько более мелких, шумами, тенями и т.д. Применение небольшого расширения должно привести к тому, что эти области “сплавятся” в одну.

Операции открытие и закрытие, представляют собой комбинацию операций сужения и расширения. В случае открытия сначала выполняется сужение, а затем расширение. В операторе закрытия наоборот сначала выполняется расширение, а затем сужение. Закрытие может использоваться для устранения нежелательных шумов.

Результаты морфологической фильтрации представлены на рис. 4. Из рисунка следует, что фильтрация эффективно удаляет шумы на изображении и способствует увеличению точности последующей верификации объектов интереса.

Рис. 4. Удаление шумов на изображении с помощью морфологической операции закрытие: а – изображение с шумом; б – изображение после фильтрации

Верификация объектов интереса

Только цветового признака для определения принадлежности объекта из области интереса к классу дорожных знаков ограничения скорости недостаточно, так как помимо дорожных знаков на изображении могут находиться другие объекты красного цвета (например, автомобили, рекламные доски, автомобильные стоп-сигналы). Второй признак, который можно выделить для всех рассматриваемых дорожных знаков, – форма эллипса очень близкого к кругу.

Для определения наличия эллипсов (кругов) в областях интереса целесообразно применять преобразование Хафа. Данный метод предназначен для поиска объектов, принадлежащих определённому классу фигур с использованием процедуры голосования. Процедура голосования применяется к пространству параметров, из которого и получаются объекты определённого класса фигур по локальному максимуму в, так называемом, накопительном пространстве (accumulator space), которое строится при вычислении трансформации Хафа.

Точки окружности можно представить формулой:

где (a, b) – координаты центра окружности, а R – ее радиус.

Таким образом, формула, задающая семейство окружностей, имеет вид:

Как видно из формулы, для нахождения окружностей нужно задавать 3 параметра - координаты центра окружности и её радиус. Это приводит к увеличению пространства Хафа на целое измерение, что в итоге сказывается на скорости работы. Поэтому для поиска окружностей применяется т.н. градиентный метод Хафа (Hough gradient method).

Эффективность использования преобразования Хафа резко падает при увеличении размерности фазового пространства, поэтому перед его применением желательно минимизировать каким-либо образом количество параметров кривой. Можно существенно снизить количество кривых, потенциально проходящих через данную точку изображения, если рассматривать только кривые, касательная которой перпендикулярна градиенту яркости изображения в рассматриваемой точке. Таким образом, можно, например, свести задачу выделения окружностей с неизвестным радиусом к двумерному фазовому пространству:

Применить детектор границ Кенни для нахождения границ на изображении .

Определить центры кругов.

Относительно центра определить ненулевые точки, лежащие на одном расстоянии.

Идентификация дорожного знака

Для распознавания дорожных знаков на кадрах видеопоследовательности после определения областей интереса к данным изображениям необходимо применить алгоритмы идентификации объектов на растровом изображении с целью определения смысла дорожного знака.

Прежде всего, изображение дорожного знака из области интереса должно быть приведено к единому размеру. После чего такое изображение подается на вход модуля идентификации. В разработанной системе для распознавания дорожных знаков на изображениях из областей интереса используется нейронная сеть с архитектурой многослойный персептрон.

Исследователями были предложены многие модели нейронных сетей для распознавания дорожных знаков. Простейшая используемая в работах нейронная сеть представляет собой многослойный персептрон с количеством нейронов во входном слое равным количеству пикселей в изображении дорожного знака из области интереса, одним скрытым слоем с экспериментально подобранным числом нейронов и выходным слоем с количеством нейронов равным количеству распознаваемых дорожных знаков. Однако такая нейронная сеть не дает удовлетворительных результатов распознавания, так как является слишком общей и громоздкой.

Для увеличения скорости работы алгоритма необходимо сократить размер входного вектора признаков. В простейшем случае при размере входного изображения 30 × 30 пикселей входной вектор признаков будет состоять из 3 * 30 * 30 = 2700 компонентов – значения пикселей изображения по 3 компонентам цвета (RGB), что неприемлемо для работы системы в реальном времени.

Предлагается сократить количество компонентов входного вектора признаков следующим образом:

где – элементы матрицы A размера 90 × 30, составленной из значений пикселей входного изображения по 3 компонентам цвета (RGB).

Преобразовать входное цветное изображение в изображение в градациях серого по формуле:

C = 0.229R + 0.587G + 0.114B

где C – интенсивность серого, R, G, B – красная, зеленая и синяя составляющие соответственно.

Для изображения в градациях серого рассчитать 30 вертикальных (vh) и 30 горизонтальных параметров (hh) по формулам соответственно:

где – компоненты матрицы C, T – адаптивный порог, вычисляемый по формуле:

В результате данных преобразований количество компонентов входного вектора признаков сократится с 2700 до 63, что позволит значительно увеличить производительность алгоритма идентификации объектов на растровом изображении.

Архитектура, используемой в системе нейронной сети представлена на рисунке 5.

Рис. 5. Архитектура нейронной сети

Экспериментально было подобрано число нейронов в скрытом слое для классификации знаков ограничения скорости. Число нейронов в скрытом слое N равно 90.

Выходной слой нейронной сети состоит из 8 нейронов, каждый из которых соответствует своему дорожному знаку (таблица 2).

Таблица 2. Соответствие дорожных знаков и выходных нейронов

Результаты экспериментов применения разработанного алгоритма распознавания дорожных знаков ограничения скорости

Исследование точности и быстродействия разработанного алгоритма выполнялось в среде IDE Microsoft Visual Studio 2010 с использованием библиотеки Qt 4.7 на видеоролике участка трассы Саратов – Волгоград протяженностью 50 км. Видеоролик был снят смартфоном Samsung Galaxy S. В качестве аппаратной платформы использовался нетбук HP Mini 210 со следующими техническими характеристиками:

Процессор Intel Atom N455;

ОЗУ 2 Gb DDR2.

Все методы обработки изображений реализованы с использованием хорошо оптимизированной библиотеки OpenCV 2.3.

Результаты исследования алгоритма представлены в таблице 3.

Таблица 3. Результаты исследования точности и быстродействия разработанного алгоритма

Параметр	Результаты
Общее количество знаков
Количество правильно определенных знаков
Количество неправильно определенных знаков
Количество пропущенных знаков
Среднее время обработки кадра, мс

Полученные характеристики точности и быстродействия разработанного алгоритма являются приемлемыми и позволяют использовать данный алгоритм в подобных системах реального времени.

Выводы

Разработан алгоритм распознавания дорожных знаков ограничения скорости. В результате проведения экспериментального исследования в среде IDE Microsoft Visual Studio 2010 с использованием библиотеки Qt 4.7 и библиотеки OpenCV 2.3 установлено, что точность (около 91 %) и быстродействие (20 кадров/с) алгоритма позволяет создавать на его основе интеллектуальные системы технического зрения, способные в режиме реального времени оповещать водителя о наличии дорожных знаков ограничения скорости в поле зрения камеры.

В дальнейшем планируется адаптация данного алгоритма для работы на мобильном устройстве (смартфоне) на базе операционной системы Google Android.

Использованная литература

Гонсалес Р., Вудс Р. Цифровая обработка изображений. – М.: Техносфера – 2005. – 1072 с.

Bradski G., Kaehler A. Learning OpenCV. - Sebastopol: O’Reilly, 2008 . - 555 p.

Brkic K. An overview of trafﬁc sign detection methods.

Canny J. A Computational Approach to Edge Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. - November 1986. - V. 8, N. 6. - P. 679 – 697.