Prezi logo
Log in
Loading…

2.СИСТЕМЫ ТЕХ ЗРЕНИЯ

Transcript

КЛАССИФИКАЦИЯ

1. Системы технического зрения низкого уровня предназначены для обработки информации с датчиков очувствления.

2. Системы технического зрения среднего уровня связаны с задачами сегментации, описания и распознавания отдельных объектов. Эти задачи охватывают множество подходов, основанных на аналитических представлениях. 3. Системы технического зрения высокого уровня решают следующие проблемы: возможность выделения существенной информации из множества независимых признаков; способность к обучению на примерах и обобщению этих знаний с целью их применения в новых ситуациях; возможность восстановления событий по неполной информации; способность определять цели и формулировать планы для достижения этих целей.

СЕГМЕНТАЦИЯ

  • процесс подразделения сцены на составляющие части или объекты.
  • является одним из основных элементов работы автоматизированной системы технического зрения, так как именно на этой стадии обработки объекты выделяются из сцены для дальнейшего распознавания и анализа.
  • Алгоритмы сегментации, как правило, основываются на разрывности и подобии. В первом случае основной подход основывается на определении контуров, а во втором — на определении порогового уровня и расширении области. Эти понятия применимы как к статиче­ским, так и к динамическим (зависящим от времени) сценам.

СТЗ могут быть

  • одномерными (линейка), двух- и трехмерными;
  • монохромными (полутоновыми, черно-белыми); — цветными.

ИСТОРИЯ РАЗВИТИЯ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ

СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ

РОБОТОТЕХНИКА

  • Направление Техническое зрение сформировалась как самостоятельная дисциплина к концу 60х годов. Оно выделилось из работ по распознаванию образов, когда была осознана его математическая специфика, фотоизображение представляет собой двухмерную проекцию трехмерного мира, т.е. вырожденное преобразование. Это означает, что для полной и правильной интерпретации того, что изображено, необходимо иметь дополнительную информацию.
  • Первые системы технического (машинного, компьютерного) зрения, нашедшие применение в средствах робототехники, копировали органы зрения живых организмов, развиваясь в такой последовательности: черно-белые монокулярные СТЗ, цветные, стереоскопические и многоракурсные с различными вариантами аппаратной реализации.
  • Первое устойчивое применение в робототехнике СТЗ получили в системах управления манипуляторов и мобильных роботов от человека-оператора в 70–80-е годы прошлого столетия в ЦНИИ РТК были созданы такие системы управления для подводных роботов различного назначения.
  • Впервые опыт управления роботами с помощью СТЗ был получен при ликвидации последствий аварии на Чернобыльской АЭС (1986 год). Было реализовано групповое применение мобильных роботов с централизованным управлением от оператора. Оператор с помощью задающих рукояток и различных средств целеуказания осуществлял управление роботами- наблюдателями, которые выдавали на экран пульта управления общую картину рабочей зоны, роботами-разведчиками, которые проводили детальное обследование этой зоны с передачей помимо видео еще и информации о радиационной обстановке.
  • Дальнейшим этапом развития систем очувствления роботов стало комплексирование СТЗ с другими сенсорными системами, т. е. совместное их использование прежде всего для решения задач, которые иначе не могли быть решены.

РЕАЛИЗАЦИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО (МАШИННОГО ЗРЕНИЯ)

ИСТОРИЯ РАЗВИТИЯ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ

  • 1970-е гг. - Лавренсе Робертс, аспирант МТИ, выдвинул концепцию машинного построения трехмерных образов объектов на основе анализа их двумерных изображений. На данном этапе стал проводиться более глубокий анализ данных. Начали развиваться различные подходы к распознаванию объектов на изображении, например структурные, признаковые и текстурные.
  • 1979 г. - профессор Ганс-Хельмут Нагель из Гамбургского университета заложил основы теории анализа динамических сцен, позволяющей распознавать движущиеся объекты в видеопотоке.
  • В конце 1980-х годов были созданы роботы, способные более-менее удовлетворительно оценивать окружающий мир и самостоятельно выполнять действия в естественной среде
  • 80-е и 90-е годы ознаменовались появлением нового поколения датчиков двухмерных цифровых информационных полей различной физической природы. Развитие новых измерительных систем и методов регистрации двухмерных цифровых информационных полей в реальном масштабе времени позволило получать для анализа устойчивые во времени изображения, генерируемые этими датчиками. Совершенствование же технологий производства этих датчиков позволило существенным образом снизить их стоимость, а значит, значительно расширить область их применения

  • После восприятия информации в виде визуального изображения производится ее предварительная обработка для снижения посторонних помех, улучшения изображений отдельных элементов обьекта или сцены, а затем она подвергается сегментации, заключающейся в подразделении сцены на составляющие части или элементы для выделения на изображении интересующих объектов.
  • Последующее описание массива информации представляет собой определение характерных параметров, необходимых для выделения требуемых объектов или элементов сцены и дальнейшего их распознавания посредством идентификации в соответствии с программным набором информации. И, наконец, посредством интерпретации окончательно устанавливается принадлежность "рассматриваемого" объекта к группе распознаваемых, установление его зрительного образа.

ИСТОРИЯ РАЗВИТИЯ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ

  • Первое техническое зрение для промышленных роботов, было продемонстрировано в 1969 году Стэнфордским исследовательским институтом.
  • В Институте прикладной математики им. М.В. Келдыша эта тематика появилась несколько позже. Первые задачи были поставлены в начале 70-х, а результаты были получены во второй половине 70-х годов XX века.
  • На первом этапе развития работ по машинному зрению приходилось решать техническую и в то же время тяжелую задачу ввода изображения в память вычислительной машины, очень ограниченную. Визуализация изображения, каким-то образом сформированного в памяти машины, была невозможна до появления системы ГРАФОР, которая давала возможность вывести на бумагу с помощью графопостроителя график или контурный рисунок. Несколько лучше обстояло дело для ЭВМ, имеющих вывод на дисплей, но и там выводились точечные или контурные изображения. Обработку изображений (точнее, графического препарата) и моделирование трехмерных предметов и сцен приходилось осуществлять при помощи самодельного нестандартного матобеспечения. Поэтому компьютерное моделирование и техническое макетирование были упрощенными.
  • С развитием техники, особенно с появлением в 90 годы персональных компьютеров и цифровых фото- и видеокамер, наступила новая, современная эра в области машинного зрения. Проблемы получения информации, сопряжения оптического канала ввода с ЭВМ и визуализации были решены, а область содержательных исследований зрительных проблем, а также применения видеоввода для измерений и автоматического наблюдения быстро расширяется.

Электронное учебно-методическое пособие "Робототехника для учащихся ВУЗов"

МЕТОДЫ ОБРАБОТКИ ИЗОБРАЖЕНИЯ

ИСТОРИЯ РАЗВИТИЯ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ

РЕАЛИЗАЦИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО (МАШИННОГО ЗРЕНИЯ)

В основе системы технического зрения лежит цифровая камера, которая снимает окружающее пространство, затем полученные данные обрабатываются процессором с использованием определенного алгоритма анализа изображения для выделения из них и классификации интересующих нас параметров. На этом этапе идет подготовка и вывод данных в виде, подходящем к обработке контроллером робота. Затем данные передаются непосредственно на контроллер робота, где мы их можем использовать для управления роботом.

Техническое, или машинное, зрение реализует сложный процесс выделения, идентификации и преобразования видеоинформации, который содержит шесть основных этапов:

  • получение (восприятие) информации;
  • предварительная обработка;
  • сегментация;
  • описание;
  • распознавание
  • интерпретация.

В системах машинного зрения, для решения перечисленных задач, используются различные технологии и методы.

  • Счетчик пикселей: подсчитывает количество светлых или темных пикселей и на основе результата делает необходимые выводы об изображении.

  • Выделение связанных областей: Связная область изображения – это, с одной стороны, тип объекта, все еще очень близко связанный с растровым изображением, и в то же время – это уже некая самостоятельная семантическая единица, позволяющая вести дальнейший геометрический, логический, топологический и любой другой анализ изображения

  • Бинаризация: преобразует изображение в серых тонах в бинарное (белые и черные пиксели).

  • Гистограмма и гистограммная обработка: Гистограмма характеризует частоту встречаемости на изображении пикселей одинаковой яркости.

  • Сегментация: используется для поиска и/или подсчета деталей. Сегментацией изображения называется разбиение изображения на непохожие по некоторому признаку области. Предполагается, что области соответствуют реальным объектам, или их частям, а границы областей соответствуют границам объектов.

  • Чтение штрих-кодов: декодирование 1D и 2D кодов, разработанных для считывая или сканирования машинами

  • Оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров

  • Измерение: измерение размеров объектов в дюймах или миллиметрах

  • Сопоставление шаблонов: поиск, подбор, и/или подсчет конкретных моделей

  • Инвариантные алгоритмы сопоставления точечных особенностей на изображениях: обнаружения и сопоставление точечных особенностей на изображениях.

  • Методы идентификация личности по радужной оболочке глаза

  • Различные методы восстановления формы объекта по изображениям

  • В большинстве случаев, системы машинного зрения используют последовательное сочетание этих методов обработки для выполнения полного инспектирования. Например, система, которая считывает штрих-код может также проверить поверхность на наличие царапин или повреждения и измерить длину и ширину обрабатываемых компонентов.

СТРУКТУРА РЫНОЧНОГО СПРОСА

ЗАДАЧИ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ

СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ

ФУНКЦИОНАЛЬНОЕ НАЗНАЧЕНИЕ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ РОБОТА

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ

  • Видеонаблюдение. Визуальный контроль заданной области пространства при помощи одной или нескольких видеокамер, позволяющий сохранять и просматривать цифровые видеоданные, постоянно оценивать состояние контролируемой территории, выделяя охранные события, заключающиеся различных изменениях наблюдаемой обстановки.

  • Стереообнаружение движения в зоне видеонаблюдения: однократная трёхмерная реконструкция тестового пространства/помещения, обнаружение новых/неизвестных объектов, определение дальности и характеристик движения выделенных объектов, оценка размера и характера движения обнаруженных объектов с целью селекции людей-нарушителей от других возможных типов.

  • Считывание регистрационных номеров автомобилей: одним из типовых приложений такого рода является разработанная система выделения и распознавания номерных знаков автомашин в потоке на автомагистрали. - Биометрия: в биометрических системах для распознавания человека используется совокупность биометрических характеристик, основанных на биологических особенностях человеческого тела.

  • Автоматическая привязка телефрагментов к ортофотоизображению: используется для информационного обеспечения автономного летательного аппарата.

  • Роботы, снабженные системой технического зрения, достаточно широко применяются во многих отраслях промышленности. Систему технического зрения используют для обеспечения условий техники безопасности на роботизированных рабочих местах. Системы технического зрения необходимы роботам, предназначенным для исследования космического и подводного пространства, используемым для тушения пожаров и при других стихийных бедствиях, в авиации.

  • Робототехника является традиционной областью применения машинного зрения

  • Системами технического зрения (СТЗ) называют сенсорные устройства, обеспечивающие получение изображений рабочих сцен и объектов, их преобразование, обработку и интерпретацию с помощью ЭВМ, а также передачу результатов управляющему устройству робота. Среди различных систем очувствления роботов СТЗ обладают наибольшей информативной емкостью, обеспечивая по некоторым оценкам от 80 до 90% всей необходимой для успешного функционирования робота информации.

  • Визильтер Ю. В., Желтов С. Ю., Князь В. А., Ходарев А. Н., Моржин А. В. В41 Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision. – М.: ДМК Пресс, 2007. – 464 с.
  • Техническое зрение в системах управления 2012//Сборник трудов научно- технической конференции. Под ред. Р. Р. Назирова. – Москва, 14–16 марта 2012 г.
  • Аунг Ч.Х., Тант З.П., Федоров А.Р., Федоров П.А. РАЗРАБОТКА АЛГОРИТМОВ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ИНТЕЛЛЕКТУАЛЬНЫМИ МОБИЛЬНЫМИ РОБОТАМИ НА ОСНОВЕ НЕЧЕТКОЙ ЛОГИКИ И НЕЙРОННЫХ СЕТЕЙ // Современные проблемы науки и образования. – 2014. – № 6.;
  • URL:https://www.science-education.ru/ru/article/view?id=15579 (дата обращения: 25.07.2017).
  • Яне Б. Цифровая обработка изображений. М., Техносфера, 2007. 583 с.
  • Визильтер Ю. В., Желтов С. Ю., Князь В. А., Ходарев А. Н., Моржин А. В. Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision. – М.: ДМК Пресс, 2007.
  • Зуева Е.Ю. «Компьютерное зрение в ИПМ им. В.М. Келдыша РАН – история развития» - http://en.wikipedia.org/wiki/Machine_vision
  • Lazebnik S. Computer Vision (COMP 776), 2011.
  • The University of North Carolina at Chapel Hill
  • Li Fei-Fei. Computer Vision / Introduction to Computer Vision (CS 223b), 2011. Stanford University
  • Конушин А. и др. Курс «Введение в компьютерное зрение»
  • «Доп. главы компьютерного зрения», 2011. Лаборатория компьютерной графики при ВМК МГУ (видеолекции), http://graphicon.ru/ru/courses
  • Конушин A. Семантическая классификация изображений, 2010. Сomputer Science клуб при ПОМИ РАН (видеолекция), http://www.lektorium.tv
  • Якушенков Ю.Г. Теория и расчёт оптико-электронных приборов: учебник. М.: Логос, 2011. 567 с.

КОМПОНЕНТЫ СИСТЕМЫ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ:

  • Датчик для синхронизации частей обнаружения (часто оптический или магнитный датчик) для захвата и обработки изображений.
  • Приводы определенной формы используемые для сортировки или отбрасывания бракованных деталей.

Датчики изображения.

  • Оптическое изображение объекта, сфокусированное с помощью объектива на фоточувствительной поверхности оптоэлектронного преобразователя, трансформируется в электрический сигнал, который в большинстве случаев представляется в форме изменяющегося во времени напряжения и называется видеосигналом.
  • Важным преимуществом датчиков изображения, выполненных на базе оптоэлектронных преобразователей, является стандартизация их выходных сигналов. Это позволяет использовать в системе технического зрения практически любую стандартную телекамеру с подходящими параметрами.

КОМПОНЕНТЫ СИСТЕМЫ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ:

ИСТОРИЯ РАЗВИТИЯ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ

  • Машинное (техническое) зрение — это применение компьютерного зрения для промышленности и производства.
  • В то время как компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть, областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода-вывода и компьютерные сети, предназначенные для контроля производственного оборудования, таких как роботы-манипуляторы или аппараты для извлечения бракованной продукции.
  • Машинное зрение является подразделом инженерии, связанное с вычислительной техникой, оптикой, машиностроением и промышленной автоматизацией.
  • Одно из наиболее распространенных приложений машинного зрения — инспекции промышленных товаров, таких как полупроводниковые чипы, автомобили, продукты питания и лекарственные препараты. Люди, работавшие на сборочных линиях, осматривали части продукции, делая выводы о качестве исполнения. Системы машинного зрения для этих целей используют цифровые и интеллектуальные камеры, а также программное обеспечение обрабатывающее изображение для выполнения аналогичных проверок.

Типовое решение системы машинного зрения включает в себя несколько следующих компонентов:

  • Одна или несколько цифровых или аналоговых камер (черно-белые или цветные) с подходящей оптикой для получения изображений

  • Программное обеспечение для изготовления изображений для обработки. Для аналоговых камер это оцифровщик изображений

  • Процессор (современный ПК c многоядерным процессором или встроенный процессор, например — ЦСП)

  • Программное обеспечение машинного зрения, которое предоставляет инструменты для разработки отдельных приложений программного обеспечения.

  • Оборудование ввода-вывода или каналы связи для доклада о полученных результатах

  • Умная камера: одно устройство, которое включает в себя все вышеперечисленные пункты.

  • Очень специализированные источники света (светодиоды, люминесцентные и галогенные лампы и т. д.)

  • Специфичные приложения программного обеспечения для обработки изображений и обнаружения соответствующих свойств.

РЕАЛИЗАЦИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО (МАШИННОГО ЗРЕНИЯ)

ПРОБЛЕМЫ РАЗРАБОТКИ И ВНЕДРЕНИЯ СТЗ.

СТРУКТУРНАЯ СХЕМА АЛГОРИТМОВ ОПЕРАЦИЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В СИСТЕМЕ ТЕХНИЧЕСКОГО ЗРЕНИЯ

  • Неоднозначность и нарушение непрерывности при отображении 3-х мерного мира на 2-х мерный;
  • Существенное влияние внешних (освещение, движение объектов, различные отражающие свойства материалов) и внутренних (самой системы формирования данных) факторов на изменчивость образов объектов.
  • Требования реального времени.
  • Проблемой технического зрения в робототехнике являются шумы, из-за которых робот медленно обрабатывает информацию и выполняет те или иные задачи. Подавление шумов достигается использованием фильтров и оформлением подсветки таким образом, чтобы более четко выявить край изображения и избежать «бликов» – паразитных переотражений.
  • отсутствие единых стандартов на оборудование и программные интерфейсы.
  • дороговизна и сложность эксплуатации соответствующих датчиков.
  • Продолжительна и сложна процедура калибровки систем машинного зрения при настройке на определенную предметную область. Требует значительного времени и вычислительных ресурсов для обучения нейронной сети.
  • Нехватка хороших математических алгоритмов, ориентированных на компьютеры с высокой производительностью и поддерживающих параллельную обработку

  • С начала 90-х годов в алгоритмическом аспекте последовательность действий по обработке изображения принято рассматривать в согласии с так называемой модульной парадигмой. Эта парадигма, предложенная Д. Марром на основе длительного изучения механизмов зрительного восприятия человека, утверждает, что обработка изображений должна опираться на несколько последовательных уровней восходящей информационной линии: от «иконического» представления объектов (растровое изображение, неструктурированная информация) – к их символическому представлению (векторные и атрибутивные данные в структурированной форме, реляционные структуры и т. п.).
  • В середине 90-х годов появились первые коммерческие системы автоматической навигации автомобилей. Эффективные средства компьютерного анализа движений удалось разработать в конце XX века
  • 2003 г. - на рынок были выпущены первые достаточно надежные корпоративные системы распознавания лиц.

СТРУКТУРА РЫНОЧНОГО СПРОСА

ЗАДАЧИ ТЕХНИЧЕСКОГО (МАШИННОГО) ЗРЕНИЯ

  • 50% всех систем машинного зрения эксплуатируются в задачах контроля качества, т.е. решают инспекционные задачи машинного зрения. Это прежде всего визуальный контроль за процессом сборки, цветом и качеством поверхности продукции, внешним видом и чистотой упаковки, правильностью и разборчивостью этикеток, уровнем жидкости во всевозможной таре и т. д.

  • Примерно 10% этих задач выполняются системами трехмерного зрения. Отдельная область использования систем машинного зрения на производстве - проведение всевозможных визуальных измерений параметров технологических процессов и, в частности, определение размеров предметов, т.е. решение задач измерения.

  • 20% спроса приходится на системы машинного зрения для проектов автоматизации производства и внедрения промышленных роботов. Такие системы машинного зрения упрощают самые разные виды высокоточной деятельности (сборка и разборка, фасовка, покраска, сварка, утилизация), облегчают транспортировку грузов, применяются в системах учета, маркировки, регистрации и сортировки продукции. Также инспекционные задачи и задачи расположения для правильной работы робота.

  • 17% всех продаж систем машинного зрения составляют широко известные и хорошо работающие OCR/OCV-системы распознавания печатных символов и штрих-кодов. Решение задачи идентификации.

  • Рынок систем машинного зрения для непроизводственных (развлекательных, бытовых, исследовательских) роботов составляет 13%

  • Распознавание положения. Цель машинного зрения в данном применении – определение пространственного местоположения (местоположения объекта относительно внешней системы координат) или статического положения объекта (в каком положении находится объект относительно системы координат с началом отсчёта в пределах самого объекта) и передача информации о положении и ориентации объекта в систему управления или контроллер.
  • Измерение. В приложениях данного типа основная задача видеокамеры заключается в измерении различных физических параметров объекта. Примером физических параметров может служить линейный размер, диаметр, кривизна, площадь, высота и количество (измерение различных диаметров горлышка стеклянной бутылки).
  • Инспекция. В приложениях, связанных с инспекцией, цель машинного зрения – подтвердить определённые свойства, например, наличие или отсутствие этикетки на бутылке, болтов для проведения операции сборки, шоколадных конфет в коробке или наличие различных дефектов.
  • Идентификация. В задачах идентификации основное назначение видеокамеры – считывание различных кодов (штрих-кодов, 2D-кодов и т. п.) для их распознавания с помощью камер или системного контроллера, а также определение различных буквенно-цифровых обозначений