Крижанівський В

Крижанівський В.В.

Національний технічний університет України

«Київський політехнічний інститут», ННК «ІПСА»

Модифікований метод розпізнавання фруктів

В сільськогосподарській галузі існує безліч задач, які можна спростити і пришвидшити за допомогою комп’ютерного зору. За допомогою таких систем можна моніторити дерева та рівні стиглості плодів, виявляти хвороби, шкідників, збирати врожай, сортувати плоди за якістю та багато іншого.

Система розпізнавання фруктів є одною з складних задач для комп’ютерного зору. В майбутньому такі системи зможуть розрізнити до 10000 різних плодів без участі людини. Вони може застосовуватися в магазинах для автоматичного розпізнавання плодів на вагах для другу ціни. На шляху розв’язку цієї задачі постає багато проблем. Одна з них – це те, що у більшості фруктів та овочів відбуваються значні коливання кольору та текстури в залежності від того чи дозріли вони.

Таким чином ціллю дипломної роботи є розробка алгоритму для розпізнавання об’єктів, зокрема фруктів та овочів і його програмна реалізація.

Для її досягнення у роботі поставлено наступні задачі:

· Проаналізувати існуючі алгоритми, підходи та методи для розпізнавання образів, зокрема фруктів. Провести їх порівняльний аналіз та виявити недоліки.

· Створити алгоритм для розв’язку задачі розпізнавання фруктів.

· Розробити програмний продукт, в якому втілено запропонований алгоритм.

Науковою новизною отриманих результатів є запропонований метод розпізнавання фруктів, що використовує сукупність різнотипових ознак і добре підходить для розпізнавання однотонних об’єктів, схожих за формою.

Мій алгоритм складається з таких етапів

1. Виділення об’єкту на передньому плані, що підходить для розпізнавання

2. Виділити ознаки кольору

3. Дослідити текстуру плоду

4. Проаналізувати його форму

5. Далі було розроблено алгоритм навчання та розпізнавання фруктів.

Відразу виділяти ознаки зображення є недоцільним, так як це займає багато часу та спотворює дані. Тому першим етапом є знаходження актуальної області об’єкта (ROI). В моїй роботі розроблено такий алгоритм:

• Знаходимо границі методом Канні

• Робимо морфологічне закриття в дві ітерації за допомогою структурного елемента коло радіусом в 7 пікселів

• Вибираємо найбільший за площею невкладений контур, користуючись методом Сузукі

• Заливаємо контур, створюючи маску

Правильно виділивши маску плода, можна приступити до розпізнавання. Так ми приходимо на другий етап – розпізнавання за кольором.

Для цього існує кілька підходів:

1. Можна вибрати всі пікселі актуальної області, та для кожного каналу (червоний, синій, зел) вираховується середнє значення та дисперсія.

Але фрукти мають дефекти, а фотографії – бліки, тому дані суттєво різняться. Також плоди можуть містити кілька кольорів. І для них цей метод не є надто ефективним.

2. Можна перевести зображення в кольорову модель HSV, в ній лише для каналів відтінку та насиченості вираховується асиметрія та ексцес.

Проаналізувавши гістограми кожного каналу RGB HSV було зроблено висновок, що фрукт найкраще характеризує ознака тону. Насиченість та яскравість суттєво різняться через саму природу фрукта, освітлення та тіні. Було вибрано модель HSV за робочу. Але ознака тону є циклічною, тому рахувати середнє значення не є надто ефективним. В цій роботі за основну ознаку відтінку було обрано моду.

Окрім моди варто виділити інші ознаки. Для цього було вибрано відрізок в околиці моди і в ньому обчислюється відхилення від моди, асиметрія та ексцес. Ці ознаки не такі ефективні, як мода, але в сукупності краще характеризують об'єкт. В парі з відтінком насиченість теж гарно характеризує об'єкт.

Наступним етапом є виділення ознак за формою. Для виділення цих ознак достатньо мати бінарне зображення. Наприклад, можна просто [2], маючи актуальну область зображення обчислити її площу та периметр. А на їх основі можна вирахувати круглість об'єкта. Також існують підходи, в який обраховується більше ознак форми [4]. Площу та периметр теж можна віднести до ознак. Це звісно за умови, що об’єкти завжди з’являтимуться приблизно на одній відстані перед камерою. Ще можна побудувати опуклу оболонку навколо об’єкту методом Грехема [5]. Й додати такі ознаки форми, як площа опуклої оболонки та цілісність, яка вираховується, як відношення площі об’єкта до площі його опуклої оболонки. Також можна ввести випадкову величину, рівномірно розподілену в актуальній області зображення та знайти її коваріаційну матрицю. Ця матриця буде квадратичною формою деякого еліпсу на площині. А крива другого порядку і буде називатися еліпсом, що має такий же другий момент, як і об’єкт. Ця фігура, так би мовити, обрамлятиме наш об’єкт (рис 1). Саме тому до ознак форми слід долучити довжини осей цього еліпсу та його ексцентриситет.

Рисунок 1

$C:\Users\mail_000\Desktop\iwate1822 - Copy - Copy.jpg$ $C:\Users\mail_000\Desktop\iwate1822 - Copy - Copy - Copy.jpg$ $C:\Users\mail_000\Desktop\iwate1822.jpg$

Об’єкт, його опукла оболонка та еліпс

На жаль, ознаки форми гарно характеризують фрукт, лише тоді, коли на зображенні лише один екземпляр. Якщо ж на зображенні більше одного представника – ефективності з цих ознак значно менше. В такому випадку варто виділити один об’єкт, що не перекривається іншими.

На наступному етапі варто розглянути ознаки текстури. В одному з підходів [4] зображення перекодовується в одно канальне з колірної моделі RGB в відтінки сірого. Утворюється нове зображення І, значення кожного пікселя якого є середнім арифметичним трьох каналів RGB. А замість побудови матриці спільного входження будується дві гістограми: суми h_s та різниці h_d. На основі отриманих гістограм обчислюються такі ознаки текстури, як середнє, контраст, однорідність, енергія, дисперсія, кореляція та ентропія.

Недоліком методу є те, що всі ознаки обраховуються один раз для конкретного напрямку (d1,d2). Це дуже погано, якщо текстура змінюється у різних напрямках по-різному, наприклад є смугастою. У моїй роботі ця проблема вирішується за допомогою еліпсу, описаного на минулому етапі. Напрямок обирається вздовж довшої півосі, а його довжина рівна 10 частині.

Для навчання та розпізнавання було обрано стандартну нейронну мережу зворотнього поширення помилки.

Дану програму було випробувано на вибірці 350 зображень семи різних видів фруктів та овочів по 50 штук кожного. Вже після 20 ітерації алгоритму зворотного поширення помилки, нейромережа навчилася і дала помилку менше 10% як в навчальній, так і в тестовій вибірці (табл 1).

Таблиця 1

	Модифікований алгоритм	Класичний алгоритм	Колір		Текстура	Форма
	Модифікований алгоритм	Класичний алгоритм	Насиченість	Відтінок	Текстура	Форма
Яблуко	100	90	90	90	70	70
Помідор	100	90	80	80	90	10
Лимон	90	60	0	30	0	60
Банан	100	100	90	0	50	100
Огірок	100	90	100	40	40	90
Яблуко Голден	100	80	100	90	30	0
Апельсин	60	20	0	20	10	0
Сумарно	92,86	75,71	65,71	50,00	41,43	47,14

Під час роботи над дипломним проектом було проаналізовано існуючі підходи для виділення ознак зображень, виявлено їх недоліки. Також було досліджено алгоритми навчання систем для навчання з вчителем та проаналізовано їх з відповідність до поставленої задачі. В роботі було запропоновано модифікований алгоритм розпізнавання фруктів. Даний алгоритм було реалізовано мовою програмування python та виконано на вибірці зі 350 зображень. Було отримано такі цифри – розпізнано 97% навчальної вибірки та 92% тестової, що є чудовим результатом.

Література

1. Parker J.R. Algorithms for Image Processing and Computer Vision; Second Edition. / Parker J.R – Indianapolis, Indiana: Wiley Publishing, Inc., 2011. – 504p.

2. Harsh S Holalad An FPGA based Efficient Fruit Recognition System Using Minimum Distance Classifier. [Electronic Resource] / Harsh S Holalad, Preethi Warrier, Aniket D Sabarad – India: B V Bhoomaraddi College of Engg & Tech Hubli, 2012. – Mode of access: URL:

http://www.iiste.org/Journals/index.php/JIEA/article/viewFile/2328/2329

3. S.Arivazhagan Fruit Recognition using Color and Texture Features. [Electronic Resource] / S.Arivazhagan, R.Newlin Shebiah, S.Selva Nidhyanandhan, L.Ganesan – Sivakasi, Tamilnadu, India: Mepco Schlenk Engineering College. 2010. – Mode of access: URL:

http://www.cisjournal.org/archive/vol1no1/vol1no1_12.pdf

4. Yudong Zhang Classification of Fruits Using Computer Vision and a Multiclass Support Vector Machine [Electronic Resource] / Yudong Zhang and Lenan Wu – Nanjing, China: School of Information Science and Engineering, Southeast University, 2012. – Mode of access: URL:

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3478854/

5. Lou. S Algorithms for morphological profile filters and their comparison. [Electronic Resource] / Lou. S, Jiang. X, Scott. P.J., 2012. – Mode of access: URL:

http://www.sciencedirect.com/science/article/pii/S0141635912000074

6. Canny. A Computational Approach to Edge Detection, IEEE Trans. on Pattern Analysis and Machine Intelligence [Electronic Resource] / Canny. A, 1986. – Mode of access: URL:

http://dl.acm.org/citation.cfm?id=11275