Robotik sistemlerde görüntü işleme tabanlı nesne tanıma için akıllı ortam aydınlatması

Abstract

Görüntü işleme tabanlı uygulamalarda ortam aydınlatması, nesnelerin doğru tespit edilmesi ve enerji kullanımı açısından önemli bir husustur. Klasik yöntemlerde ortam aydınlatması ışık kaynağı sürekli açık tutularak, ihtiyaca göre elle açılıp kapatılarak, zamanlayıcı kullanarak veya çeşitli sensörler yardımıyla aydınlık düzeyi ölçülerek otomatik olarak yapılmaktadır. Bu tez çalışmasında, robotik elleçleme uygulamalarına yönelik nesne tespiti ve pozisyon belirlenmesi amacıyla görüntü işlemeye dayalı referans-renk-tabanlı akıllı ortam aydınlatması yapan bir gömülü sistem tasarımı yapılmış ve performansı incelenmiştir. Sistemde asgari aydınlık düzeyinin elde edilmesi için harici bir sensöre ihtiyaç duyulmadan pozisyonları daha önceden belirlenmiş kırmızı, yeşil, mavi ve sarı renkli nesneler referans alınarak aydınlatma sisteminin gücü ayarlanmaktadır. Tasarlanan sistemde görüntü işleme, aydınlatma ve 3-eksen elleçleme işlemleri için Raspberry Pi 4B mini bilgisayar ve GRBL yazılım yüklü Arduino CNC shield kartı kullanılmıştır. Görüntü alma işlemi Raspberry Pi kamera modülü üzerinden, nesnelerin elleçlenmesi ise bir elektromıknatıs ile yapılmıştır. Aydınlatma için PWM sinyali ile sürülen 12V DC beyaz şerit LED lamba kullanılmış ve aydınlık düzeyi oransal olarak kontrol edilerek akıllı ortam aydınlatması yapılmıştır. Sistem arayüz yazılımı Python dilinde kodlanmıştır ve görüntü işleme ile nesne tanıma ve pozisyon belirlenme için OpenCV kütüphanesi kullanılmıştır. Tasarlanan sistemin performansının incelenmesine yönelik deneysel çalışmalar kapsamında beyaz ışık ile aydınlatma yapılmış, platform zemini için yansıma yapmayan beyaz mat renkli plastik fon kullanılmış ve platform üzeri siyah örtü ile örtülmüştür. Renk tabanlı görüntü işleme ile nesne tespitinde Kırmızı, Yeşil, Mavi ve Sarı olmak üzere farklı renklere sahip referans nesneler kullanılarak gerekli olan minimum platform aydınlık düzeyi değerleri araştırılmıştır. Elde edilen deneysel sonuçlara göre; tespit işleminde renk seçimin önemli olduğu anlaşılmış ve bu renkler içerisinde en az aydınlık düzeyine ihtiyaç duyulan rengin sarı olduğu tespit edilmiştir. Sarı rengi ise sırasıyla, yeşil, kırmızı ve mavi renklerin takip ettiği görülmüştür. Tasarlanan sistemde yaklaşık 50 lx aydınlık düzeyinde renk tabanlı nesne tespitinin başarılı bir şekilde yapılabileceği ve çevresel aydınlatma durumuna bağlı olarak yaklaşık 0-225 mW arasında değişen bir güce ihtiyaç duyulduğu anlaşılmıştır. Sonuç olarak; akıllı ortam aydınlatması yapan gömülü sistemin çevresel koşullara bağlı olarak değişen enerji tasarrufu ile asgari aydınlık düzeyini sağladığı görülmüştür.

In image processing-based applications, ambient lighting is an important issue in terms of accurate detection of objects and energy use. Ambient lighting in classical methods; It is done by keeping the light source on all the time, turning it on and off manually as needed, using a timer or automatically measuring the illuminance level with the help of various sensors. In this thesis, an embedded system designed for reference-color-based intelligent ambient lighting based on image processing for object detection and position determination for robotic handling applications has been designed and its performance has been examined. In order to obtain the minimum illuminance level in the system, the power of the lighting system is adjusted by reference to red, green, blue and yellow objects whose positions are determined beforehand, without the need for an external sensor. Raspberry Pi 4B mini computer and Arduino CNC shield board with GRBL software is used for image processing, lighting and 3-axis handling processes in the designed system. Image acquisition was done via the Raspberry Pi camera module, and the handling of objects was done with an electromagnet. For lighting, 12V DC white strip LED lamp driven by PWM signal was used and smart ambient lighting was made by controlling the illuminance level proportionally. System interface software is coded in Python language and OpenCV library is used for image processing and object detection and position determination. Within the scope of experimental studies to examine the performance of the designed system, white light was illuminated, a non-reflective white matte plastic background was used for the platform floor, and the platform was covered with a black cover. In object detection with color-based image processing, the minimum required platform illuminance values were investigated by using reference objects with different colors such as Red, Green, Blue and Yellow. According to the experimental results obtained; it has been understood that color selection is important in the detection process and it has been determined that the color that needs the least illumination level among these colors is yellow. It was observed that yellow color was followed by green, red and blue colors, respectively. It has been understood that in the designed system, color-based object detection can be done successfully at an illuminance level of about 50 lx and a power ranging from 0 to 225 mW is needed depending on the environmental lighting situation. In conclusion; It has been observed that the embedded system, which makes smart ambient lighting, provides the minimum illumination level with energy saving that changes depending on environmental conditions.