Şekil ve doku tabanlı yöntemlerle nesnelerin bölütlenerek en uygun yapıtaşları ile dizilmesi

Abstract

Bu çalışmada, mozaik üretiminde kullanılan, kare şeklinde kesilmiş mermer, traverten gibi doğal taşların çeşitli parlaklık, renk ve dokuya sahip yüzey görüntüleri kullanılarak, istenen bir sayısal görüntünün, mermer mozaik olarak elde edilmesi için gerekli teknikler ve yöntemler belirlenmiş ve esnek üretim sisteminin gerçekleştirilmesine yönelik aşamalar kaydedilmiştir. Bir görüntünün veya bir desenin mozaiğini dizen otomasyon sistemi oluşturmak için yapılan çalışmalar oldukça yenidir. Literatürde, mozaiği oluşturulan görüntü ile bu görüntüye yerleştirilen mermer karolar arasındaki hatayı optimize eden ilk çalışma gerçekleştirilmiştir. Kombinatoryal optimizasyon algoritması “Macar yöntemi” kullanılmıştır. Mermer parçalarını çalışma düzleminde konumunu bulmak için görüntü işleme yöntemlerinden yararlanılmıştır. Mermer karoların çalışma düzleminde bulundukları noktadan alınıp yerleştirilmesi gereken noktaya taşınması ve döndürülerek yerleştirilmesi için tut ve yerleştir işlemlerinde yaygın olarak kullanılan delta robot prototipi tasarlanmış, mekanizmanın AC servo motorlarla hareket kontrolü ve Profinet üzerinden PC-PLC haberleşmesi gerçekleştirilmiştir. Delta robotun ileri ve ters kinematik denklemleri kullanılarak robot son işlevcisi istenen konumlara hareket ettirilmiştir. Görüntü ile karoların görüntüleri arasındaki benzerliğin ölçülmesi için en hızlı ve etkin yöntemin Öklid uzaklık olduğu sonucuna varılmıştır. Bilgisayarlı görü yöntemlerinden, evrişimli nöron ağları ile nesne algılayan yöntemler kullanarak, görüntüde insan yüzü, el, beden ve diğer nesneleri tespit eden, bu bölgelere yapılacak karo atamalarında hatayı küçük tutarak, nesne içermeyen bölgelere nazaran öncelik veren bir yöntem sunulmuştur. El, yüz, beden algılamak için OpenPose, diğer nesneleri algılamak için YOLO nesne detektörleri kullanılmıştır. Farklı boyutlarda 8, 16, 32 piksel kare karo parçaları ile mozaik dizen bir yöntem geliştirilmiştir.

In this study, the necessary techniques and methods were determined for obtaining the marble mosaic of desired image by using surface images with various color and texture of square cut natural stones such as marble and travertine used in mosaic production and progress has been made towards realization of flexible manufacturing system. The studies to create an automation system that tiles the mosaic of an image or a pattern is quite new. In the literature, the first study was carried out to optimize the total error between the image to be mosaicked and the image of tiles to be placed. Combinatorial optimization algorithm “Hungarian method” was used. Image processing methods have been used to locate marble tiles on the working plane. A prototype of the delta robot is designed for pick and place operations. The motion control of the mechanism with AC servo motors were performed and a software is developed for the PC to PLC communication through Profinet. In order to measure the similarity between the image and the images of the tiles, it has been concluded that the fastest and most efficient method is the Euclidean distance. A Method has been presented which detects regions with human and other objects in the image, keeps the error smaller in the tile assignments to these regions and prioritize than the object-free regions. OpenPose was used to detect body parts. YOLO was used to detect objects. A method has been developed to tile mosaics with square tile pieces of different sizes.