Performance Evaluation Of Image Recognition Algorithms On Marine Vessels And Optimum Parameter Selection
Abstract
Today, with the developing sensor technology, image processing models and deep neural network methods, there are significant developments in the field of autonomous driving and also various studies are carried out in this direction both in the private sector and in academia. On the other hand studies on safe driving of autonomous vehicles are still very limited. Mostly the studies have been conducted for land vehicles, and the data sets for the operation of artificial intelligence models were created in this context. In this study, the algorithms for autonomous driving were tested using the original data set created from objects on the sea in order to optimize the navigation of sea vehicles on the sea. Image processing methods have recently gained great importance in terms of recognizing vehicles on the sea and providing autonomous driving. In this study, a high-resolution and wide-ranging original data set consisting of 44965 objects was created to identify objects on the sea. With this data set, analysis and optimizations were made with image processing technology for the recognition and classification of objects, and the best model was tried to be determined among the models. It is aimed to detect and classify objects on the sea surface from a long distance (1000m+), to create safe use for sea vehicles and to provide decision support. In order for the created data set to be successfully identified in real-time, the data set was divided into six classes. As a result of the classification process, data labeling was performed according to these classes which are, Cargo_Ship, Tanker_Ship, RoRo/Ferry/Passenger, Boats, Tug_Boats, Speciality_Vessels. The created data set was tested with the most common real-time recognition models, SSD, Faster R-CNN, EfficientDet algorithms under the TensorFlow library. Results were obtained according to six different output parameter values, AP-50, AP-75, Av. Recall, F1-50, F1-75 and L/TL, on the models. According to the obtained results, SSD Mobilnet v1 was determined as the most successful algorithm.
Project Number
2019-20-D2-B03
References
- [1] M. S. Bingöl, Ç. Kaymak, and A. Uçar, “Derin öğrenme kullanarak otonom araçların insan sürüşünden öğrenmesi,” Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol. 31, no. 1, pp. 177-185, 2019.
- [2] E. Frazzoli, M. A. Dahleh, and E. Feron, “Real-time motion planning for agile autonomous vehicles,” Journal of Guidance, Control, and Dynamics, vol. 25, no. 1, pp. 116-129, 2002.
- [3] P. Zhao, J. Chen, T. Mei, and H. Liang, “Dynamic motion planning for autonomous vehicle in unknown environments,” in 2011 IEEE Intelligent Vehicles Symposium (IV), 2011, pp. 284-289.
- [4] Z. Tan and M. Karaköse, “Dinamik ortamlarda derin takviyeli öğrenme tabanlı otonom yol planlama yaklaşımları için karşılaştırmalı analiz,” Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi, vol. 9, no. 16, pp. 248-262, 2022.
- [5] R. Girshick, “Fast R-CNN,” in Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1440-1448.
- [6] J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” arXiv preprint arXiv:1804.02767, 2018.
- [7] W. S. McCulloch and W. Pitts, “A logical calculus of the ideas immanent in nervous activity,” The Bulletin of Mathematical Biophysics, vol. 5, no. 4, pp. 115-133, 1943.
- [8] I. Goodfellow, Deep learning, MIT Press, 2016.
- [9] N. Aalami, “Derin öğrenme yöntemlerini kullanarak görüntülerin analizi,” Eskişehir Türk Dünyası Uygulama ve Araştırma Merkezi Bilişim Dergisi, vol. 1, no. 1, pp. 17-20, 2020.
- [10] R. Kiros, R. Salakhutdinov, and R. S. Zemel, “Unifying visual-semantic embeddings with multimodal neural language models,” arXiv preprint arXiv:1411.2539, 2014.
- [11] M. Bojarski, “End to end learning for self-driving cars,” arXiv preprint arXiv:1604.07316, 2016.
- [12] S. Çelik and A. Altınörs, “Environmental waste detection from UAV images with YOLOv3 deep learning algorithm,” unpublished.
- [13] J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” arXiv preprint arXiv:1804.02767, 2018.
- [14] W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg, “SSD: Single shot multibox detector,” in European Conference on Computer Vision (ECCV), 2016, pp. 21-37.
- [15] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” in Advances in Neural Information Processing Systems (NIPS), 2015, pp. 91-99.
- [16] M. Tan, R. Pang, and Q. V. Le, “EfficientDet: Scalable and efficient object detection,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 10781-10790.
- [17] M. J. Jung, H. Myung, S. G. Hong, D. R. Park, H. K. Lee, and S. Bang, “Structured light 2D range finder for simultaneous localization and map-building (SLAM) in home environments,” in Micro-Nanomechatronics and Human Science, 2004 and The Fourth Symposium Micro-Nanomechatronics for Information-Based Society, 2004, pp. 371-376.
- [18] M. N. Demir and Y. Altun, “Otonom araçla genetik algoritma kullanılarak haritalama ve lokasyon,” Düzce Üniversitesi Bilim ve Teknoloji Dergisi, vol. 8, no. 1, pp. 654-666.
- [19] D. A. Ş. Resul, B. Polat, and G. Tuna, “Derin öğrenme ile resim ve videolarda nesnelerin tanınması ve takibi,” Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol. 31, no. 2, pp. 571-581, 2019.
- [20] E. Özbaysar and E. Borandağ, “Vehicle plate tracking system,” in 2018 26th Signal Processing and Communications Applications Conference (SIU), 2018, pp. 1-4.
- [21] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778.
- [22] D. K. Prasad, H. Dong, D. Rajan, and C. Quek, “Are object detection assessment criteria ready for maritime computer vision?,” IEEE Transactions on Intelligent Transportation Systems, vol. 21, no. 12, pp. 5295-5304, 2019.
- [23] G. Margarit and A. Tabasco, “Ship classification in single-pol SAR images based on fuzzy logic,” IEEE Transactions on Geoscience and Remote Sensing, vol. 49, pp. 3129–3138, 2011.
- [24] M. Leclerc, R. Tharmarasa, M. C. Florea, A. C. Boury-Brisset, T. Kirubarajan, and N. Duclos-Hindié, “Ship classification using deep learning techniques for maritime target tracking,” in Proceedings of the 21st International Conference on Information Fusion, Cambridge, UK, Jul. 10–13, 2018, pp. 737–744.
- [25] International Maritime Organization, Convention on the International Regulations for Preventing Collisions at Sea, 1972 (Consolidated edition), International Maritime Organization, 2018.
Deniz Taşitlari Üzerinde Görüntü Tanima Algoritmalarinin Performans Değerlendirmesi Ve Optimum Parametre Seçimi
Abstract
Günümüzde gelişen sensör teknolojisi, görüntü işleme modelleri ve derin sinir ağları yöntemleri ile otonom sürüş alanında da önemli gelişmeler yaşanmakta ve hem özel sektörde hem de akademide bu yönde çeşitli çalışmalar gerçekleştirilmektedir. Sürücüsüz araçların güvenli sürüşüne yönelik bu çalışmalar henüz çok kısıtlıdır. Yapılan çalışmaların temeli kara taşıtları için oluşturulmuş, yapay zekâ modellerinin çalıştırılması için oluşturulan veri setleri bu bağlamda hazırlanmıştır. Bu çalışmada otonom sürüş için kullanılan algoritmalar deniz taşıtlarının deniz üzerinde seyrederken optimize edilmesi için deniz üzerindeki nesnelerden oluşturulan orijinal veri seti kullanılarak test edilmiştir. Görüntü işleme metotları, deniz üzerindeki taşıtların tanınması ve otonom sürüş sağlanması açısından son zamanlarda büyük önem kazanmıştır. Bu çalışmada, deniz üzerindeki nesneleri tanımlamak için, deniz üzerindeki nesnelerden oluşan 44965 adetlik yüksek çözünürlüklü ve geniş kapsamlı orijinal veri seti oluşturulmuştur. Bu veri seti ile deniz üzerindeki nesnelerin tanınma ve sınıflandırılmasına yönelik görüntü işleme teknolojisi ile analiz ve optimizasyonlar yapılarak, modeller arasında en iyi model belirlenmeye çalışılmıştır. Deniz yüzeyindeki nesneleri, uzak mesafeden (1000m+) tespit edilip sınıflandırılması, deniz araçları için güvenli kullanım oluşturulması ve karar desteği sağlanması hedeflenmektedir. Oluşturulan veri setinin gerçek zamanlı ortamda başarılı şekilde tanımlanabilmesi için veri seti altı adet sınıfa ayrılmıştır. Sınıflandırma işlemi sonucunda oluşturulan; Cargo_Ship, Tanker_Ship, RoRo/Ferry/Passenger, Boats, Tug_Boats, Speciality_Vessels olmak üzere altı adet sınıfa göre veri etiketleme işlemi yapılmıştır. Oluşturulan veri seti, en yaygın gerçek zamanlı tanıma modelleri olan, TensorFlow kütüphanesi altındaki SSD, Faster R-CNN, EfficientDet algoritmaları ile test edilmiştir. Modeller üzerinde de AP-50, AP-75, Av. Recall, F1-50, F1-75 ve L/TL olmak üzere altı farklı çıktı parametresi değerine göre sonuçlar elde edilmiştir. Elde edilen sonuçlara göre, SSD Mobilnet v1 en başarılı algoritma olarak tespit edilmiştir.
Supporting Institution
DOĞUŞ ÜNİVERSİTESİ
Project Number
2019-20-D2-B03
References
- [1] M. S. Bingöl, Ç. Kaymak, and A. Uçar, “Derin öğrenme kullanarak otonom araçların insan sürüşünden öğrenmesi,” Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol. 31, no. 1, pp. 177-185, 2019.
- [2] E. Frazzoli, M. A. Dahleh, and E. Feron, “Real-time motion planning for agile autonomous vehicles,” Journal of Guidance, Control, and Dynamics, vol. 25, no. 1, pp. 116-129, 2002.
- [3] P. Zhao, J. Chen, T. Mei, and H. Liang, “Dynamic motion planning for autonomous vehicle in unknown environments,” in 2011 IEEE Intelligent Vehicles Symposium (IV), 2011, pp. 284-289.
- [4] Z. Tan and M. Karaköse, “Dinamik ortamlarda derin takviyeli öğrenme tabanlı otonom yol planlama yaklaşımları için karşılaştırmalı analiz,” Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi, vol. 9, no. 16, pp. 248-262, 2022.
- [5] R. Girshick, “Fast R-CNN,” in Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1440-1448.
- [6] J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” arXiv preprint arXiv:1804.02767, 2018.
- [7] W. S. McCulloch and W. Pitts, “A logical calculus of the ideas immanent in nervous activity,” The Bulletin of Mathematical Biophysics, vol. 5, no. 4, pp. 115-133, 1943.
- [8] I. Goodfellow, Deep learning, MIT Press, 2016.
- [9] N. Aalami, “Derin öğrenme yöntemlerini kullanarak görüntülerin analizi,” Eskişehir Türk Dünyası Uygulama ve Araştırma Merkezi Bilişim Dergisi, vol. 1, no. 1, pp. 17-20, 2020.
- [10] R. Kiros, R. Salakhutdinov, and R. S. Zemel, “Unifying visual-semantic embeddings with multimodal neural language models,” arXiv preprint arXiv:1411.2539, 2014.
- [11] M. Bojarski, “End to end learning for self-driving cars,” arXiv preprint arXiv:1604.07316, 2016.
- [12] S. Çelik and A. Altınörs, “Environmental waste detection from UAV images with YOLOv3 deep learning algorithm,” unpublished.
- [13] J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” arXiv preprint arXiv:1804.02767, 2018.
- [14] W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg, “SSD: Single shot multibox detector,” in European Conference on Computer Vision (ECCV), 2016, pp. 21-37.
- [15] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” in Advances in Neural Information Processing Systems (NIPS), 2015, pp. 91-99.
- [16] M. Tan, R. Pang, and Q. V. Le, “EfficientDet: Scalable and efficient object detection,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 10781-10790.
- [17] M. J. Jung, H. Myung, S. G. Hong, D. R. Park, H. K. Lee, and S. Bang, “Structured light 2D range finder for simultaneous localization and map-building (SLAM) in home environments,” in Micro-Nanomechatronics and Human Science, 2004 and The Fourth Symposium Micro-Nanomechatronics for Information-Based Society, 2004, pp. 371-376.
- [18] M. N. Demir and Y. Altun, “Otonom araçla genetik algoritma kullanılarak haritalama ve lokasyon,” Düzce Üniversitesi Bilim ve Teknoloji Dergisi, vol. 8, no. 1, pp. 654-666.
- [19] D. A. Ş. Resul, B. Polat, and G. Tuna, “Derin öğrenme ile resim ve videolarda nesnelerin tanınması ve takibi,” Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol. 31, no. 2, pp. 571-581, 2019.
- [20] E. Özbaysar and E. Borandağ, “Vehicle plate tracking system,” in 2018 26th Signal Processing and Communications Applications Conference (SIU), 2018, pp. 1-4.
- [21] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778.
- [22] D. K. Prasad, H. Dong, D. Rajan, and C. Quek, “Are object detection assessment criteria ready for maritime computer vision?,” IEEE Transactions on Intelligent Transportation Systems, vol. 21, no. 12, pp. 5295-5304, 2019.
- [23] G. Margarit and A. Tabasco, “Ship classification in single-pol SAR images based on fuzzy logic,” IEEE Transactions on Geoscience and Remote Sensing, vol. 49, pp. 3129–3138, 2011.
- [24] M. Leclerc, R. Tharmarasa, M. C. Florea, A. C. Boury-Brisset, T. Kirubarajan, and N. Duclos-Hindié, “Ship classification using deep learning techniques for maritime target tracking,” in Proceedings of the 21st International Conference on Information Fusion, Cambridge, UK, Jul. 10–13, 2018, pp. 737–744.
- [25] International Maritime Organization, Convention on the International Regulations for Preventing Collisions at Sea, 1972 (Consolidated edition), International Maritime Organization, 2018.
Details
| Primary Language | English |
|---|---|
| Subjects | Deep Learning |
| Journal Section | Articles |
| Authors | |
| Project Number | 2019-20-D2-B03 |
| Publication Date | April 30, 2025 |
| Submission Date | September 3, 2024 |
| Acceptance Date | January 14, 2025 |
| Published in Issue | Year 2025 Volume: 13 Issue: 2 |
