MediaPipe and OpenCV Application for Manipulator Robot Control in Object Retrieval Using Finger-Count Gestures

Abstrak

Perkembangan teknologi robotika dan computer vision telah membuka peluang dalam pengembangan sistem Human Robot Interaction (HRI) yang mudah digunakan. Penelitian ini bertujuan untuk merancang dan mengimplementasikan sistem kendali robot manipulator 4 derajad kebebasan menggunakan isyarat jumlah jari berbasis MediaPipe dan OpenCV. Sistem menggunakan kamera webcam untuk menangkap citra tangan secara real-time, kemudian MediaPipe Hands mendeteksi 21 titik landmark tangan untuk menghitung jumlah jari yang terbuka. Jumlah jari yang terdeteksi diterjemahkan menjadi perintah kendali robot, meliputi bergerak menuju target, mengambil objek, memindahkan objek, melepaskan objek, dan kembali ke posisi awal. Robot manipulator dikendalikan oleh Arduino Uno yang mengatur pergerakan motor servo melalui komunikasi serial. Hasil pengujian menunjukkan bahwa sistem deteksi isyarat jumlah jari mampu mencapai tingkat keberhasilan sebesar 88% dari 50 kali percobaan. Sementara itu, pengujian robot dalam mengambil dan memindahkan objek memperoleh tingkat keberhasilan sebesar 80% dari 10 kali percobaan. Hasil penelitian menunjukkan bahwa integrasi MediaPipe dan OpenCV dapat digunakan secara efektif sebagai media kendali manual robot manipulator berbasis isyarat jumlah jari secara real-time.