Безконтактне керування розумними пристроями сільськогосподарського призначення за допомогою жестів
DOI:
https://doi.org/10.31548/energiya1(83).2026.047Ключові слова:
розпізнавання жестів, агродрон, комп’ютерний зір, MediaPipe, людино-машинна взаємодія, глибинне навчання, безконтактне управлінняАнотація
Метою дослідження є розробка науково обґрунтованого підходу до проєктування ергономічних систем керування сільськогосподарськими дронами на основі алгоритмів розпізнавання жестів рук із використанням сучасних технологій комп’ютерного зору та глибинного навчання. Запропонований підхід спрямований на підвищення ефективності, точності та зручності людино-машинної взаємодії в умовах реального застосування агродронів. У роботі використано методи системного аналізу для формалізації процесів взаємодії «користувач–пристрій», методи порівняльного аналізу сучасних бібліотек і фреймворків, методи побудови та дослідження моделей глибинного навчання, а також методи імітаційного моделювання для перевірки працездатності запропонованих рішень. В роботі розроблено методику проєктування ергономічної системи жестового управління агродронами, яка включає: формалізацію інформаційної моделі взаємодії, обґрунтування набору жестів з урахуванням ергономічних критеріїв, вибір програмних засобів реалізації та параметрів архітектури нейронних мереж. Реалізовано експериментальний прототип системи на базі MediaPipe та Python, що забезпечує розпізнавання жестів у реальному часі. Проведено імітаційне тестування із використанням моделі керування курсором, що дозволило оцінити точність і стабільність розпізнавання. Отримані результати підтверджують працездатність запропонованого підходу та демонструють можливість його практичного застосування для створення інтуїтивних інтерфейсів керування агродронами. Розроблена методика може бути використана при створенні систем управління не лише агродронами, але й іншими розумними пристроями.
Отримано 2025-11-20
Доопрацьовано 2026-02-01
Прийнято 2026-02-11
Посилання
1. Mujahid, A., Awan, M. J., Yasin, A., Mohammed, M. A., Damaševičius, R., Maskeliūnas, R., & Abdulkareem, K. H. (2021). Real-time hand gesture recognition based on deep learning YOLOv3 model. Applied Sciences, 11(9), 4164. https://doi.org/10.3390/app11094164
2. Iqbal, M. Z., & Campbell, A. G. (2021). From luxury to necessity: Progress of touchless interaction technology. Technology in Society, 67, 101796. https://doi.org/10.1016/j.techsoc.2021.101796
3. Linardakis, M., Varlamis, I., & Papadopoulos, G. T. (2025). Survey on hand gesture recognition from visual input. IEEE Access, 1. https://doi.org/10.1109/access.2025.3593428
4. Bazarevsky, V., & Zhang, F. (2019, August 19). On-device, real-time hand tracking with MediaPipe. Google Research. Retrieved from https://research.google/blog/on-device-real-time-hand-tracking-with-mediapipe/
5. Yaseen, M., Kwon, O., Kim, J., Jamil, S., Lee, J., & Ullah, F. (2024). Next-gen dynamic hand gesture recognition: MediaPipe, Inception-v3 and LSTM-based enhanced deep learning model. Electronics, 13(16), 3233. https://doi.org/10.3390/electronics13163233
6. Srinil, P., & Thongnim, P. (2024). Deep learning enhanced hand gesture recognition for efficient drone use in agriculture. International Journal of Advanced Computer Science and Applications, 15(5). https://doi.org/10.14569/ijacsa.2024.01505127
7. Hermann, J., Plückthun, M., Doğangün, A., & Hesenius, M. (2022). User-defined gesture and voice control in human-drone interaction for police operations. NordiCHI '22: Nordic Human-Computer Interaction Conference. https://doi.org/10.1145/3546155.3546661
8. Hermann, J., Dogangün, A., & Hesenius, M. (2023). Age-based differences in drone control gestures: An exploratory study. OzCHI 2023: OzCHI 2023. https://doi.org/10.1145/3638380.3638401
9. Konstantoudakis, K., et al. (2022). Drone control in AR: An intuitive system for single-handed gesture control, drone tracking, and contextualized camera feed visualization in augmented reality. Drones, 6(2), 43. https://doi.org/10.3390/drones6020043
10. Kiselov, N. (2021). Drone control via gestures using MediaPipe Hands. Google Developers Blog. Retrieved from https://developers.googleblog.com/en/drone-control-via-gestures-using-mediapipe-hands
11. Zhang, F., Bazarevsky, V., Vakunov, A., Tkachenka, A., Sung, G., Chang, C. L., & Grundmann, M. (2020). MediaPipe Hands: On-device real-time hand tracking. arXiv preprint arXiv:2006.10214.
12. Yun, G., Kwak, H., & Kim, D. H. (2024). Single-handed gesture recognition with RGB camera for drone motion control. Applied Sciences, 14(22), 10230. https://doi.org/10.3390/app142210230
13. Lu, C., Zhang, H., Pei, Y., Xie, L., Yan, Y., Yin, E., & Jin, J. (2023). Online hand gesture detection and recognition for UAV motion planning. Machines, 11(2), 210. https://doi.org/10.3390/machines11020210
14. Nguyen, V. K., & Alba-Flores, R. (2022). UAVs control using 3D hand keypoint gestures. Proceedings of SoutheastCon 2022, 140–144. https://doi.org/10.1109/SoutheastCon48659.2022.9764030
15. Ferdousi, M. (2023, June 1). Move your mouse pointer with hand gestures. DEV Community. Retrieved from https://dev.to/orthymarjan/move-your-mouse-pointer-with-hand-gestures-1gp1
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Енергетика і автоматика
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution-NonCommercial 4.0 International License.
Усі матеріали поширюються на умовах ліцензії Creative Commons Attribution 4.0 International Public License, що дозволяє іншим розповсюджувати рукопис із визнанням авторства роботи та першої публікації в цьому журналі.
