Khóa luận Ứng dụng xử lý ảnh nhận dạng cử chỉ bàn tay điều khiển robot di động

 TRƯỜNG ĐH CÔNG NGHIỆP THỰC PHẨM TP. HCM
 KHOA CÔNG NGHỆ ĐIỆN – ĐIỆN TỬ
 --------
 KHÓA LUẬN TỐT NGHIỆP
 ỨNG DỤNG XỬ LÝ ẢNH NHẬN DẠNG 
CỬ CHỈ BÀN TAY ĐIỀU KHIỂN ROBOT DI ĐỘNG
 GVHD: ThS. TRẦN HOÀN
 SVTH: NGUYỄN VĂN ĐẠT
 LỚP: 07DHDT4
 MSSV: 2002160185
 TP. HỒ CHÍ MINH, NĂM 2020
 TRƯỜNG ĐH CÔNG NGHIỆP THỰC PHẨM TP. HCM
 KHOA CÔNG NGHỆ ĐIỆN – ĐIỆN TỬ
 --------
 KHÓA LUẬN TỐT NGHIỆP
 ỨNG DỤNG XỬ LÝ ẢNH NHẬN DẠNG 
CỬ CHỈ BÀN TAY ĐIỀU KHIỂN ROBOT DI ĐỘNG
 GVHD: ThS. TRẦN HOÀN
 SVTH: NGUYỄN VĂN ĐẠT
 LỚP: 07DHDT4
 MSSV: 2002160185
 TP. HỒ CHÍ MINH, NĂM 2020 TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
 THỰC PHẨM TP. HỒ CHÍ MINH Độc lập – Tự do – Hạnh phúc
 KHOA ĐIỆN – ĐIỆN TỬ
 PHIẾU GIAO NHIỆM VỤ 
 (Phiếu này phải đóng vào trang đầu tiên của báo cáo)
1. Họ và tên sinh viên được giao đề tài (Số lượng sinh viên: 1) 
(1) Nguyễn Văn Đạt MSSV: 2002160185 Lớp: 07DHDT4
2. Tên đề tài: Ứng dụng xử lý ảnh nhận dạng cử chỉ bàn tay điều khiển robot di động
3. Nhiệm vụ của đề tài:
 _ Thực hiện chức năng: nhận dạng cử chỉ bàn tay điều khiển bobot di chuyển: đi thẳng, rẽ 
trái, rẽ phải, lùi, dừng lại.
 _ Cài đặt hệ điều hành và thư viện OpenCV cho Raspberry Pi
 _ Nghiên cứu lý thuyết lập trình python, OpenCV
 _ Tìm hiểu lý thuyết xử lý ảnh
 _ Xây dựng giải thuật nhận dạng cử chỉ bàn tay
 _ Chất lượng thực hiện nhận diện bàn tay đáp ứng tốt không bị nhiễu
4. Ngày giao nhiệm vụ đồ án tốt nghiệp: 29/02/2020
5. Ngày hoàn thành và nộp về khoa: 
 TP.Hồ Chí Minh, ngày 29 tháng 02 năm 2020
 Trưởng khoa Trưởng bộ môn Giảng viên hướng dẫn
 Lê Thành Tới Nguyễn Phú Công Trần Hoàn NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
....................................................................................................................................... NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN 
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
....................................................................................................................................... LỜI CÁM ƠN
 Trước hết chúng em xin gửi lời cảm ơn chân thành đến quý thầy cô trường Đại 
học Công Nghiệp Thực Phẩm thành phố Hồ Chí Minh nói chung và quý thầy cô ở 
khoa Điện - Điện tử và chuyên ngành Tự Động Hóa nói riêng đã tận tình truyền đạt 
những kiến thức quý giá trong khoảng thời gian em học đại học. 
 Em xin được gửi lời cảm ơn đến thầy Trần Hoàn, thầy đã hướng dẫn và giúp đỡ 
tận tình em nghiên cứu và hoàn thành luận văn tốt nghệp này. Những lời nhận xét, góp 
ý và hướng dẫn của thầy đã giúp em có định hướng đúng đắn trong quá trình thực hiện 
đề tài, giúp em nhìn ra được ưu khuyết điểm của đề tài và từng bước khắc phục để có 
được kết quả tốt nhất. Xin gửi đến thầy lời chúc sức khỏe và ngày càng thành công 
trên trên mục giảng.
 Em xin gửi lời cảm ơn chân thành đến quý Thầy/Cô đã dành thời gian quý báu để 
nhận xét và chấm Luận văn tốt nghiệp. Đây sẽ là nhưng đóng góp rất quý giá cho em 
để hoàn thiện và phát triển đề tài ngày một tốt hơn.
 Sau cùng, con xin bày tỏ lòng biết ơn sâu sắc tới Mẹ, Ba, Chị, Em những người 
đã luôn luôn động viên, ở bên con trong những lúc khó khăn nhất, là động lực cho con 
nỗ lực cố gắng trong suốt những năm tháng học tập tại trường và trên những bước 
đường tiếp theo trong cuộc sống.
 TP. Hồ Chí Minh, ngày 14 tháng 08 năm 2020
 Tác giả
 Nguyễn Văn Đạt TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
 THỰC PHẨM TP. HỒ CHÍ MINH Độc lập - Tự do - Hạnh phúc
 KHOA ĐIỆN – ĐIỆN TỬ
 TP. HCM, ngày .tháng ..năm ..
 TÓM TẮT ĐỀ TÀI
 Ngày nay, các mô hình xe, máy bay và robot đang ngày càng phổ biến trong 
nghiên cứu và đào tạo. Các thiết bị này thường được vận hành tự động hoặc điều khiển 
trực tiếp bởi con người. Nhờ vào sự tiến bộ của công nghệ xử lý hình ảnh, ngày càng 
nhiều các thiết bị có khả năng ghi nhận cử chỉ tay và chuyển đổi thành các tín 
hiệu có thể xử lý bằng máy tính. Đề tài “Ứng dụng xử lý ảnh nhận dạng cử chỉ bàn 
tay điều khiển robot di động” là mô hình dựa theo ngôn ngữ python với thư viện chính 
là Opencv và được thực hiện trên Kit Raspberry và Kit Arduino Wifi ESP826 WeMos 
D1. Xử lý ảnh ở đây sẽ được nhận dạng theo ngưỡng của bàn tay để điều khiển robot 
thông qua cử chỉ tay. Kết quả nghiên cứu cho thấy cho thấy tính ổn định trong việc 
điều khiển các mô hình robot bằng cử chỉ tay. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
 MỤC LỤC
MỤC LỤC ...................................................................................................................i
DANH MỤC KÝ HIỆU, CỤM TỪ VIẾT TẮT ........................................................iv
DANH MỤC BẢNG BIỂU ........................................................................................v
DANH MỤC HÌNH ẢNH .........................................................................................vi
Chương 1: TỔNG QUAN VỀ ĐỀ TÀI.......................................................................1
 1.1 Đặt vấn đề .....................................................................................................................1
 1.2 Mục tiêu ........................................................................................................................1
 1.3 Phạm vi của luận văn tốt nghiệp...................................................................................1
 1.4 Tổng quan về các nghiên cứu liên quan........................................................................2
 1.4.1 Nhận dạng bàn tay dựa vào màu sắc và hình dáng ..............................................2
 1.4.2 Nhận dạng dựa vào ngưỡng trên mỗi kênh màu ..................................................2
 1.4.3 Optical Flow.........................................................................................................3
 1.4.4 Phương pháp trừ nền............................................................................................3
 1.5 Ý nghĩa khoa học và thực tiễn của đề tài ......................................................................3
Chương 2: CƠ SỞ LÝ THUYẾT................................................................................5
 2.1 Giới thiệu về hệ thống xử lý ảnh...................................................................................5
 2.2 Những vấn đề cơ bản trong hệ thống xử lý ảnh............................................................7
 2.2.1 Điểm ảnh (Picture Element).................................................................................7
 2.2.2 Độ phân giải của ảnh............................................................................................8
 2.2.3 Mức xám của ảnh.................................................................................................8
 2.2.4 Định nghĩa ảnh số ..............................................................................................11
 2.2.5 Chỉnh mức xám..................................................................................................11
 2.2.6 Kỹ thuật năng cao chất lượng ảnh......................................................................11
 2.2.7 Kỹ thuật biến đổi ảnh.........................................................................................12
 2.2.8 Kỹ thuật phân tích ảnh .......................................................................................12
 2.2.9 Kỹ thuật nhận dạng ảnh .....................................................................................12
 2.3 Các phương pháp xử lý ảnh số....................................................................................12
 2.3.1 Chuyển ảnh màu RGB thành ảnh mức xám ( Gray level) ................................12
 2.3.2 Phương pháp lọc nhiễu ảnh................................................................................13
 2.3.3 Phân vùng ảnh....................................................................................................14
 2.3.4 Phương pháp phân vùng ảnh..............................................................................14
 2.3.5 Khái niệm biên...................................................................................................14
SVTH: NGUYỄN VĂN ĐẠTi LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
 2.4 Máy tính nhúng Raspberry Pi .....................................................................................15
 2.4.1 Giới thiệu về Raspberry Pi 3..............................................................................15
 2.4.2 Màn hình LCD 3,5 inch Raspberry Pi................................................................17
 2.4.3 Module camera (Camera Module 5MP Raspberry Pi )......................................17
 2.5 Ngôn ngữ python và thư viện Opencv........................................................................18
 2.5.1 Giới thiệu ngôn ngữ lập trình python ( python 2.7)...........................................18
 2.5.2 Thư viện Opencv................................................................................................20
 2.5.2.1 Chức năng có trong thư viện OpenCV...........................................................20
 2.5.2.2 Ứng dụng OpenCV trong thực tế ...................................................................21
 2.6 Board UNO WIFI - WeMos D1..................................................................................23
 2.6.1 Giới thiệu board UNO WIFI..............................................................................23
 2.6.2 Lập trình cho board Arduino UNO WiFi...........................................................25
 2.7 Module điều khiển động cơ L298...............................................................................26
 2.7.1 Module điều khiển động cơ L298 ......................................................................26
 2.7.2 Nguyên lý hoạt động..........................................................................................27
 2.8 Động cơ giảm tốc........................................................................................................30
 2.9 Bánh xe .......................................................................................................................30
Chương 3: CƠ SỞ THỰC HIỆN ..............................................................................32
 3.1 Thiết kế sơ đồ khối hệ thống.......................................................................................32
 3.2 Sơ đồ kết nối hệ thống ................................................................................................33
 3.3 Lưu đồ giải thuật.........................................................................................................35
 3.3.1 Các bước truy cập và lập trình trên python........................................................35
 3.3.1.1 Hiển thị lên màng hình laptop qua Wifi.........................................................36
 3.3.1.2 Hiển thị qua cáp ethernet................................................................................40
 3.3.2 Lưu đồ giải thuật nhận dạng cử chỉ bàn tay.......................................................43
 3.3.3 Lưu đồ giải thuật điều khiển robot di động........................................................53
 3.4 Bảng vẽ cơ khí ............................................................................................................60
Chương 4: KẾT QUẢ THỰC NGHIỆM ..................................................................61
Chương 5: KẾT LUẬN VÀ ĐỊNH HƯỚNG ĐỀ TÀI .............................................67
 5.1 Kết quả đạt được .........................................................................................................67
 5.2 Hạn chế .......................................................................................................................67
 5.3 Hướng phát triển của đề tài.........................................................................................67
PHỤ LỤC..................................................................................................................68
 Code chương trình nhận diện bàn tay ................................................................................68
SVTH: NGUYỄN VĂN ĐẠT ii LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
 Code điều khiển robot........................................................................................................74
 Giới thiệu phần mềm sử dụng: phần mềm ARDUINO IDE..............................................80
 Hướng dẫn cài đặt phần mềm ............................................................................................80
TÀI LIỆU THAM KHẢO.........................................................................................85
SVTH: NGUYỄN VĂN ĐẠT iii