Đề tài Trích chọn đặc trưng ảnh số dựa trên điểm nổi bật

MỤC LỤC 
LỜI CẢM ƠN .................................................................................................................... 3 
LỜI CAM ĐOAN ............................................................................................................... 4 
DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT ........................................................... 5 
DANH MỤC HÌNH ẢNH .................................................................................................... 6 
DANH MỤC BẢNG BIỂU .................................................................................................. 8 
MỞ ĐẦU ........................................................................................................................... 9 
CHƢƠNG 1: TỔNG QUAN VỀ TRÍCH CHỌN ĐẶC TRƢNG ẢNH SỐ ....................... 11 
 1.1 Các nội dung cơ bản ........................................................................................... 11 
 1.1.1 Khái niệm đặc trưng ảnh số .......................................................................... 11 
 1.1.2 Tại sao phải trích chọn đặc trưng ảnh số ? .................................................... 11 
 1.2 Trích chọn đặc trƣng dựa trên điểm nổi bật ........................................................ 11 
CHƢƠNG 2: CÁC PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG ĐIỂM NỔI BẬT .... 13 
 2.1 Thuật toán tìm kiếm góc Harris .......................................................................... 13 
 2.1.1 Giới thiệu và ý tưởng .................................................................................... 13 
 2.1.2 Thuật toán .................................................................................................. 14 
 2.2 Trích chọn đặc trƣng cục bộ bất biến SIFT ......................................................... 17 
 2.2.1 Giới thiệu và định nghĩa ............................................................................... 17 
 2.2.2 Thuật toán .................................................................................................. 18 
 2.3 Trích chọn đặc trƣng SURF ............................................................................... 26 
 2.3.1 Giới thiệu và định nghĩa ............................................................................... 26 
 2.3.2 Thuật toán .................................................................................................. 26 
CHƢƠNG 3: ỨNG DỤNG VÀO LĨNH VỰC TẠO ẢNH PANORAMA ......................... 33 
 3.1 Giới thiệu .......................................................................................................... 33 
 3.2 Quy trình thực hiện ............................................................................................ 34 
 3.3 So sánh đối chiếu các điểm tƣơng đồng nổi bật .................................................... 35 
 3.4.1 Cơ sở ban đầu ............................................................................................. 35 
 3.4.2 Thực hiện trên nền C++ và OpenCV2 ............................................................ 36 
 3.4 Tính ma trận Homography bằng thuật toán RANSAC ........................................ 39 
 3.4.1 Vài nét về Homography ................................................................................ 39 
 3.4.2 Tính toán Homography ................................................................................ 40 
 3.4.3 Thực hiện trên nền C++ và OpenCV2 ............................................................ 44 
 3.5 Ghép nối ảnh ..................................................................................................... 44 
THỰC NGHIỆM TRÊN NỀN TẢNG C++ VÀ OPENCV2 ................................................. 46 
 4.1 Một vài thông tin ban đầu .................................................................................. 46 
 Trang 1 
 4.2 Giao diện chƣơng trình ...................................................................................... 46 
 4.3 Một số kết quả có đƣợc ...................................................................................... 48 
 4.3.1. Tìm kiếm góc Harris, trích chọn đặc trưng SIFT và SURF ............................. 48 
 4.3.2. So sánh đối chiếu các điểm đặc trưng tương đồng SIFT và SURF ................... 49 
 4.3.3. Tạo ảnh Panorama ...................................................................................... 51 
KẾT LUẬN ...................................................................................................................... 54 
TÀI LIỆU THAM KHẢO ................................................................................................ 55 
 Trang 2 
LỜI CẢM ƠN 
 Trước hết, tôi xin chân thành cảm ơn quí thầy cô Trường Đại Học Dân Lập 
Duy Tân, cũng như Khoa Điện-Điện Tử đã tận tình dạy bảo, truyền đạt kiến thức 
cho tôi trong suốt quá trình học tập. Đặc biệt là Ths. Nguyễn Lê Mai Duyên, người 
đã trực tiếp theo sát và chỉ dẫn cho tôi trong quá trình tìm hiểu và thực hiện đề tài 
này. 
Xin được gửi lời cảm ơn đến Ban giám hiệu nhà trường, Khoa Điện – Điện tử đã 
tạo điều kiện cho tôi được học tập và trau dồi kiến thức trong suốt thời gian qua. 
Cũng xin cảm ơn các bạn cùng lớp đã có ý kiến đóng góp, cũng như giúp đỡ tôi 
trong suốt thời gian học tập vừa qua. 
Một lần nữa, xin được gửi lời cảm ơn đến tất cả! 
 Đà Nẵng, ngày 30 tháng 11 năm 2014 
 Sinh viên 
 Lê Đắc Thịnh 
 Trang 3 
LỜI CAM ĐOAN 
 Tôi xin cam đoan kết quả đạt được trong đề tài là sản phẩm của riêng cá nhân 
tôi, không sao chép lại của người khác. Trong toàn bộ nội dung của đề tài, những 
điều được trình bày hoặc là của cá nhân hoặc là được tổng hợp từ nhiều nguồn tài 
liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp 
pháp. 
Tôi xin hoàn toàn chịu trách nhiệm về lời cam đoan của mình. 
 Đà Nẵng, ngày 30 tháng 11 năm 2014 
 Sinh viên 
 Lê Đắc Thịnh 
 Trang 4 
DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT 
 Thuật ngữ, kí hiệu Nghĩa 
SIFT Scale-Invariant Feature Transform 
SURF Speed Up Robust Feature 
DoG Difference of Gaussian 
RANSAC Random Sample Consensus 
SVD Singular Value Decomposition 
DLT Direct Linear Transform 
 Trang 5 
DANH MỤC HÌNH ẢNH 
Hình 2.1: Các điểm nổi bật trong ảnh 
Hình 2.2: Cửa sổ trượt phát hiện góc Harris 
Hình 2.3: Minh họa các trường hợp và 
Hình 2.4: Kết quả tìm kiếm góc Harris trên nền C++ và OpenCV2 
Hình 2.5: Đỉnh tòa nhà VTV Đà Nẵng và những góc Harris 
Hình 2.6: Mô tả sự không hoàn thiện của thuật toán Harris 
Hình 2.7: Quá trình tính không gian đo (L) và hàm sai khác D 
Hình 2.8: Quá trình tìm điểm cực trị trong các hàm sai khác DoG 
Hình 2.9: Minh họa các bước của quá trình lựa chọn các điểm nổi bật 
Hình 2.10: Mô tả tạo bộ mô tả cục bộ 
Hình 2.11: Kết quả tìm kiếm đặc trưng SIFT trên nền C++ và OpenCV2 
Hình 2.12: Đỉnh tòa nhà VTV Đà Nẵng và những điểm đặc trưng SIFT(1) 
Hình 2.13: Đỉnh tòa nhà VTV Đà Nẵng và những điểm đặc trưng SIFT(2) 
Hình 2.14: Xấp xỉ đạo hàm cấp 2 hàm Gaussian bằng hộp lọc 
Hình 2.15: Các điểm quan tâm được phát hiện 
Hình 2.16: Lọc Haar wavelet để tính sự ảnh hưởng trên hai hướng x và y. 
Hình 2.17: Vùng hình tròn xung quanh và hướng đại diện cho điểm đặc trưng 
Hình 2.18: 4x4 hình vuông con xung quanh điểm đặc trưng 
Hình 2.19: Ví dụ về đốm sáng trên nền tối hơn và đốm tối trên nền sáng hơn 
Hình 2.20: Kết quả tìm kiếm đặc trưng SURF trên nền C++ và OpenCV2 
Hình 2.21: Đỉnh tòa nhà VTV Đà Nẵng và những điểm đặc trưng SURF(1) 
Hình 2.22: Đỉnh tòa nhà VTV Đà Nẵng và những điểm đặc trưng SURF (2) 
Hình 3.1: Một ảnh Panorama 
Hình 3.2: Minh họa các bước thực hiện thuật toán ghép nối ảnh\ 
Hình 3.3: Hai hình ảnh được sử dụng so sánh đối chiếu 
Hình 3.4: Kết quả sau khi lấy đặc trưng SIFT 
Hình 3.5: Kết quả sau khi so sánh đối chiếu các điểm đặc trưng SIFT 
 Trang 6 
Hình 3.6: Kết quả sau khi lấy đặc trưng SURF 
Hình 3.7: Kết quả sau khi so sánh đối chiếu các điểm đặc trưng SIFT 
Hình 3.8: Kết quả sau khi so sánh đối chiếu các điểm đặc trưng SIFT đối với hình 
 Hình 2.11 và Hình 2.12 ở mục 2.2.3 
Hình 3.9: Kết quả sau khi so sánh đối chiếu các điểm đặc trưng SIFT đối với hình 
 Hình 2.11 và Hình 2.12 ở mục 2.2.3 
Hình 3.10: Phép chiếu Homography 
Hình 3.11: Phép tính Homography từ điểm đặc trưng SIFT 
Hình 3.12: Phép tính Homography từ điểm đặc trưng SURF 
Hình 3.13: Minh họa ghép nối ảnh 
Hình 3.14: Kết quả cuối cùng của phép tạo ảnh Panorama 
Hình 4.1: Giao diện chương trình thực nghiệm 
Hình 4.2: Hình ảnh đuôi cầu Rồng, Tp Đà Nẵng 
Hình 4.3: Hình ảnh cầu Rồng được sử dụng trong thực nghiệm 
Hình 4.4: Kết quả so sánh đối chiếu từ điểm đặc trưng SIFT 
Hình 4.5: Kết quả so sánh đối chiếu từ điểm đặc trưng SURF 
Hình 4.6: Kết quả tính toán ma trận Homography 
Hình 4.7: Kết quả của phép tạo ảnh Panorama 
Hình 4.8: Hình ảnh Panorama khi sử dụng hàm chức năng của OpenCV2 
Hình 4.9: Một kết quả hoàn hảo hơn 
 Trang 7 
DANH MỤC BẢNG BIỂU 
Bảng 4.1: So sánh kết quả trích chọn điểm nổi bật 
Bảng 4.2: So sánh kết quả so sánh đối chiếu điểm đặc trưng tương đồng 
 Trang 8 
MỞ ĐẦU 
 Ngày nay, cùng với sự phát triển vượt bậc của xã hội cũng như các lĩnh vực 
khoa học kĩ thuật, nhu cầu xử lý hình ảnh trên máy tính hay rộng hơn là các nhu cầu 
có liên quan đến thị giác máy (Computer Vision) lại càng trở nên cấp thiết hơn bao 
giờ hết. 
Nhưng dù nhận được sự hỗ trợ mạnh mẽ từ sự đổi mới rất nhanh chóng của các nền 
tảng công nghệ mới, việc xử lý lượng thông tin chứa đựng trong hình ảnh nói chung 
thực sự là một bài toán không hề dễ dàng, nhất là trong bối cảnh các yêu cầu đặt ra 
cần được thực hiện một cách nhanh chóng và chính xác nhất. 
Một trong số những vấn đề rất được chú trọng trong lĩnh vực này chính là: Làm thế 
nào để nhận biết ảnh số và các vật thể có trong ảnh? 
Thực tế, khác với đôi mắt con người, máy tính không làm việc với hình ảnh một 
cách tổng quát và trực quan, mà trái lại, chúng chỉ có thể tiếp cận hình ảnh và những 
thông tin chứa trong hình ảnh đó một cách rất hạn chế dưới dạng các ma trận điểm 
ảnh. 
Vì vậy, để thực hiện được nhiệm vụ “Nhận biết ảnh số và các vật thể có trong 
ảnh”, máy tính và các thiết bị kĩ thuật số sẽ phải đi tìm các điểm đặc trưng của ảnh 
để rồi từ đó đưa ra các biện pháp so sánh, đối chiếu hay biến đổi nhằm thực hiện các 
yêu cầu được đặc ra. 
Trong phạm vi đề tài này, tôi xin được trình bày những nội dung liên quan đến khái 
niệm “Trích chọn đặc trưng ảnh số” và đi sâu hơn là khái niệm “Trích chọn đặc 
trưng ảnh số dựa trên điểm nổi bật” nhằm đưa ra câu trả lời cho những vấn đề ở 
trên cũng như đề xuất các ứng dụng mang tính thực tiễn có thể phát triển trong 
tương lai. 
Trên cơ sở đó, đề tài cũng sẽ đi vào triển khai ứng dụng “Tạo ảnh Panorama” và 
những vấn đề xung quanh nó để làm rõ thêm vấn đề đã trình bày thông qua ngôn 
ngữ C++, thư viện mã nguồn mỡ OpenCV2 và công cụ lập trình Visual Studio 
2012. 
Cấu trúc của đề tài gồm các phần sau: 
 Chương 1 trình bày các khái niệm cơ bản về “Trích chọn đặc trưng ảnh số” 
và giới thiệu phương pháp “Trích chọn đặc trưng ảnh số dựa trên điểm nổi bật”. 
 Chương 2 giới thiệu các thuật toán “Tìm kiếm góc Harris”, phép “Trích chọn 
đặc trưng cục bộ bất biến SIFT”, phép “Trích chọn đặc trưng SURF”. 
 Chương 3 giới thiệu về lĩnh vực “Tạo ảnh Panorama”, phương pháp tạo ảnh 
dựa trên phương pháp tìm điểm nổi bật đã trình bày ở Chương 2, các vấn đề xung 
quanh như ma trận Homography và cách tính. 
 Trang 9 
 Chương 4 bao gồm các hình ảnh về chương trình ứng dụng nhằm đưa ra các 
kết quả về mặt hình ảnh và con số về các vấn đề đã được trình bày ở các chương 
trên. 
 Kết luận nêu ra những kết quả đạt được của đề tài, các mặt hạn chế và hướng 
phát triển trong tương lai. 
 Trang 10