1 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại PHẠM VĂN TIỆP gacon021
TỔNG QUAN NGHIÊN CỨU
Đặt vấn đề
Xử lý ảnh là lĩnh vực đang phát triển mạnh và được ứng dụng rộng rãi nhờ sự tiến bộ vượt bậc của hệ thống máy tính, các thuật toán và nhiều công trình nghiên cứu của các nhà khoa học trên thế giới Ở Việt Nam, cùng với bối cảnh công nghiệp 4.0, các ứng dụng xử lý ảnh đang triển khai mạnh mẽ trên nhiều lĩnh vực như quản lý giao thông đô thị, quản lý dữ liệu sinh trắc học, giám sát chất lượng và hệ thống nhận diện qua cử chỉ của con người [4][5][12].
Trong bối cảnh sự phát triển của xử lý ảnh, ứng dụng nổi bật là kiểm tra trực quan (Visual Inspection) nhằm phân tích sản phẩm và đối tượng trên dây chuyền để kiểm soát chất lượng Kiểm tra trực quan còn được dùng để đánh giá bên trong và bên ngoài của các thiết bị trong cơ sở sản xuất như bể chứa, bình chịu áp lực, đường ống và các thiết bị khác Quá trình này diễn ra đều đặn mỗi ngày, góp phần phát hiện hầu hết các khiếm khuyết trong quá trình sản xuất Hiện nay kiểm tra trực quan chủ yếu được thực hiện thủ công, đòi hỏi sự có mặt của công nhân quan sát và được đào tạo dựa trên kiến thức từ trước Mắt thường đóng vai trò là yếu tố then chốt của kiểm tra trực quan thủ công, tuy nhiên theo nghiên cứu việc lọt lỗi vẫn xảy ra.
Theo phương pháp này, tỷ lệ lỗi khi kiểm tra trực quan dao động từ 20% đến 30% Một số khiếm khuyết có thể do lỗi của công nhân ngoại quan (tâm trạng, sức khỏe) tại thời điểm kiểm tra, trong khi số khác là do giới hạn về không gian như ánh sáng và khoảng cách ngoại quan Mặc dù đào tạo và thực hành có thể giảm thiểu việc lọt lỗi do công nhân ngoại quan, nhưng không thể loại bỏ hoàn toàn Trong môi trường sản xuất, mệt mỏi của người kiểm tra có thể dẫn tới nhiều sai sót trong quá trình kiểm tra trực quan Lỗi kiểm tra trực quan thường có hai hình thức: bỏ sót một khiếm khuyết hiện có hoặc nhận diện sai một khiếm khuyết không tồn tại, cho thấy ví dụ về hạn chế của mắt người trong quá trình kiểm tra trực quan.
Hình 1.1 Các đường song song xuất hiện trở thành con dốc
1.1.1 Sơ lược về quá trình sản xuất tại các nhà máy sản xuất màn hình điện thoại Để sản xuất ra một màn màn hình điện thoại hoàn chỉnh phải trải qua rất nhiều công đoạn step by step kỹ thuật lắp ráp, dán các tấm vật lý với nhau một cách tỉ mỉ, chính xác nhất Việc dán các lớp này với nhau được tiến hành theo một chu trình khép kín và hoàn toàn tự động bằng các cánh tay Robot và thiết bị tự động hóa
Process sản xuất 1 màn hình điện thoại như sau:
Hình 1.2 Process sản xuất màn hình điện thoại a Lịch sử hình thành các lớp điện thoại như sau :
✓ 2014 trở về trước : Điện thoại dòng LCD gồm 6 lớp
+ Ưu điểm : Design tương đối đẹp ,màu sắc sống động
+ Nhược điểm : Rất dày và nặng ,do cầu tạo bằng kính nên dễ vỡ
✓ 2014 – 2020 : Điện thoại dòng AMOLED gồm 4 lớp
+ Ưu điểm : Thiết kế mỏng đẹp ,màu sắc sống động + Nhược điểm : Dễ vỡ ,không có khả năng gập
✓ 2020 → Nay : Điện thoại ong YOUM gồm 4 lớp
+ Ưu điểm : Thiết kế đẹp ,màu sắc sống động, tăng độ hiển thị ngoài trời
✓ + Nhược điểm : Giá thành cao
Hình 1.3 Layer các dòng điện thoại
13 b Mỗi lớp điện thoại có phương thức dán như sau
Hình 1.4 Phương thức sản xuất màn hình
Hình 1.5 Cấu tạo cơ bản của một màn hình OLED c Quy trình sản xuất sơ lược giới hạn trong đề tài tại công đoạn :
Hình 1.6 Sơ lược process dán
Quy trình sản xuất sơ lược giới hạn trong đề tài tại công đoạn bao gồm các khâu như sau:
- Cấp nguyên vật liệu ( Panel, Tấm dính dẫn điện, Window)
- Loading( đặt, để) nguyên vật liệu lên các Stage( bàn chân không đặt Panel)
- Dán( Sử dụng công nghệ Vision Aligment )
- Unloading( nhấc) bán thành phẩm khỏi các Stage( bàn chân không)
- Loading( đặt, để) bán thành phẩm vào Tray( khuôn chứa Panel)
- Loading từ conveyer vào máy khử bọt khí/cường hóa
- Check ngoại quan hàng thành phẩm ( Panel ,tấm dính dẫn điện, Window )
- Loading thành phẩm vào tray ( khuôn chứa Window )
Hình 1.7 Sơ đồ khối thiết bị dán Window với Panel
1.1.2 Ảnh hưởng của sự cố tới chất lượng sản phẩm trong công đoạn
Trong quá trình sản xuất, sự cố chất lượng có thể gây ra rất nhiều lỗi nghiêm trọng lên sản phẩm, đặc biệt là các thế hệ điện thoại thông minh sử dụng tấm nền có kích thước hiển thị nhỏ và độ dày mỏng Hơn nữa, các lỗi phổ biến như dị vật, bóng khí và lỗi dán lệch sản phẩm có thể làm giảm chất lượng màn hình, ảnh hưởng đến trải nghiệm người dùng và độ bền của thiết bị.
Trung bình sản xuất /tháng : Capa 3,200,000 sản phẩm, giá thành một sản phẩm là 100$ ( Công bố năm 2021)
Lỗi dị vật (tỷ lệ lỗi 1.2%) là sự cố phát sinh khi có dị vật nằm giữa một trong các lớp vật lý của màn hình Dị vật có thể phát sinh trong quá trình dán do ô nhiễm vật liệu đầu vào và trong thiết bị sản xuất không đảm bảo 100% độ sạch theo tiêu chuẩn Dị vật nói tới có kích thước lớn hơn 0.3 mm, tức là kích thước nhỏ nhất mắt thường có thể quan sát được ở cự ly sử dụng điện thoại Gặp lỗi này đòi hỏi các biện pháp kiểm tra chất lượng và kiểm soát quy trình nghiêm ngặt để đảm bảo màn hình đạt chuẩn.
15 tái sử dụng được mà phải xử lý hủy đối với sản phẩm Theo như tính toán thì thiệt hạị theo giá trị sản phẩm 3,6M ( USD)~ 82.8 tỷ VND/ Tháng
Hình 1.8 mô tả loại hình dị vật và cho thấy lỗi bóng khí có tỷ lệ 0,2% phát sinh trong quá trình dán mặt điện thoại (Window) lên bề mặt Panel, khiến sản phẩm sau chu trình dán xuất hiện các bóng khí li ti trên màn hình Lỗi này không thể tái sử dụng và phải xử lý hủy đối với sản phẩm Theo tính toán, thiệt hại do lỗi bóng khí lên tới khoảng 0,6 triệu USD mỗi tháng, tương đương khoảng 13,8 tỷ VND, cho thấy tác động lớn đến chi phí sản xuất và hiệu suất của dây chuyền.
Hình 1.9 Loại hình bóng khí Lỗi dán lệch sản phẩm ( Tỷ lệ lỗi 0.1% ): là là lỗi phát sinh do trong hình thành quá trình dán mặt điện thoại ( Window ) vào bề mặt Panel dẫn tới sản phẩm sau khi hoàn thành chu trình dán không khớp nhau màn hình điện thoại Dẫn tới khả năng lắp ráp và hiển thị màn hình ở các module phía sau dây chuyền sản xuất không đáp ứng được tiêu chí đầu ra của nhà máy Gặp lỗi này không thể tái sử dụng được mà phải hủy đối với sản phẩm Theo như tính toán thì thiệt hạị theo giá trị sản phẩm 0.3 M ( USD)~ 6.9 tỷ VND/ Tháng
Qua liệt kê một số vấn đề nghiêm trọng do sự cố gây ra gây ra nêu trên thì việc phát triển một hệ thống tự động giám sát và ngăn chặn các sự cố chất lượng tại các bước sản xuất quan trọng là điều vô cùng cần thiết và cấp bách đối với các nhà máy sản xuất màn hình
1.1.3 Tính cấp bách của đề tài
Từ quy trình sản xuất sản phẩm tại công đoạn đã nêu ở trên có thể thấy rằng chu trình sản xuất hoàn toàn khép kín, mỗi 1 quá trình dán đều có thể nguy cơ gây ra lỗi hàng loạt ( dị vật/ bóng khí / dán lệch sản phẩm ) nếu không phát hiện và ngăn ngừa các sự cố hay các lỗi phát sinh thì hoàn toàn có thể gây ra thiệt hại rất lớn cho nhà máy, vì thế một phương pháp kiểm tra liên tục, giám sát được tình trạng của hàng thành phẩm, trước khi tiến hành công đoạn sau là vô cùng cần thiết nhằm phòng tránh lỗi phát sinh Áp dụng xử lý ảnh với chỉ một vision camera có nhiều ưu điểm phù hợp để áp dụng như sau:
- Thời gian xử lý nhanh, phù hợp với dây chuyền sản xuất tự động
Mỗi sản phẩm hiện tại có thời gian hoàn thành khoảng 5 giây, khiến việc quan sát kỹ các dị vật, bóng khí và dán lệch có kích thước nhỏ từ 0,3 mm trở lên bằng mắt thường là khó khăn Với ứng dụng xử lý ảnh, chỉ cần một hệ thống nhận diện và phân tích hình ảnh tự động để phát hiện những lỗi này, kể cả khi kích thước chỉ 0,3 mm Giải pháp xử lý ảnh giúp nâng cao độ chính xác của kiểm tra chất lượng, giảm thiểu sai sót do con người, và đồng thời tối ưu hóa chu kỳ sản xuất cũng như tiết kiệm chi phí.
Với hệ thống 10 camera Vision và chế độ hoạt động 2-stage cho mỗi thiết bị, hệ thống có thể phát hiện đầy đủ cả ba lỗi đã được nêu khi chúng phát sinh Hệ thống sẽ tự động gửi cảnh báo khẩn cấp tới kỹ thuật viên để xử lý kịp thời.
- Kích thước nhỏ gọn, có thể tích hợp trong thiết bị
Trong thiết kế hiện tại, kích thước phần bên trong tương đối nhỏ, chỉ khoảng 800 mm × 800 mm, dù chứa nhiều chi tiết linh kiện phức tạp Tuy nhiên, mỗi camera vision có kích thước khoảng 50 mm × 50 mm và hoàn toàn có thể lắp đặt mà không ảnh hưởng tới vận hành chung của các chi tiết máy khác Nhờ đặc tính nhỏ gọn này, hệ thống phù hợp với thiết kế hiện tại và tối ưu hóa không gian, đảm bảo hiệu suất vận hành và sự tương thích với thiết bị hiện có.
Quản lý lịch sử hoạt động dựa trên dữ liệu được tải lên hệ thống là nền tảng cho mọi hệ thống làm việc Với dữ liệu thu thập được từ các lỗi phát hiện hàng ngày, ta có thể theo dõi xu hướng chất lượng của nguyên vật liệu đầu vào, nhận diện sự biến đổi tích cực hoặc tiêu cực và hiểu rõ lý do cũng như thời điểm phát sinh lỗi Việc nắm bắt chính xác hiện trạng chất lượng từng công đoạn giúp tối ưu quy trình sản xuất, cải thiện hiệu suất và đưa ra các biện pháp khắc phục phù hợp.
Bên dưới đây là hình ảnh tưởng minh ý tưởng xây dựng đề tài, sẽ lắp đặt camera vision tại thiết bị nhằm quan sát nhằm phát hiện phân tích hình ảnh xem có hay không có các lỗi hay phát sinh để cảnh báo cho nhân viên kịp thời xử lý, vị
17 trí lắp đặt cho phép quan sát rõ bề mặt sản phẩm và đưa ra kết quả dựa trên thuật toán xử lý ảnh
Hình 1.10 Ý tưởng Camera Vision giám sát và phát hiện sự cố
Hình 1.11 Sơ đồ lắp đặt hệ thống điều khiển Các thành phần của hệ thống điều khiển bao gồm:
- Camera Vision: chụp ảnh tại vị trí chỉ định
Phương pháp phát hiện chất lượng bằng xử lý ảnh
Để xây dựng thuật toán và triển khai chương trình xử lý ảnh hiệu quả, ta cần nắm vững một cách vững chắc các lý thuyết cơ bản về xử lý ảnh và các ứng dụng của nó trong thực tế Dưới đây là danh mục các lý thuyết chủ chốt về xử lý ảnh mà người làm dự án cần nắm vững, kèm theo nguồn tài liệu tham khảo phục vụ nội dung đề tài [1], [3], nhằm định hình khung kiến thức và làm tham khảo cho bài viết.
Xử lý ảnh và thị giác máy là lĩnh vực đang phát triển mạnh và được ứng dụng rộng rãi trong nhiều ngành nhờ những tiến bộ vượt bậc của hệ thống máy tính, của các thuật toán và của các công trình nghiên cứu của nhiều nhà khoa học trên thế giới Những tiến bộ này cho phép máy móc nhận diện, phân loại và hiểu nội dung hình ảnh một cách ngày càng chính xác, mở ra các ứng dụng thiết thực từ an ninh, y tế đến tự động hóa và công nghiệp Sự đóng góp đa dạng của các nhà khoa học toàn cầu không ngừng bổ sung trí tuệ và công nghệ mới, đẩy nhanh tốc độ xử lý và nâng cao hiệu quả của các hệ thống thị giác máy.
Xử lý ảnh là phần cốt lõi của kỹ thuật thị giác máy tính, đóng vai trò thiết yếu trong việc nâng cao chất lượng thông tin hình ảnh Nhiệm vụ chính của xử lý ảnh là làm rõ và tối ưu hóa các đặc trưng hình ảnh theo mục đích phân tích, từ đó sinh ra các kết quả và số liệu để phục vụ các bước kế tiếp như hiển thị trực quan, điều khiển cơ cấu chấp hành của hệ thống, hoặc lưu trữ dữ liệu vào cơ sở dữ liệu.
Quá trình xử lý ảnh bắt đầu từ việc tiếp nhận ảnh nguồn ở máy tính, sau đó dữ liệu ảnh được lưu trữ ở định dạng phù hợp với các bước xử lý Lập trình viên sẽ triển khai các thuật toán xử lý ảnh nhằm thay đổi cấu trúc và đặc trưng của ảnh để phù hợp với nhiều ứng dụng như nhận diện, phân loại và chỉnh sửa hình ảnh Các thuật toán cơ bản thường được sử dụng bao gồm Histogram để cân bằng sáng tối, Canny Edge để phát hiện biên cạnh, lọc màu theo không gian RGB và HSV để điều chỉnh màu sắc và độ bão hòa, cùng với các kỹ thuật xử lý ảnh khác nhằm nâng cao chất lượng và hiệu quả của hệ thống.
1.2.1 Không gian màu, chuyển đổi giữa các không gian màu
Không gian màu là một mô hình toán học dùng để mô tả các màu sắc trong thực tế, được biểu diễn dưới dạng số học Có rất nhiều không gian màu khác nhau được mô hình hóa để phục vụ các mục đích khác nhau, từ hiển thị trên màn hình đến in ấn và xử lý hình ảnh Trong bài viết này, chúng ta sẽ tìm hiểu ba không gian màu cơ bản và được nhắc tới nhiều nhất: RGB, HSV và CMYK RGB là không gian màu dựa trên ánh sáng, phổ biến trong thiết kế số và hiển thị màn hình; HSV mô tả màu sắc theo các thành phần Hue, Saturation và Value (độ sáng), thuận tiện cho việc chỉnh sửa màu sắc; CMYK là không gian màu in ấn dựa trên các màu cyan, magenta, vàng và đen, phù hợp với quy trình in ấn.
RGB là không gian màu phổ biến được dùng trong đồ họa máy tính và nhiều thiết bị kỹ thuật số khác Ý tưởng chính của nó là sự kết hợp của ba màu cơ bản: đỏ (R), xanh lục (G) và xanh lam (B) để mô tả mọi màu sắc Trong một ảnh số được mã hóa bằng 24 bit, mỗi kênh R, G và B có 8 bit, cho phép giá trị từ 0 đến 255 cho từng kênh Việc kết hợp các giá trị này ở ba kênh tạo ra vô số màu sắc khác nhau.
19 màu kết hợp với nhau ta sẽ được một màu khác nhau, như vậy ta sẽ có tổng cộng
Ví dụ: màu đen là sự kết hợp của các kênh màu (R, G, B) với giá trị tương ứng (0, 0, 0) màu trắng có giá trị (255, 255, 255), màu vàng có giá trị (255, 255,
0), màu tím đậm có giá trị (64, 0, 128) Nếu ta dùng 16 bit để mã hóa một kênh màu (48bit cho toàn bộ 3 kênh màu) thì dải màu sẽ trải rộng lên tới 3x2 16 Một con số rất lớn
Hình 1.12 Không gian màu RGB Không gian màu CMYK:
CMYK là hệ màu được sử dụng phổ biến trong ngành in ấn, với ý tưởng cơ bản là dùng bốn màu cơ bản để pha trộn mực in Trên thực tế, ba màu chính là Cyan (C), Magenta (M) và Yellow (Y) được dùng để biểu diễn các màu sắc khác nhau; khi kết hợp, Magenta với Yellow tạo ra đỏ, Cyan với Yellow tạo ra xanh lam, còn sự pha trộn của cả ba màu sẽ cho ra màu đen nhưng không phải đen tuyệt đối và thường có độ tương phản cao Để in các chi tiết tối màu và tiết kiệm mực, người ta thêm màu đen (K) vào quá trình in; ký hiệu K ở đây là Black (đen), vì chữ B từng được dùng cho Blue Nguyên lý hoạt động của hệ màu CMYK là trên nền giấy trắng, mỗi màu in sẽ loại bỏ dần phần màu trắng, và các tỉ lệ in C, M, Y khác nhau sẽ loại bỏ các thành phần màu trắng theo các mức độ khác nhau để tạo ra các sắc thái màu mong muốn.
CMYK là hệ màu được dùng trong in ấn, cho ra màu sắc bằng cách loại bỏ lẫn nhau các thành phần màu Khi cần in màu đen, ta không nhất thiết in ba màu cyan, magenta và yellow, mà có thể dùng mực đen (K) để in lên Nguyên lý của CMYK khác với hệ RGB ở chỗ RGB là sự kết hợp của các thành phần màu để tạo màu trên màn hình, trong khi CMYK là hệ màu subtractive, dựa trên việc loại bỏ các thành phần màu để tạo ra màu sắc khi in.
Hình 1.13 Không gian màu YMC
HSV và HSL là không gian màu được dùng nhiều trong chỉnh sửa ảnh, phân tích ảnh và một phần của thị giác máy tính Không gian HSV mô tả màu sắc bằng ba tham số H (Hue: màu sắc), S (Saturation: độ bão hòa) và V (Value: giá trị cường độ sáng) Thông thường không gian này được biểu diễn dưới dạng hình trụ hoặc hình nón Trên vòng màu từ 0 đến 360 độ, Hue biểu diễn sắc thái màu, với 0 độ là đỏ, 0–120 độ từ đỏ tới vàng tới xanh lá, 120–240 độ từ xanh lá tới xanh lam, và 240–360 độ từ xanh lam tới đỏ Việc nắm rõ khái niệm màu sắc và cách tạo màu trong từng không gian màu rất có ý nghĩa cho việc hiểu và chuyển đổi giữa các không gian màu tùy theo bài toán xử lý ảnh, dưới đây tiếp tục giới thiệu lý thuyết chuyển đổi giữa các không gian màu và các thuật toán hỗ trợ trong OpenCV.
Hình 1.14 Không gian màu HSV Chương trình chuyển đổi các không gian màu
Trong OpenCV, các không gian màu được chuyển đổi qua lại nhờ hàm cvtColor (convert color) Nguyên mẫu của hàm này là cv::cvtColor(cv::InputArray src, cv::OutputArray dst, int code) Hàm cvtColor nhận đầu vào là nguồn ảnh src, lưu kết quả tại dst và sử dụng tham số code để xác định loại chuyển đổi màu cần thực hiện.
Trong bài viết này, src và dst lần lượt là ảnh gốc và ảnh thu được sau khi chuyển đổi không gian màu, còn code là mã chuyển đổi tương ứng OpenCV định nghĩa rất nhiều mã chuyển đổi giữa các không gian màu khác nhau; ví dụ Code = CV_BGR2GRAY sẽ chuyển ảnh ở không gian màu RGB sang ảnh xám, Code = CV_HSV2BGR sẽ chuyển ảnh ở không gian màu HSV sang không gian màu RGB, đồng thời còn nhiều mã khác cho các cặp không gian màu như RGB, HSV, LAB, và nhiều hơn nữa.
1.2.2 Ảnh nhị phân, nhị phân hóa với ngưỡng động Ảnh nhị phân là ảnh mà giá trị của các điểm ảnh chỉ được biểu diễn bằng hai giá trị 0 hoặc 255 tương ứng với hai màu đen hoặc trắng Nhị phân hóa một ảnh là quá trình biến một ảnh xám thành ảnh nhị phân Gọi f(x,y) là giá trị cường độ sáng của một điểm ảnh ở vị trí (x,y), T là ngưỡng nhị nhị phân Khi đó, ảnh xám f sẽ được chuyển thành ảnh nhị phân dựa vào công thức f(x,y) = 0 nếu f(x,y)
Nhị phân hóa ảnh bằng ngưỡng là kỹ thuật gán giá trị 255 cho mọi điểm ảnh f(x,y) nếu f(x,y) > T và gán 0 cho các điểm còn lại Trong OpenCV, hàm để chuyển nhị phân hóa ảnh là threshold(), có nguyên mẫu threshold(cv::InputArray src, cv::OutputArray dst, double thresh, int maxval, int type) Trong đó, src là ảnh đầu vào một kênh màu (thường là ảnh xám), dst là ảnh sau khi nhị phân hóa, thresh là ngưỡng T và maxval là giá trị tối đa được gán cho các điểm đáp ứng điều kiện theo loại threshold Tham số type quy định cách gán giá trị cho từng điểm ảnh dựa trên ngưỡng, với các tùy chọn phổ biến như THRESH_BINARY, THRESH_BINARY_INV, THRESH_TRUNC, THRESH_TOZERO, THRESH_TOZERO_INV Việc dùng threshold trong OpenCV giúp chuyển đổi nhanh chóng ảnh sang dạng nhị phân cho các bài toán nhận diện, phân đoạn và phân tích đặc trưng.
22 ngưỡng nhị phân, maxval là giá trị lớn nhất trong ảnh (maxval = 255 đối với ảnh xám), type là kiểu nhị phân có thể là:
CV_THRESH_BINARY,CV_THRESH_BINARY_INV,CV_THRESH_OTSU
Trong xử lý ảnh, nhị phân hóa được thực hiện lần lượt theo ba phương pháp chủ chốt: nhị phân hóa thông thường, nhị phân hóa ngược và nhị phân hóa theo thuật toán Otsu Nhị phân hóa thông thường gán giá trị 255 cho các pixel vượt ngưỡng và 0 cho các pixel còn lại, trong khi nhị phân hóa ngược làm ngược lại với ngưỡng đó Thuật toán Otsu tự động tìm ngưỡng tối ưu bằng cách tối ưu hóa sự phân tách giữa hai lớp cơ bản của ảnh, nhằm tăng độ tương phản và làm nổi bật đối tượng trên nền Kết quả của việc nhị phân hóa một ảnh phụ thuộc nghiêm ngặt vào ngưỡng được chọn; một ngưỡng phù hợp có thể cải thiện rõ rệt sự phân tách giữa đối tượng và nền, còn ngưỡng kém sẽ làm giảm chất lượng nhị phân.
T, có nghĩa là với mỗi ngưỡng T khác nhau thì ta có những ảnh nhị phân khác nhau Hình sau mô tả ba ảnh nhị phân tương ứng với ngưỡng T = 50, T 0
Hình 1.15 Ảnh với giá trị Threshold khác nhau
Các thuật toán liên quan và lựa chọn
1.3.1 Phương pháp tách nền (Background subtraction)
Phương pháp tách cảnh nền (Background subtraction), hay còn gọi là phát hiện tiền cảnh (foreground detection), là kỹ thuật trong xử lý ảnh và thị giác máy tính nhằm tách các vùng tiền cảnh khỏi nền để phục vụ cho các bước xử lý tiếp theo như nhận dạng đối tượng, nhận dạng cử chỉ và phân tích chuyển động Thông thường các vùng quan tâm thuộc tiền cảnh của bức ảnh, vì vậy tách cảnh nền một cách hiệu quả và chính xác sẽ giúp hệ thống hoạt động ổn định và xử lý nhanh hơn Sau bước tiền xử lý, các bước xử lý tiếp theo sẽ dựa trên kết quả của kỹ thuật tách nền Tách cảnh nền được ứng dụng rộng rãi trong nhiều lĩnh vực như camera giám sát, nhận dạng đối tượng, nhận dạng cử chỉ và giao thông để theo dõi lưu lượng xe, với các phương pháp tiếp cận đa dạng.
Trong tất cả các phương pháp background subtraction thì phương pháp Frame Differencing được xem là phương pháp đơn giản nhất Chi phí tính toán thấp, tốc độ thực thi thuật toán nhanh Tuy nhiên kết quả đạt được khi ta áp dụng thuật toán này là tương đối thấp
- th: ngưỡng được chọn Độ chính xác của thuật toán phụ thuộc vào giá trị ngưỡng này
1.3.1.2 Phương pháp lọc trung bình Mean filter
Lo và Velastin trong đề xuất sử dụng giá trị trung bình của n frame cuối cùng làm mô hình nền Bước đầu tiên của phương pháp Median là xây dựng ra mô hình background qua quá trình học trên n frame Giá trị pixel tại vị trí (x, y) của mô hình background được xây dựng bằng cách chọn ra giá trị trung vị của n frame tại vị trí (x, y)
Giá trị trung vị được xác định bằng cách sau:
Trong một chuỗi frame từ F1 đến Fn, ta xem xét pixel tại vị trí (x, y) Các giá trị F1(x, y), F2(x, y), …, Fn(x, y) tạo thành một dãy giá trị của pixel ở vị trí đó theo từng frame, phản ánh sự biến đổi cường độ của pixel qua các khung hình Bước đầu tiên là sắp xếp dãy giá trị này theo thứ tự tăng dần để dễ dàng phân tích đặc trưng và chuẩn bị cho các bước xử lý tiếp theo.
Giá trị trung vị là phần tử nằm ở giữa của dãy pixel đã được sắp xếp theo thứ tự Sau khi đã xây dựng được mô hình nền (background) theo phương pháp đã nêu, các bước tiếp theo được thực hiện tương tự như thuật toán Running Average để cập nhật và ổn định nền ảnh.
1.3.1.3 Phương pháp Running Gaussian average
Trong phương pháp frame differencing như đã đề cập, việc xác định đối tượng chỉ dựa vào sự khác biệt giữa hai frame liên tiếp khiến độ chính xác tương đối thấp Để khắc phục nhược điểm này, phương pháp Running Average đề xuất xây dựng một mô hình background Wren et al đề xuất mô hình hóa background độc lập tại mỗi vị trí pixel (i,j) Giá trị pixel tại vị trí (x,y) của mô hình background được tính bằng trung bình cộng của tất cả các giá trị pixel tại vị trí (x,y) của n frame đã được học.
B(x, y): giá trị pixel tại vị trí (x, y) của mô hình background
- Fi(x, y): giá trị pixel tại vị trí (x, y) của frame thứ i
Sau khi xây dựng xong mô hình background, việc xác định đối tượng foreground được thực hiện bằng cách so sánh từng khung hình với mô hình background Dựa vào ngưỡng đã được thiết lập trước, các vùng có sự khác biệt so với background được xác định là foreground, tương tự như phương pháp frame differencing.
Như vậy, mô hình background sẽ được cập nhật liên tục sau mỗi frame Vì vậy sẽ giúp tăng độ chính xác của phương pháp
1.3.1.4 Phương pháp mô hình gausian hỗn hợp (GMM)
Phương pháp này do Wren, Azarbayejani, Darrell, Pentland đưa ra vào năm
Năm 1997, phương pháp này đặt một phân phối Gaussian lên sự biến thiên giá trị của mỗi pixel trong một dải video Với một dãy frame từ F1 đến Fn, tại vị trí (x, y) các giá trị F1(x, y), F2(x, y), , Fn(x, y) tạo thành chuỗi giá trị của pixel (x, y) theo từng frame Bằng cách tính trung bình và độ lệch chuẩn của chuỗi giá trị này, ta xác định được giá trị nền tại (x, y) là giá trị trung bình và ngưỡng phát hiện dựa trên độ lệch chuẩn nhân với một hằng số Phương pháp Gaussian cho mỗi pixel như vậy cho phép phân biệt nền và các đối tượng chuyển động trong video.
Template matching là một kỹ thuật xử lý ảnh điện tử dùng để tìm một hình ảnh mẫu nhỏ trong một bức ảnh lớn sao cho vùng ảnh này khớp với ảnh mẫu nhất Kỹ thuật này có thể áp dụng trong sản xuất để quản lý chất lượng sản phẩm, dùng để điều khiển robot di động, hoặc để phát hiện các cạnh của một bức ảnh Những thách thức lớn nhất của phương pháp template matching là việc xác định sự ăn khớp giữa ảnh và mẫu, cũng như phát hiện các biến đổi do ánh sáng, nền có màu khác nhau, xáo trộn nền và thay đổi tỷ lệ của ảnh gốc.
Các phương pháp tiếp cận phương pháp Template Matching:
1.3.2.1 Biến đổi Laplacian của Gaussian
Một trong những bộ phát hiện blob đầu tiên và phổ biến nhất dựa trên Laplacian of Gaussian (LoG) là phương pháp nhận diện blob bằng LoG Cho một hình ảnh đầu vào f(x, y), ảnh này được làm mờ bằng một kernel Gaussian thông qua phép tích chập; sau đó ta tính Laplacian của ảnh đã làm mờ để thu được bản đồ LoG và tìm các điểm cực trị trong không gian quy mô (scale-space) để xác định vị trí và kích thước của các blob ở nhiều quy mô khác nhau Phương pháp này nổi tiếng vì khả năng nhận diện blob ở nhiều kích thước và nhạy với các vùng sáng hoặc tối trên ảnh.
Trong xử lý ảnh, hàm g(x,y,t) thể hiện hạt Gaussian chuẩn hóa (hạt nhân Gauss) với công thức g(x,y,t) = 1/(2π t) e^{-(x^2+y^2)/(2t)} Kết quả cho thấy các đốm màu tối rất nổi bật; các đốm màu tối có bán kính r = √(2t) đối với ảnh 2 chiều và r = √(dt) đối với ảnh nhiều chiều, trong khi kết quả hoàn toàn ngược lại với các đốm màu sáng có kích thước tương tự Một cách đơn giản để có được một bộ phát hiện blob đa tỷ lệ là lựa chọn tự động các tỷ lệ bằng cách xem xét các phép tính Laplacian theo chuẩn hóa tỷ lệ.
Để phát hiện tỷ lệ không gian lớn nhất/nhỏ nhất, ta tìm các điểm có giá trị của phép tính Laplacian ở trạng thái tối ưu theo không gian, tương ứng với các mức không gian và tỷ lệ L(x,y,t) mà kết quả đo đạt cực đại hoặc cực tiểu; điều này được nêu rõ trong các công trình của Lindeberg (1994, 1998) Với một hình ảnh đầu vào hai chiều rời rạc f(x,y) và một hình ảnh ba chiều rời rạc có tỷ lệ không gian L(x,y,t) được tính toán, một điểm được coi là đốm sáng (đốm tối) nếu giá trị tại điểm đó lớn hơn (hoặc nhỏ hơn) giá trị của tất cả 26 điểm lân cận Do đó, việc chọn đồng thời các điểm (x̂, t̂) và tỷ lệ t̂ được thực hiện theo một công thức nhằm tối ưu hóa việc nhận diện và phân biệt các đốm ở nhiều thang đo không gian khác nhau.
(𝑥̂,𝑦̂,𝑡̂)=𝑎𝑟𝑔𝑚𝑎𝑥𝑚𝑖𝑛𝑙𝑜𝑐𝑎𝑙(𝑥,𝑦,𝑡)((𝛻𝑛𝑜𝑟𝑚2𝐿)(𝑥,𝑦,𝑡)) (1.17) Các thuộc tính dựa trên sự lựa chọn tỷ lệ của phép biến đổi Laplacian và các phương pháp dò tìm điểm cần quan tâm có quy mô chặt chẽ khác được phân tích chi tiết trong (Lindeberg 2013a) Trong (Lindeberg 2013a, 2015) nó được thể hiện rằng tồn tại các bộ tìm kiếm điểm quan tâm trong không gian khác, chẳng hạn như yếu tố quyết định của biến đổi Hessian, hoạt động tốt hơn so với toán tử Laplacian hoặc xấp xỉ khác biệt của Gaussians cho phù hợp dựa trên hình ảnh bằng cách sử dụng bộ mô tả hình ảnh như SIFT
1.3.2.2 Phương pháp sai lệch Gaussian
Từ thực tế là các đại diện không gian quy mô L(x,y,t) đáp ứng các phương trình khuếch tán
Trong xử lý ảnh, định luật Laplace liên quan đến phép biến đổi Gaussian và toán tử Laplacian của ảnh L(x, y, t) có thể được tính bằng giới hạn của sự khác biệt giữa hai ảnh Gaussian được làm mịn, nhằm biểu diễn đại diện quy mô trong không gian Toán tử Laplacian of Gaussian (LoG) cho phép mô tả biến thiên của hình ảnh ở nhiều mức độ mịn và hỗ trợ nhận diện cạnh và đặc trưng ở các cấp độ quy mô khác nhau.
Trong lý thuyết thị giác máy tính, cách tiếp cận này được gọi là sự khác biệt của Gaussians (DoG) Bên cạnh các kỹ thuật làm mịn, phép biến đổi DoG bản chất tương tự như Laplacian và có thể được xem như một xấp xỉ của các phép biến đổi Laplacian Công thức 𝛻norm2L(x,y,t) ≈ t Δt [ L(x,y,t+Δt) − L(x,y,t) ] cho thấy cách sự biến đổi theo thời gian của L được dùng để mô tả biên và các chi tiết ở nhiều thước đo khác nhau, từ đó DoG trở thành công cụ hữu ích trong nhận diện cạnh và đặc trưng trong xử lý ảnh.
Bằng việc xem xét quyết định quy mô chuẩn hoá của Hessian, cũng được gọi là phép biến đổi Monge-Ampère
TÍNH TOÁN THIẾT KẾ CƠ KHÍ
Cơ sở tính toán lựa chọn Camera cho hệ thống ngăn chặn và phát hiện sự cố
Trong hệ thống machine vision, việc chọn camera và ống kính phù hợp là một bước cực kỳ quan trọng, đòi hỏi nắm vững lý thuyết vision camera và các khái niệm liên quan Để có lựa chọn chính xác, chúng ta cần dựa trên cơ sở lý thuyết vững chắc và phân tích các yếu tố tính toán như độ phân giải cảm biến, trường nhìn, tiêu cự, và điều kiện chiếu sáng Trước tiên, cần tìm hiểu một số khái niệm cơ bản, cũng là những khái niệm quan trọng liên quan tới tính toán mà nội dung bài viết sẽ đề cập, nhằm xây dựng nền tảng cho quá trình thiết kế và tối ưu hóa hệ thống vision camera.
Field of View (FOV) là vùng làm việc của camera, là vùng ảnh mà camera cần chụp được để bao phủ toàn bộ nội dung ảnh phục vụ cho quá trình xử lý FOV phụ thuộc vào kích thước đối tượng cần phát hiện và xử lý, và thường có dạng hình chữ nhật hoặc hình vuông Ví dụ, để phát hiện một hình tròn có đường kính 3 mm, FOV cần có kích thước lớn hơn 3 mm để có thể bao phủ hoàn toàn đối tượng Việc xác định đúng FOV giúp đảm bảo mọi đặc trưng của đối tượng được ghi nhận và tăng độ chính xác của hệ thống nhận diện và xử lý ảnh.
Đặc trưng nhỏ nhất (Smallest feature) là kích thước nhỏ nhất mà người dùng muốn có thể detect được trong ảnh Thông thường, đây cũng chính là sai số mà người dùng cần đạt được khi tiến hành xử lý ảnh, vì nhận diện các đặc trưng có kích thước càng nhỏ đòi hỏi độ phân giải và độ chính xác của thuật toán cao hơn.
Working distance (hay còn gọi là Object Distance): là khoảng cách từ trước lens tới mặt trên đối tượng cần chụp
Hình 2.1 Lý thuyết về Camera vision
Giải pháp: Có hai bước tính toán chính để giúp người sử dụng chọn được camera có độ phân giải phù hợp và chọn đúng focal length (tiêu cự):
• 1 Tính toán độ phân giải: Cần biết trước hai thông số đầu vào là độ chính xác (accuracy) và FOV (field of view)
Việc lựa chọn camera nên dựa vào các thông số như kích thước cảm biến để tính toán việc chọn ống kính Độ phân giải cảm biến được định nghĩa là số lượng pixel trên ảnh; ví dụ một camera 5 megapixel có độ phân giải tương ứng với các kích thước ảnh điển hình như 2592x1944 hoặc 2590x2048 Độ phân giải thực tế phụ thuộc vào hai chiều của ảnh, ví dụ 640x480 Để đơn giản hóa các phép tính, người ta thường dùng một kích thước làm tham chiếu; ví dụ với độ phân giải 2592x1944 sẽ lấy giá trị 2592 làm tham chiếu (chú ý lấy giá trị lớn hơn để ước lượng chính xác hơn; nếu lấy giá trị nhỏ hơn sẽ dẫn đến sai lệch phép tính).
Để đảm bảo đo chính xác trên ảnh, ta cần tối thiểu hai pixel trên đặc trưng nhỏ nhất mà bạn muốn phát hiện, nghĩa là cần ít nhất hai pixel để xác định khoảng cách giữa các điểm Độ phân giải tối thiểu của camera (pixels per smallest feature) được tính bằng kích thước thực của trường nhìn (FOV) chia cho độ chính xác mong muốn, hoặc chia cho kích thước của smallest feature mà bạn muốn đo lường Việc chọn linh kiện và cảm biến phù hợp với yêu cầu bài toán là yếu tố quyết định để đảm bảo camera có đủ phân giải và độ nhạy cần thiết Sự cân bằng giữa FOV, kích thước feature và độ phân giải ảnh sẽ giúp xác định rõ ràng số pixel tối thiểu cần có cho hệ thống, từ đó tối ưu hóa thiết kế camera và phương án đo lường.
Dựa trên tình hình thực tế và điều kiện thiết bị hiện có, chúng tôi đã chọn các linh kiện phù hợp với nhu cầu sử dụng, và kết quả được thể hiện trong bảng tổng hợp dưới đây.
Danh sách linh kiện lựa chọn Chi tiết giá
ESC Vision Image Unit Price $ (1 thiết bị 2 port)
IMAGE Grabber card Tự viết chương trình sử dụng thư viên ảnh Open CV có sẵn
Dongle Key Tự viết chương trình sử dụng thư viên ảnh Open CV có sẵn
PC Sử dụng cây vision sub robot
Thông số chế tạo Camera:
▪ Exposure Control ▪ programmable via the camera API
Power Requirements ▪ PoE or 12 VDC
Housing Size (L x W x H) 42 mm x 29 mm x 29 mm
2.1.1 Thực nghiệm lựa chọn kích thước lỗi nhỏ nhất cần phát hiện Để có thể đưa ra giá trị kích thước dị vật, bóng khí, dán lệch nhỏ nhất mà nó có thể ảnh hưởng tới ngoại quan bằng mắt thường thì ta cần làm tiến hành đánh giá thực nghiệm về nguy cơ và tỷ lệ phát sinh lỗi cho từng giá trị kích thước nhằm có những đánh giá thực tế nhất Tiến hành lựa chọn các kích thước mỗi lỗi có giá trị từ 0.1 mm rồi kiểm chứng mỗi điều kiện 100 mẫu xem đối với từng kích thước thì tỷ lệ lỗi công đoạn phát sinh tương ứng là bao nhiêu nhằm qua đó xác định kích thước tối thiểu cần bắt của vision camera thì kết quả thực nghiệm như bảng sau: Lần thực nghiệm
Kích thước mẫu < mm> Số lượng mẫu Ngoại quan Tỷ lệ lỗi
Dựa trên kết quả đánh giá, từ kích thước 0.3 mm trở lên, dị vật, bóng khí và lệch dán đã bắt đầu gây lỗi trên sản phẩm Mức độ lỗi càng lớn thì sự ảnh hưởng tới ngoại quan và chất lượng sản phẩm càng nghiêm trọng, có thể quan sát được bằng mắt thường Do đó, cần phải phát hiện dị vật, bóng khí và lệch dán với kích thước tối thiểu 0.3 mm để đảm bảo chất lượng của công đoạn sản xuất.
Từ thông số sản xuất ta tính toán Fov và kích thước Pixcel:
Theo công thức: Focal Length x FOV =Sensor Size x Working Distance x= (5.7 *800)/25 = 182.4 (mm) y= (4.3 *800)/25 = 137.6 (mm)
Như vậy FOV (x, y) = 182.2 mm x 137.6 mm Độ phân giải: 2592 x 1944 điểm ảnh của camera cho ta tính được kích thước nhỏ nhất của mỗi pixel:
Kích thước pixel: (182.4 mm / 2592) x (137.6 mm/ 1944)
Suy ra, kích thước mỗi pixel = 0.00498 mm, xấp xỉ 4.98 (um)
Kích thước pixel 4.98um thỏa mãn yêu cầu đặt ra là kích thước dị vật nhỏ nhất cần phát hiện ít nhất lớn hơn 0.3 mm (mức độ đủ lớn để phát sinh ra lỗi tại công đoạn), như vậy mỗi dị vật có kích thước nhỏ nhất cần phát hiện sẽ tương đương với kích thước khoảng 70 pixels tới 78 pixels, ta hoàn toàn có thể chuyển đổi từ kích thước theo mm tính khoảng cách sang số pixel để nâng cao độ chính xác cho thuật toán sau này.
Thông số thiết bị, vị trí lắp đặt Camera
Trước tiên chúng ta cần tìm hiểu sơ đồ hoạt động của thiết bị và các vị trí phù hợp để lắp đặt Camera Vision, bên dưới đây là sơ đồ mô tả quy trình hoạt động của một thiết bị dán thông thường và vị trí phù hợp để lắp đặt phần cơ khí cho hệ giám sát chất lượng Các bộ phần chính của hệ cơ khí của hệ thống giám sát bao gồm các Stage( bàn đặt sản phẩm lên), cơ cấu chuyển động linear motion guide sử dụng động cơ servo, các cảm biến quang( photo sensor) nhằm chính xác tối đa chuyển động của sản phẩm và các cơ cấu chấp hành khác nhằm mục đích gia công sản phẩm
Hình 2.2 Sơ đồ thiết bị và vị trí lắp đặt Camera Vision
Không gian làm việc của Camera vision:
Hình 2.3 Khu vực làm việc của Camera Chi tiết nguyên lý hoạt động của hệ thống giám sát:
Hình 2.4 Sơ đồ nguyên lý hoạt động của hệ thống
Bước 1: Robot loading sample từ conveyer vào Base Light ( Jig)
Base Light được vận chuyển bằng động cơ servo, được dẫn hướng bởi các trục dẫn hướng và thanh dẫn (linear motion guide), và tích hợp các cảm biến photo sensor để định vị chính xác ba vị trí quan trọng: vị trí đặt tấm màn hình (sensor 1), vị trí tiến hành vision camera (sensor 2) và vị trí gia công sản phẩm (sensor 3).
Hình 2.5 Robot loading màn hình từ conveyer vào Base Light( Jig)
Bước 2: Màn hình đã được đặt lên Base, robot quay trở lại lấy màn hình tiếp theo để chuẩn bị cho chu trình mới Màn hình được đưa vào vị trí kiểm tra vision tại sensor 2 để phát hiện dị vật, bọt khí hoặc lệch dán.
Trong Hình 2.6, Step 2 của chu trình làm việc, camera vision chụp ảnh màn hình và đưa hình ảnh vào sơ đồ thuật toán xử lý hình ảnh sẽ được trình bày ở chương sau Quá trình xử lý gồm tiền xử lý, lọc nhiễu, và tính toán kích thước cùng vị trí của dị vật và bọt khí, cũng như nhận diện và xử lý các hiện tượng dán lệch để đảm bảo chất lượng sản phẩm.
Bước 3: Được chia thành hai trường hợp như sau:
Ở bước 2, nếu phát hiện trên màn hình có lỗi như dị vật, bọt khí hoặc dán lệch, thiết bị sẽ cảnh báo alarm và thông báo cho kỹ thuật viên tới xử lý (5ea) Khi tiếp cận thiết bị, các kỹ thuật viên sẽ trực tiếp kiểm tra hiện trạng màn hình để xác định vị trí xuất hiện dị vật, bọt khí và lệch dán và lên phương án xử lý phù hợp.
Màn hình có dị vật
+ Màn hình có dị vật sẽ được check code xem ở thiết bị nào, sau dó cho dừng thiết bị để kiểm tra nguyên vật liệu, thiết bị và vệ sinh 3D5S
+ Lấy mẫu để mang đi phân tích, tìm ra nguồn gốc phát sinh để sau này có thể ngăn chặn trước giảm số lần alarm
Màn hình có bóng khí, dán lệch + Màn hình có bóng khí, dán lệch sẽ được check code xem ở thiết bị nào, sau dó cho dừng thiết bị để kiểm tra loại hình gây ra lỗi và cơ chế phát sinh
+ Xử lý từng loại hình lỗi theo cơ chế, SOP đã được đào tạo từ trước
Sau khi kỹ thuật viên đã xác nhận dị vật, bóng khí và việc căn chỉnh đã được xử lý, thiết bị sẽ khởi động lại để tiếp tục các chu trình sản xuất tiếp theo; Base light quay về đúng vị trí Step 1 tại sensor 1 để bắt đầu nhận phôi tiếp theo Việc xử lý dị vật, bóng khí, dán lệch và lưu trữ mẫu là vô cùng quan trọng vì kết quả phân tích sẽ giúp xác định nguồn gốc chính xác để ngăn chặn từ xa, đây chính là mục tiêu lớn nhất của đề tài.
Hình 2.7 Step 3 trường hợp phát sinh dị vật bóng khí, dán lệch
- Nếu step 3 không phát hiện có dị vật, bọt khí, dán lệch thì tới step 4 ( tại vị trí sensor số 3)
Bước 4: Màn hình được Vision kiểm tra xong thì sẽ được chuyển tới vị trí công đoạn sau ( tới vị trí sensor số 3 ) Đồng thời Base Light di chuyển về vị trí step 1, để lặp lại chu trình tiếp theo
Hình 2.8 mô tả vòng lặp lặp lại chu trình làm việc Khi phát sinh dị vật, bóng khí hoặc lệch dán do hệ thống cảnh báo, sẽ xuất hiện hai trường hợp cảnh báo: cảnh báo thật (phát sinh thực sự) và cảnh báo giả (phát sinh do tính toán sai hoặc nhiễu từ camera) Trong trường hợp cảnh báo giả, hệ thống sẽ đăng ký ngoại lệ cho nhiễu sai để lần sau camera không lặp lại cảnh báo giả này nữa.
Chọn phương án chiếu sáng( lightning)
Có bốn phương án lắp đặt đèn chiếu sáng được thống kê trong hình 2.9; tuy nhiên, trong phạm vi đề tài, để xác định chính xác biên của sample và biên của các đặc điểm cố hữu, phương án lắp đặt đèn chiếu hướng ngược sẽ hỗ trợ rất nhiều và nâng cao khả năng hoạt động chính xác của thuật toán.
Bốn phương pháp lắp đặt chiếu sáng bao gồm:
Ánh sáng ngược (backlight) là ánh sáng chiếu từ dưới vật thể lên trên, tạo cạnh viền nổi bật để dễ dàng đo đạc kích thước và xác định biên của đối tượng Đây là phương pháp được lựa chọn vì dễ bắt biên, cho độ tương phản cao và phù hợp với yêu cầu bài toán đặt ra Trong không gian lắp đặt thiết bị, góc chiếu sáng ngược này cũng rất thuận tiện cho việc bố trí đèn chiếu, tối ưu hóa vị trí lắp đặt và đảm bảo hiệu suất chiếu sáng.
- Lightning góc: đây là phương pháp lựa chọn do dễ bắt biên, dễ lắp đặt nhưng bị lóa khi áp dụng cho màn hình cong…
Lightning góc hẹp là một phương pháp có khả năng phát hiện biến thể rất nhỏ trên bề mặt, tuy nhiên khi áp dụng trên thiết bị thực tế nó dễ gây va chạm với các chi tiết chuyển động trong máy, làm phức tạp quá trình vận hành và đòi hỏi các biện pháp điều chỉnh thiết lập để giảm thiểu rủi ro va chạm.
Chiếu sáng trực tiếp loại bỏ bóng, duy trì độ sáng cao và không gây méo hình, nhưng đặc tính trùng với hướng lắp đặt của camera khiến phương án này không thể triển khai trong phạm vi đề tài.
Hình 2.9 Các phương thức chiếu sáng
Hình 2.10 Thực nghiệm phương thức chiếu sáng
Việc thiết kế và tính toán lắp đặt phần cơ khí của đề tài dựa trên các thiết bị sẵn có tại nhà máy gặp nhiều khó khăn do một số kích thước hoạt động không thể thay đổi hoặc bị hạn chế, như phạm vi hoạt động của camera và không gian độ sáng Tuy nhiên, qua quá trình nghiên cứu và đề xuất các phương án phù hợp với hệ thống, các giải pháp đã được triển khai và vận hành chính xác, ổn định, cho thấy sự phù hợp của giải pháp cơ khí với thực tế vận hành của nhà máy.
THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN
Yêu cầu bài toán điều khiển
Bài toán: Từ mô hình cơ khí đã tiến hành lắp đặt tính toán ở chương hai, viết chương trình thuật toán Vision xử lý hình ảnh thu được, xác định chính xác sự cố chất lượng phát sinh ( dị vật , bóng khí / dán lệch ) và đưa ra cảnh báo cho kỹ thuật viên xử lý tình huống kịp thời Qua đó thiết lập quy trình( process) hoàn chỉnh cho toàn bộ chu trình làm việc từ đưa ra cảnh báo tới kiểm tra, xử lý các tình huống phát sinh trong quá trình hoạt động của Vision camera stage như là xử lý cảnh báo ảo, xử lý dị vật/bóng khí/ dán lệch thực tế, Trong trường hợp phát sinh quá nhiều cảnh báo ảo cũng sẽ cần điều chỉnh lại kích thước dị vật /bóng khí dán lệch cảnh báo để cân bằng được giữa chất lượng và sản lượng của nhà máy Kớch thước dị vật cần phỏt hiện ( yờu cầu thực tế đặt ra): > 0.3 mm ( ~ 300 àm) Kớch thước búng khớ cần phỏt hiện( yờu cầu thực tế đặt ra): > 0.3 mm ( ~ 300 àm) Kớch thước dỏn lệch cần phỏt hiện( yờu cầu thực tế đặt ra): > 0.3 mm ( ~ 300àm) Thời gian xử lý tối đa mỗi hình ảnh: < 5s ( tacttime sản phẩm trong nhà máy ~ 5s/ sản phẩm)
Hình 3.1 Sơ đồ lắp đặt hệ thống điều khiển Các thành phần của hệ thống điều khiển bao gồm:
- Camera Vision: chụp ảnh tại vị trí chỉ định
- Đèn chiếu sáng: Tạo môi trường ánh sáng thuận lợi để ảnh chụp được có thể dễ dàng xử lý hơn Môi trường tối thì ảnh chụp được sẽ khó xử lý dẫn đến kết quả không mong muốn
- Controller: Điều khiểm các tham số của đèn chiếu sáng
Máy tính được trang bị phần mềm hỗ trợ xử lý hình ảnh thu thập được, có chức năng phân tích dữ liệu hình ảnh, phát hiện dị vật và đưa ra cảnh báo ngay khi phát hiện sự cố Sau đó, hệ thống sẽ truyền thông tin về thiết bị để các kênh quản lý có thể giám sát và phản ứng kịp thời, nâng cao an toàn và hiệu quả vận hành.
Xây dựng sơ đồ thuật toán điều khiển hệ thống giám sát chất lượng
Để triển khai hệ thống kiểm tra tự động, ta xây dựng một lưu đồ logic cho hoạt động của thuật toán Từ màn hình ban đầu không có dị vật, bóng khí hay lệch dán, ảnh trạng thái này được lưu làm tham chiếu để so sánh với các ảnh màn hình tiếp theo trong quá trình sản xuất Do màn hình được cấp liên tục, camera có thể phát hiện dị vật, bóng khí và lệch bất cứ lúc nào; sau mỗi lần cấp màn hình, ảnh trạng thái hiện tại được cập nhật và đối chiếu với ảnh tham chiếu để tìm các điểm khác biệt nghi ngờ Để đảm bảo độ chính xác, cần hiệu chuẩn các đặc điểm cố hữu trên màn hình như vị trí các Mark Panel và Glass với kích thước và biến dạng cố định (ví dụ 0.6 mm và 0.8 mm), cùng với các vết xước có kích thước cố định Có một vài phương pháp xử lý ảnh để thực hiện điều này, như hiệu chuẩn hình học, căn chỉnh dựa trên đặc trưng và so sánh ảnh chênh lệch để nhận diện dị vật, bóng khí và dán lệch.
Pattern matching (hay template matching) là phương pháp kiểm tra dị vật trên ảnh màn hình bằng cách dùng ảnh gốc không có dị vật làm mẫu tham chiếu Ta lấy ảnh màn hình sạch làm baseline, sau đó so sánh ảnh chụp mới với ảnh gốc bằng kỹ thuật so khớp mẫu Nếu độ tương đồng giữa hai ảnh nhỏ hơn ngưỡng đã đặt thì có dị vật, bóng khí hoặc dán lệch được phát hiện.
Kiểm tra vị trí của Mark trên màn hình bằng cách lưu giữ toàn bộ tọa độ và vị trí; ảnh mới chụp sẽ nhận diện mọi vật thể, bao gồm Mark và các lỗi phát hiện So sánh từng vật thể với các vị trí đã được huấn luyện trước đó; nếu vị trí của vật thể không trùng với các vị trí này, đó là lỗi cần kiểm tra.
Để trừ nền và phát hiện dị vật hiệu quả trong ảnh sản phẩm, bắt đầu bằng việc chụp ảnh màn hình không có dị vật và bóng khí để làm gốc, sau đó áp dụng căn chỉnh lệch để làm nguồn tham chiếu Tiếp tục trừ từng điểm ảnh để khôi phục ảnh gốc, kết quả là ảnh nền đen và các dị vật, bóng khí kèm theo sai lệch đã được dán Cuối cùng, sử dụng phương pháp phát hiện blob để nhận diện và xác định vị trí, kích thước của dị vật và bóng khí, từ đó hỗ trợ đánh giá chất lượng và cải tiến quy trình sản xuất.
Để đạt được độ chính xác cao và giảm tối đa thời gian lãng phí (losstime) cho việc xác nhận dị vật, bóng khí và nghi vấn lệch vị trí, cần kết hợp đồng thời hai phương pháp: kiểm tra vị trí hạt (check position particle) và trừ nền (subtract background) Việc kết hợp này giúp tăng độ nhạy và độ đặc hiệu của quá trình kiểm tra, tối ưu hóa quy trình, giảm thời gian rà soát và nâng cao hiệu quả đánh giá chất lượng.
Dưới đây là lưu đồ mô tả thuật toán:
Hình 3.2 Lưu đồ thuật toán Như vậy có tất cả sáu bước để giải quyết vấn đề đặt ra:
Bước 1: Chụp ảnh màn hình không có dị vật/ bóng khí/ dán lệch, tiền xử lý ảnh gốc
Các nội dung tiền xử lý bao gồm:
- Chuyển đổi ảnh thành ảnh xám (ảnh chụp bởi camera Basler là ảnh xám)
- Tiến hành lọc nhiễu các đặc tính của hình ảnh sử dụng bộ lọc Median (lọc muối tiêu), Gaussian (lọc các nhiễu nhiều hình dạng)
- Đăng ký ngoại lệ các tọa độ vệt Mark trên tấm nền bằng thuật toán tìm biên Canny
Hình 3.3 Tiền xử lý ảnh
Bước 2: Đăng ký ngoại lệ cho các đặc tính hình ảnh sẵn có
• Chọn vùng ROI cần xử lý
• Chọn hai điểm Sub Pattern để tỡm ra độ lệch theo gúc ứ của ảnh mới so với ảnh gốc (origin) ỉ = arctan [(X2 – X1)/ (Y2 – Y1)]
• Chọn Main Pattern để tìm ra độ lệch theo trục X, Y của ảnh LIVE so với ảnh ORIGIN
Hình 3.4 Điểm đăng kí ngoại lệ dung làm dặc tính hình ảnh
Bước 3: Chụp hình ảnh live, tiền xử lý ảnh…
Sau khi chụp ảnh live việc đầu tiên ta cần là phải tiền xử lý ảnh live tương tự như ảnh gốc:
- Chuyển đổi ảnh thành ảnh xám
- Tiến hành lọc nhiễu, lọc biên các đặc tính của hình ảnh sử dụng bộ lọc Median
- Đăng ký ngoại lệ các tọa độ lỗ chân không, vết xước cố định bằng thuật toán tìm biên Candy
Sau đó cần xác nhận lại vùng ROI (Region of Interest) của ảnh live, vì trong quá trình chụp ảnh có thể xảy ra xoay một góc rất nhỏ; góc xoay này có thể làm sai lệch các giá trị tính toán từ vùng ROI.
Hình 3.5 Ảnh live bị xoay trong quá trình loading Dựa vào cỏc điểm Pattern đăng ký sẵn ta xỏc định được gúc ỉ của ảnh live: ỉ’ = arctan [(X2 – X1)/ (Y2 – Y1)]
Góc xoay của ảnh live so với ảnh gốc (ogirin) được tính bằng công thức:
Sử dụng thuật toỏn xoay ảnh theo gúc ∆ỉ sau đú dịch chuyển (shift) ảnh theo các giá trị OFFSET tính toán ban đầu ta tìm được vị trí gốc P (X0, Y0) của vùng ROI mới
Sau khi xác định được chính xác vùng ROI cho ảnh mới ta tiến hành tiền xử lý ảnh live:
Bước 4: Xử lý ảnh dùng giải thuật Template matching và Subtract Background
Hình 3.6 Giải thích ý tưởng thuật toán Bước 5: Đưa ra các điểm nghi ngờ lỗi
So sánh các tọa độ của các đặc tính thu được trên ảnh live và ảnh gốc để tìm ra các tọa độ đặc tính khác nhau
Các tọa độ thu được chính là các nghi ngờ lỗi
Bước 6: Phát cảnh báo (Alarm) từ thiết bị - Confirm
Nếu Vision camera tìm ra các điểm nghi ngờ là lỗi trên màn hình sẽ lập tức tiến hành dừng khẩn cấp thiết bị và phát chuông cảnh báo cho các kỹ thuật viên nhanh chóng nắm bắt hiện trạng Thông qua màn hình hiển thị, hình ảnh lỗi sẽ được các kỹ thuật viên kiểm tra tính chính xác của Visicon camera Nếu không phải là lỗi thì sẽ bỏ qua, tiếp tục cho thiết bị hoạt động; nếu đúng là lỗi sẽ tiến hành xử lý sau đó mới được tiếp tục vận hành thiết bị.