Xử lý ảnh, xử lý âm thanh, khuynh hướng phát triển và một số kết quả nghiên cứu triển khai ở viện công nghệ thông tin

2.1 Phần mềm nhập liệu tự động bản đồ MapScan [3] Nghiên cứu kỹ thuật và thiết kế phần mềm bản đồ tự động với các yêu cầu: Tự động hoá nhập bản đồ - chuyển đổi sang dạng véc tơ các đường

XỬ LÝ ẢNH, XỬ LÝ ÂM THANH, KHUYNH HƯỚNG PHÁT TRIỂN

VÀ MỘT SỐ KẾT QUẢ NGHIÊN CỨU TRIỂN KHAI

Ở VIỆN CÔNG NGHỆ THÔNG TIN

ĐỖ NĂNG TOÀN *

TÓM TẮT

Sự phát triển nhanh chóng của công nghệ thông tin đã đẩy nhanh và mở ra hướng phát triển cho nhiều ngành khác Trong số đó phải kể đến lĩnh vực xử lý hình ảnh và

xử lý âm thanh Trong báo cáo này chúng tôi đề cập đến một số kết quả nghiên cứu và triển khai về xử lý ảnh và xử lý âm thanh ở Viện Công nghệ thông tin, Viện Khoa học

và Công nghệ Việt Nam

ABTRACTS

The rapid development of information technology has accelerated the development and opening for many other industries Among them is the field of image processing and audio processing This report mentions a number of research results and development of image processing and audio processing at the Institute

of Information Technology, Institute of Science and Technology of Vietnam

Key words: Image processing; OCR; Vectorization; 3D; VR…

1 Giới thiệu

Sự phát triển nhanh chóng của công nghệ thông tin đã có những ảnh hưởng tích cực đến đời sống xã hội của con người Ngày nay, ở bất kỳ nơi đâu ta cũng thấy sự hiện diện của công nghệ thông tin Sự phát triển trên cả hai lĩnh vực: Phần cứng và phần mềm đã ngày càng đưa công nghệ thông tin vào cả những lĩnh vực tưởng chừng như không thể sử dụng được máy móc Trong số những lĩnh vực đó phải kể đến xử lý ảnh

và xử lý âm thanh

Một trong những mục đích cao cả của công nghệ thông tin là tạo ra được máy

có thể thay thế con người trong việc xử lý thông tin Một cách tự nhiên máy tính cần thiết phải mô phỏng các quá trình thu nhận và xử lý thông tin của con người Các thông tin mà con người thu nhận được thông qua 05 giác quan: Thị giác, thính giác, vị giác,

- Hướng liên quan đến thị giác: Ở đây thông tin vào là các tệp hình ảnh thu nhận thông qua các thiết bị điện tử như camera, scanner v.v Các bài toán thuộc kiểu này bao gồm: Tổng quát hoá bản đồ (gồm có các đường vẽ và văn bản bên trong bản đồ), nhận dạng văn bản chữ viết in, chữ viết tay, chữ ký nhận dạng hoá đơn, nhận dạng phiếu điều tra v.v

- Hướng liên quan đến thính giác: Thông tin vào là tín hiệu âm thanh được thu nhận thông qua các thiết bị thu nhận âm thanh Các bài toán thuộc hướng này liên quan đến việc: Tổng hợp và nhận dạng tiếng nói chẳng hạn, đọc các văn bản có sẵn trên máy tính hoặc trên mạng, nhận dạng tiếng nói chuyển tiếng nói thành các văn bản để lưu trữ trên máy tính v.v

- Hướng liên quan đến cảm giác (Sensor): Bộ biến cảm ở đây được ví như bộ phận cảm nhận của con người, nó tiếp nhận thông tin vào như: Cân nặng, nhiệt độ, độ

ồn v.v Các thông tin này được số hoá và ghi vào tệp dữ liệu

Báo cáo này đề cập đến một số kết quả nghiên cứu liên quan đến xử lý âm thanh và hình ảnh được thực hiện tại Viện công nghệ thông tin, Viện Khoa học và Công nghệ Việt Nam Đây cũng là hướng nghiên cứu chính của chúng tôi trong những năm vừa qua

Phần còn lại của báo cáo được sắp xếp như sau: Phần 2 trình bày nhưng kết quả liên quan đến xử lý và nhận dạng ảnh 2 chiều Phần 3 là ảnh động Tiếp theo, phần 4 là

âm thanh Phần 5 là xử lý ảnh 3 chiều và thực tại ảo Cuối cùng là kết luận về hướng phát triển của lĩnh vực

2 Xử lý và nhận dạng ảnh hai chiều

Trong xử lý và nhận dạng ảnh hai chiều chúng tôi tập trung vào hướng: Nhập dữ liệu tự động Nhập dữ liệu tự động là quá trình nhập dữ liệu thông quá các thiết bị kỹ thuật không có hoặc ít có sự can thiệp của con người Mục đích của nhập liệu tự động

là trợ giúp máy tính nhận biết nhanh nhất và chính xác nhất các thông tin vào, nó mô phỏng quá trình tiếp nhận thông tin của con người thông qua các giác quan Đây là một trong những yếu tố quan trọng nhằm nâng cao tốc độ và hiệu quả của quá trình xử lý thông tin Kỹ thuật nhập liệu tự động trong thời gian qua đã phát triển một cách mạnh

mẽ và đã mang lại sự thay đổi lớn trong các tính toán khoa học kỹ thuật cũng như trong quản lý hành chính và điều khiển học v.v

2.1 Phần mềm nhập liệu tự động bản đồ MapScan [3]

Nghiên cứu kỹ thuật và thiết kế phần mềm bản đồ tự động với các yêu cầu: Tự động hoá nhập bản đồ - chuyển đổi sang dạng véc tơ các đường biên trên bản đồ thu được dưới dạng đen trắng, đa cấp xám và màu

Map scanning quét những bản đồ giấy và lưu lại như ảnh raster[1,2] Tiền xử lý hay raster image editing để cải tiến chất lượng như loại bỏ những đối tựơng không cần

thiết, nối những đường bị gãy, quay ảnh và kết nối nhiều trang thành một ảnh bản đồ

Text label extracting hay nhận dạng tài liệu chữ in (Optical Character Recognition:

OCR) để định vị những dạng cho các miền, khu vực, thành phố, tỉnh lỵ; nhận ra văn

bản tham chiếu và xác định những toạ độ không gian Những văn bản được nhận dạng

bị loại khỏi ảnh raster suốt trong quá trình véc tơ hoá, và tệp tham chiếu văn bản đựơc sinh ra để sử dụng trong bản vẽ đặc biệt và phần mềm GIS

Raster Edit

OCR

Vectorization

Vector Edit

Raster image without reference text

LAND.PCX

Edited raster image

LAND.PCX

Scanned image

LAND.PCX

Reference text

LAND.REF or LAND.DXF

Edited vector map

LAND.MAP or LAND.DXF

Vector map

LAND.MAP or LAND.DXF

Hình 1 Sơ đồ của phần mềm MapScan

Véc tơ hoá (Vectorization) để chuyển (tại giai đoạn này của việc xử lý) ảnh raster

chứa những điểm, đường và đa giác (không có văn bản tham chiếu) thành dạng véc

tơ Một tệp toạ độ bản đồ được sinh ra để sử dụng trong bản vẽ đặt biệt và trong phần mềm GIS

Hậu xử lý hay soạn thảo bản đồ véc tơ (vector map editing) một bản

đồ véc tơ được sinh ra bằng cách đóng các đa giác, loại bụi, nối các đoạn thẳng, quay bản đồ, kết nối nhiều trang thành một bản đồ véc tơ, chọn những đoạn thẳng và gán những thuộc tính mức đặc biệt Những bản đồ véc tơ cũng có thể được địa tham chiếu thành hệ toạ độ thế giới thực Một khi toàn bộ quá trình này hoàn thành, tệp văn bản tham chiếu và tệp ảnh véc tơ có thể sử dụng với một

hệ vẽ

MapScan phù hợp với phần lớn những dạng tệp đồ hoạ, bao gồm Paintbrush PCX, GEM Raster IMG, Tagged Image File Format TIF, CompuServe GIF, JPG và các dạng Windows BMP, và đưa ra AutoCAD DXF (một dạng chuẩn công nghiệp được chấp nhận rộng rãi, không hạn chế), Atlas GIS BNA, tệp ArcView Shape và các dạng PopMap MAP

Yêu cầu hệ thống IBM PC/AT hay tương thích, bộ xử lý 80386/80486 hay cao

hơn và 640KB RAM Nên có bộ nhớ mở rộng thêm ít nhất 8MB Một đĩa mềm và một đĩa cứng tối thiểu có 4MB chỗ trống Màn hình màu VGA Windows 3.1, Windows for Workgroup 3.11, Windows 95, or Windows NT

Chuột tương thích Microsoft Máy quét và Twain driver (optional)

Hình 2 Giao diện của chương trình MapScan 2.2 Phần mềm nhận dạng VnDOCR[4]

Chức năng xử lý:

Tự động xác định độ nghiêng của văn bản, quay ảnh 1800, +900, hoặc góc bất kỳ Xoá nhiễu, làm dày, làm mảnh đường nét, đảo độ sáng ảnh văn bản,

Xử lý được những tài liệu có lẫn ảnh, hình vẽ Tự động phân vùng, đánh dấu vùng ngăn cách giữa các khối văn bản và các khối hình ảnh

- Nhận dạng

Nhận dạng các dạng font chữ kiểu không chân và có chân Arial, Avant, Times, Courier, với kích thước của các ký tự từ 8 đến 72 điểm và các thuộc tính như bình thường, đậm, nghiêng, hay kết hợp đậm-nghiêng (đối với văn bản in sạch rõ, không đứt nét, không dính, font chữ chuẩn)

Tốc độ nhận dạng 15 - 17 giây cho một trang A4 trên máy PENTIUM 200MHz,

32 MB RAM

Thực hiện song song quá trình quét và nhận dạng Quá trình thực hiện sẽ giống như quá trình hoạt động của một máy photocopy Nhờ quá trình này thời gian thực hiện nhận dạng sẽ giảm

Nhận dạng các bảng biểu, mẫu biểu

Hình 3 Giao diện của hệ VnDOCR

- Học thêm các kiểu chữ mới

Tách các ký tự trên các font chữ mới để người dùng dạy bổ sung thêm cho chương trình, thông qua cơ chế hội thoại

- Kiểm tra kết quả nhận dạng

Đọc và soát chính tả kết quả nhận dạng theo từ đơn hoặc kép và đưa ra các gợi ý thay thế hoặc cho phép sửa bằng tay

Cho phép bổ sung các từ, hoặc các cụm từ mới vào từ điển soát chính tả của người sử dụng

- Giao diện ứng dụng

Chương trình có giao diện thân thiện và dễ sử dụng đối với người dùng Hệ thống giao diện hiển thị bằng tiếngViệt hoặc tiếng Anh

Tính năng trang làm việc hiện thời (workspace) cho phép lưu giữ trạng thái hiện thời của công việc (ảnh văn bản quét vào, văn bản đã nhận dạng và chỉnh sửa) để tiếp tục công việc, điều này đặc biệt cần thiết khi xử lý nhiều tài liệu nhiều trang

Hỗ trợ (Help) với tính năng multimedia

- Với các chức năng ở trên hệ thống nhận dạng vnDOCR đã được các giải thưởng sau:

Giải nhất thi sản phẩm CNTT 1998

Giải thưởng khoa học kỹ thuật thanh niên 1999

Giải nhất - giải thưởng sáng tạo KHCN Việt Nam 1999

Giải nhất - sản phẩm phần mềm hứa hẹn nhất 2000

Huy chương vàng - sản phẩm phần mềm đạt doanh số cao 2000

05 năm liền được bình chọn là sản phẩm CNTT ưa chuộng nhất 1999-2003

2.3 Phần mềm nhận dạng dấu quang học

Chúng tôi đã thiết kế và cài đặt thử nghiệm phần mềm nhận dạng phiếu điều tra dạng dấu tự động MarkRead bằng ngôn ngữ Visual C++ Trong hệ thống của chúng tôi

có cài đặt phần thu nhận ảnh từ scanner sử dụng TWAIN (thư viện điều khiển scanner) Phần đọc ảnh sử dựng thư viện ImageGear để đọc 50 loại ảnh khác nhau Trong hệ thống MarkRead chúng tôi đã cài đặt các kỹ thuật co, dãn ảnh, làm trơn biên Chúng tôi cũng cài đặt phần hiệu chỉnh góc lệch và lề của trang tài liệu theo trang mẫu Quá trình nhận dạng được tiến hành theo lô

Hệ thống nhập phiếu điều tra theo cách đánh dấu MarkRead có thể đọc được khoảng 50 kiểu ảnh khác nhau bao gồm Paintbrush PCX, GEM Raster IMG, Tagged Image File Format TIF, CompuServe GIF, JPG và các dạng Windows BMP, và đưa ra kết quả phiếu điều tra dạng DBF, MBD, XLS

Các chức năng chính của MarkRead:

Quét ảnh: Quét ảnh phiếu điều tra và cất dưới dạng ảnh raster với các qui cách trên Tiền xử lý hay là hiệu chỉnh ảnh raster: Hiệu chỉnh ảnh raster nhằm tăng chất

lượng hình ảnh: Nối các đường đứt nét, quay ảnh, xoá nhiễu, lấp lỗ hổng, co, dãn, vuốt trơn đường v.v

Lựa chọn vùng cho tệp mẫu: Quá trình lựa chọn các vùng được thực hiện tự động

hoặc bằng tương tác người máy

Tách các ô chữ nhật trong vùng được lựa chọn: Vùng được lựa chọn có thể chứa

nhiều ô hình chữ nhật do đó chúng ta cần tách vùng này thành các vùng con (các ô hình chữ nhật được) Toạ độ của các hình chữ nhật được lưu vào tệp có phần mởi rộng (.FRM )

Trích chọn dấu hiệu: Biến đổi vùng được lựa chọn thành véc tơ đặc trưng.

Giai đoạn học: Ghi lại các đặc trưng của vùng được lựa chọn.

Nhận dạng: Từ tệp FRM lấy ra các vị trí và đặc trưng của vùng sau đó quy chiếu

đến phiếu cần nhận dạng để nhận dạng

Sửa đổi tệp SURVEY.FRM : Sửa lại cấu trúc trường, giá trí vị trí của các vùng

đánh dấu

Sửa đổi tệp SURVEY.RES: Sửa lại nội dung của tệp kết quả.

MarkRead có thể tự điều chỉnh góc nghiêng của một hay nhiều trang văn bản (góc nghiêng <15°) bằng phương pháp biến đổi Hough Việc chỉnh lề của phiếu cần điều tra so với phiếu mẫu có thể thực hiện bằng tay hoặc tự động đối với trang hiện hành hay nhiều trang theo phương pháp thứ hai Chúng tôi đã thử đối với một phiếu mẫu A4 với độ phân giải 300 DPI, khi đã quay đi một góc nhỏ hơn 15°, sau khi chỉnh góc nghiêng và chỉnh lề tự động thì vị trí chiều ngang và dọc của phiếu đã điều chỉnh lệch với phiếu mẫu theo chiều ngang, dọc là 8 điểm Có sử dụng kết quả này cho việc định vị chính xác vị trí của dấu trong phiếu điều tra, vị trí cần nhận dao động trong khoảng 8 điểm

Hình 4 Giao diện của hệ MarkRead

Các giải thưởng đã đạt:

Giải nhất thi sản phẩm CNTT 2001

Giải thưởng khoa học kỹ thuật thanh niên 2002

3 Xử lý ảnh động

Một cách tự nhiên, bước tiếp theo trong nghiên cứu về xử lý ảnh 2 chiều là xử

lý ảnh động

Hình 5 Trích rút và tái tạo video

Đối với ảnh động, để giảm thiểu không gian lưu trữ, chúng tôi đã nghiên cứu kết hợp các kỹ thuật trích chọn cảnh của video, kỹ thuật trích chọn ảnh đặc trưng trong trong một dãy ảnh nhằm rút ra dãy ảnh đặc trưng của video Từ những ảnh đặc trưng này, chúng tôi sử dụng kỹ thuật cộng ảnh và sử dụng kết hợp kỹ thuật cộng ảnh với các kỹ thuật khác như biến đổi và nắn chỉnh để tạo ra các ảnh trung gian giữa hai ảnh đặc trưng Bằng cách này, chúng tôi có thể tái tạo lại đoạn video từ các ảnh đặc trưng (Hình 5)

Chúng tôi đã sử dụng các kết quả nghiên cứu về biểu diễn và mô tả hình dạng trong xử lý ảnh 2 chiều để phát hiện đối tượng chuyển động trong video Kết quả này,

có thể ứng dụng trong các hệ thống giám sát tự động với sự trợ giúp của camera

Hình 6 Hình ảnh về một hệ thống giám sát tự động với sự trợ giúp của camera

Hình 7 Hệ thống phát hiện và nhận dạng mặt người

Ngoài ra, do sự phát triển của các phần mềm xử lý ảnh, việc cắt ghép giữa các ảnh ngày càng trỏ nên đơn giản Điều đó, đồng nghĩa với việc tạo ra các ảnh giả mạo ngày càng dễ dàng Chúng tôi đã nghiên cứu một số hướng tiếp cận nhằm giải quyết bài toán này [8,13, 7]

4 Xử lý âm thanh

Trong hướng xử lý âm thanh[5], chúng tôi quan tâm đến vấn đề tổng hợp tiếng Việt, nhận dạng tiếng Việt và xử lý âm thanh trong môi trường Một trong những sản phẩm đã được thương mại hóa của chúng tôi là VieTalk 2010

VieTalk là tiện ích tích hợp tiếng nói trong các chương trình ứng dụng Nó hỗ trợ rất tốt khả năng đọc các tệp văn bản từ Microsoft Word 9x, 2000, đọc tin trên các trang Web (bằng cả hai thứ tiếng Việt, Anh với các font chữ ABC, VNI, UNICODE) Là công

cụ hữu hiệu tích hợp với các CSDL nhằm thực hiện hay đưa ra các thông báo tự động tới mọi người

Hình 8 Xử lý âm thanh trong các hệ thống

Một hướng tiếp cận khác trong nghiên cứu của chúng tôi là xây dựng hệ thống

âm thanh giả 3D Như ta đã biết, hình ảnh và âm thanh là 2 yếu tố thường đi đôi với nhau để cho ta thấy được tính sinh động của cuộc sống

Một phương pháp kết hợp giữa âm thanh và hình ảnh đã được sử dụng khá lâu trong lĩnh vực điện ảnh đó là kỹ thuật lồng tiếng Do có một thời gian phát triển khá lâu, có nhiều kết quả nghiên cứu, phương tiện hỗ trợ nên kỹ thuật này cho chất lượng rất tốt Tuy vậy kỹ thuật này không thể sử dụng cho các ứng dụng có tính linh hoạt cao như ứng dụng thực tại ảo Một phương pháp cũng được sử dụng tương đối nhiều trong các game (thế hệ cũ) đó là kỹ thuật ghép âm thanh với từng sự kiện ví dụ với sự kiện nhả đạn của một nhân vật sẽ phát ra một âm thanh tương ứng Kỹ thuật này đã phần nào làm cho việc sử dụng âm thanh trở lên linh động Tuy vậy cả hai kỹ thuật trên đều

có một nhược điểm là giữa âm thanh và hình ảnh không có sự liên hệ hữu cơ với nhau

và cả hai đều không thể hiện được tính ba chiều của âm thanh

5 Xử lý ảnh 3 chiều và thực tại ảo

Sự phát triển của phần cứng máy tính đã mở ra triển vọng phát triển ở mức cao hơn cho lĩnh vực nhận dạng và xử lý ảnh Đó là, xử lý ảnh động và xử lý ảnh 3 chiều, đặc biệt là lĩnh vực thực tại ảo Một lĩnh vực có nhiều hứa hẹn trong tương lai Hiểu được khuynh hướng đó, từ năm 2004 chúng tôi đã dần chuyển hướng nghiên cứu sang các lĩnh vực này

Đối với ảnh 3 chiều và thực tại ảo, chúng tôi đã nghiên cứu các kỹ thuật tạo mô hình từ máy quét 3D, từ hình ảnh 2D hoặc từ các số đo, và kết hợp giữa chúng[6,7,14] Phòng thí nghiệm mạng và đa phương tiện là một trong 6 phòng thí nghiệm trọng điểm quốc gia đầu tiên Phòng có một lượng lớn thiết bị thực tại ảo, việc sử dụng và liên kết các thiết bị này làm chúng tôi tốn khá nhiều thời gian nhưng đã cho chúng tôi một dịp tốt để nghiên cứu lĩnh vực mới mẻ này Chúng tôi chú trọng đến các vấn đề lập trình điều khiển, hiển thị stereo, va chạm, âm thanh v.v và tích hợp giữa chúng trong thư viện của chúng tôi Với thư viện này và các kiến thức về tạo lập mô hình 3D chúng tôi

Hình 9 Môi sinh trong phần mềm VRAnimal

VRAnimal – Phần mềm về các động vật quý hiếm và đặc biệt của Việt Nam đã

và đang phát triển theo hướng tiếp cận này

Chúng tôi đã sử dụng công nghệ thực tại ảo để tái tạo các công trình kiến trúc cổ trong thế giới ảo của máy tính như: “Văn Miếu” và “Đại Nội” v.v

Hình 10 Một cảnh trong "Dai Noi" ảo

Nghiên cứu tái tạo khuôn mặt người từ hình thái xương sọ trên cơ sở tương quan giữa phần cứng và phần mềm

Hình 11 Tái dựng khuôn mặt người từ sọ

Xây dựng cơ thể con người ảo phục vụ công tác giảng dạy và tra cứu trong

y tế[9-12,15,16]

Hình 12 Cơ thể người ảo với công nghệ thực tại ảo