Áp dụng công nghệ song song và mô hình biểu diễn gis để xử lý, khai thác và biểu diễn dữ liệu thu đa kênh

I.1.1.2 Các dạng thông tin thu từ vệ tinh  Thông tin dạng ảnh, video  Thông tin thoại  Fax, Telex  Số liệu-Data Email, internet, ảnh, video, văn bản số I.1.1.3 Phương thức xử lý dữ

PH ẠM ĐÌNH VĂN

ÁP DỤNG CÔNG NGHỆ SONG SONG VÀ MÔ HÌNH BIÊU

LU ẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Hà n ội - 2004

-

PHẠM ĐÌNH VĂN

ÁP DỤNG CÔNG NGHỆ SONG SONG VÀ MÔ HÌNH BIỂU DIỄN GIS

ĐỂ XỬ LÝ, KHAI THÁC VÀ BIỂU DIỄN DỮ LIỆU THU ĐA KÊNH

Chuyên ngành: Công ngh ệ thông tin

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS ĐẶNG VĂN CHUYẾT

Hà n ội-2004

L ỜI CAM ĐOAN

Tôi tên là : Ph ạm Đình Văn

Ngày sinh : 24/08/1979

Địa chỉ : Số nhà 21 Ngõ 11b Phố Nguyễn Ngọc Nại

Hiện đang học lớp cao học CNTT-2002 tại Trường Đại học Bách khoa

Hà n ội

Tôi đã làm đồ án tốt nghiệp cao học CNTT với tên đề tài: “Áp dụng công nghệ xử lý song song và mô hình biểu diễn GIS để xử lý, khai thác và biểu diễn dữ liệu thu đa kênh”, do thầy giáo TS Đặng Văn Chuyết hướng

dẫn

Tôi xin cam đoan là đồ án tốt nghiệp là do tôi làm là đúng sự thật, nếu sai tôi hoàn toàn chịu trách nhiệm trước nhà trường, pháp luât

Hà N ội, ngày tháng năm 2004

Người cam đoan

Phạm Đình Văn

Tác giả xin chân thành cảm ơn

Hà nội ngày 10/11/2004 Tác giả: Phạm Đình Văn Học viên cao học CNTT-2002-ĐHBK-HN Email: vantb@aic.com.vn

Mục lục

DANH MỤC CÁC TỪ VIẾT TẮT TRONG ĐỒ ÁN 4

DANH MỤC BẢNG TRONG ĐỒ ÁN 5

DANH MỤC HÌNH TRONG ĐỒ ÁN 6

LỜI MỞ ĐẦU 7

CHƯƠNG I: KHẢO SÁT HỆ THỐNG THU DỮ LIỆU ĐA KÊNH 12

I.1 Hệ thống thu thập và xử lý thông tin trong Tổng cục 2 12

I.1.1 Thu tin từ vệ tinh 12

I.1.1.1 Đặc tả hệ thống 12

I.1.1.2 Các dạng thông tin thu từ vệ tinh 14

I.1.1.3 Phương thức xử lý dữ liệu 14

I.1.2 Hệ thống thu tin sóng HF, VHF, UHF 15

I.1.2.1 Cấu trúc hệ thống 15

I.1.2.2 Các dạng thông tin thu từ kênh vô tuyết HF, VHF, UHF 16

I.1.2.3 Phương thức xử lý dữ liệu 16

I.2 Phân tích giải pháp của một số nước 16

I.2.1 Quy trình xử lý và phân phối thông tin thu của hãng THALES 16

I.2.2 Quy trình xử lý và phân phối thông tin thu của hãng SPECTRONIC 17

I.3 Yêu cầu của hệ thống xử lý song song dữ liệu thu đa kênh 19

I.3.1 Mô hình chung của hệ thống thu và xử lý dữ liệu đa kênh 19

I.3.2 Mô hình xử lý song song 21

I.3.3 Mô hình biểu diễn thông tin đối tượng trên GIS 22

CHƯƠNG II: CÔNG NGHỆ XỬ LÝ SONG SONG VÀ MÔ HÌNH GIS 24

II.1 Giới thiệu công nghệ xử lý song song 24

II.1.1 Đặt vấn đề 24

II.1.2 Tình hình nghiên cứu công nghệ xử lý song song trong và ngoài nước 26

II.1.2.1 Một số vấn đề liên quan đến xây dựng siêu máy tính 26

II.1.2.2 Một số siêu máy tính chuyên dụng của các hãng trên thế giới 28

II.1.2.3 Một số siêu máy tính được nghiên cứu trong nước 29

II.1.3 Mô hình ghép cụm trên Ethernet 29

II.2 Giới thiệu về hệ thống thông tin GIS 32

II.2.1 GIS là gì? 32

II.2.2 Các thành phần cơ bản của GIS 32

II.2.3 Cấu trúc dữ liệu trong GIS 33

II.2.3.1 Cơ sở dữ liệu của GIS 33

II.2.3.2 Cấu trúc dữ liệu Raster 33

II.2.3.3 Cấu trúc dữ liệu Vector 34

II.2.3.4 So sánh các phương pháp raster và vector 34

II.3 Hệ điều hành Linux và môi trường xử lý song song MPI 37

II.3.1 Giới thiệu về Hệ điều hành Linux 37

II.3.1.1 Lịch sử ra đời 37

II.3.1.2 Tại sao lại lựa chọn Linux? 37

II.3.2 Môi trường lập trình song song 38

II.3.3 Mô hình phân tầng của hệ thống đa kênh 43

CHƯƠNG III: THIẾT KẾ HỆ THỐNG SONG SONG XỬ LÝ DỮ LIỆU THU ĐA KÊNH 45

III.1 Phát biểu bài toán 45

III.2 Thiết kế hệ thống tổng thể 46

III.3 Thiết kế cơ sở dữ liệu 47

III.3.1 Thiết kế dữ liệu tổng thể 47

III.3.2 Thiết kế dữ liệu chi tiết 49

III.3.2.1 Dữ liệu bản đồ 49

III.3.2.2 Dữ liệu thuộc tính 50

III.4 Phân tích thiết kế module 52

III.4.1 Tổng quan 52

III.4.2 Module kết nối truyền thông 54

III.4.2.1 Kết nối 54

III.4.2.2 Truyền thông 54

III.4.3 Module đồng bộ dữ liệu 60

III.4.4 Module khai thác, tìm kiếm thống kê 63

III.4.5 Module giao diện, quản lý 67

CHƯƠNG IV: CÀI ĐẶT HỆ THỐNG 70

IV.1 Yêu cầu hệ thống 70

IV.1.2 Phần mềm 70

IV.1.2 Phần cứng 71

IV.2 Các thủ tục cài đặt chương trình 72

IV.2.1 Cài đặt hệ thống 72

V.2.1.1 Cài đặt phần mềm 72

V.2.1.2 Cấu hình hệ thống 73

IV.2.2 Khởi động hệ thống và màn hình giao diện 74

IV.3 Kiểm thử hiệu năng hệ thống 81

CHƯƠNG V: KẾT LUẬN VÀ KIẾN NGHỊ 83

V.1 Tổng quan những kết quả đạt được 83

V.2 Đánh giá kết quả 83

V.3 Những khó khăn và cách giải quyết có thể 84

V.4 Hướng nghiên cứu và kiến nghị 85

TÀI LIỆU THAM KHẢO 86

DANH MỤC CÁC TỪ VIẾT TẮT TRONG ĐỒ ÁN

1 CNTT Công N ghệ Thông Tin

2 DHS Dataware House Server

3 GIS Geographical Information Systems

4 HF High Frequency

5 IF Intermediate Frequency

6 IMS Information Management System

7 IDR Intermediate Data Rate

8 LNA Low Noise Amplifier

9 MPI Message Passing Interface

10 MTSS Máy Tính Song Song

11 MIMD-DM Multiple Instructions Multiple Data-Distributed Memory

12 MIMD-SM Multiple Instructions Multiple Data-Shared Memory

19 UHF Ultra High Frequency

20 VHF Very High Frequency

DANH MỤC BẢNG TRONG ĐỒ ÁN

Bảng II.1: Bảng đánh giá phương pháp vector 35

Bảng II.2: Bảng đánh giá phương pháp raster 36

Bảng II.3: Bảng so sánh giữa hai phương pháp raster và vector 36

Bảng II.4: Cấu trúc của một thông điệp gửi 39

Bảng II.5: Bảng mô tả một số kiểu dữ liêu cơ bản của MPI 40

Bảng III.1: Mô tả dữ liệu danh bạ điện thoại 51

Bảng III.2: Bảng mô tả cấu trúc dữ liệu nội dung các cuộc trao đổi 52

Bảng III.3: Bảng mã lệnh và chức năng tương ứng 60

Bảng IV.1: Mô tả cấu hình các nodes xử lý trong hệ thống 74

Bảng IV.2: Bảng các chứng năng khai thác dữ liệu 78

DANH MỤC HÌNH TRONG ĐỒ ÁN

Hình I.1: Sơ đồ tổng quan thu tín hiệu 8

Hình I.2: Mô hình thu dữ liệu từ vệ tinh 12

Hình I.3: Hệ thống thu tin sóng HF,VHF,UHF 15

Hình I.4: Hệ thống thu của hãng SPECTRONIC 18

Hình I.5: Sơ đồ tổng thể hệ thống xử lý và khai thác 20

Hình II.1: Mô hình xử lý song song trên nền Ethernet 30

Hình II.2: Mô hình hệ thống thông tin địa lý 32

Hình II.3 Quá trình thực hiện tại tiến trình chủ 41

Hình II.4: Quá trình thực hiện tại các tiến trình tớ 42

Hình II.5: Mô hình phân tầng của hệ thống xử lý đa kênh 44

Hình III.1: Sơ đồ thực thể liên kết 49

Hình III.2: Mô hình tổng thể các module 53

Hình III.3: Mô hình truyền thông blocking trong hệ thống 57

Hình III.4: Phương thức truyền thông qua tập lệnh 58

Hình III.5: Mô hình đồng bộ dữ liệu giữa MTSS và DHS 61

Hình III.6 Mô hình đồng bộ dữ liệu 62

Hình III.7: Sơ đồ tổ chức dữ liệu của hệ thống 63

Hình III.8: Tương tác giữa tiến trình chủ và tiến trình tớ 64

Hình III.9: Mô hình biểu diễn giải thuật tìm kiếm 66

Hình III.10: Giao diện công cụ quản lý hệ thống 69

Hình IV.1: Mô hình ghép cụm hệ thống song song 72

Hình IV.2: Giao diện chính của hệ thống 75

Hình IV.3: Hình mô tả các thanh công cụ của hệ thống 75

Hình IV.4: Mô tả giao diện nhập đầu vào để khai thác 78

Hình IV.5: Kết quả tìm kiếm được biểu diễn trên nền GIS 79

Hình IV.6: Xem kết quả tìm kiếm chi tiết 80

Hình IV.7: Biểu đồ hiệu năng tính toán đo theo HPL 82

Hình IV.8: Mô hình biểu diễn thời gian tính toán của hệ thống 82

LỜI MỞ ĐẦU

Ngày nay với sự phát triển không ngừng của công nghệ thông tin (CNTT) và khoa học kỹ thuật, đặc biệt là trong lĩnh vực truyền dẫn tín hiệu Đất nước ta đang trong quá trình phát triển nhưng cũng đã nhận thấy được tầm quan trọng của CNTT và truyền thông trong vai trò công nghiệp hoá, hiện đại hóa Tỉ lệ phát triển của nền CNTT nước ta được đánh giá là phát triển nhanh so với các nước bạn đã và đang phát triển Nhưng nhìn chung trong lĩnh vực CNTT chúng ta mới phát triển ở mức

độ thừa kế và phát triển thêm mà chưa hoặc có rất ít những sản phẩm đặc thù tầm cỡ quốc tế Khó khăn hơn là trong lĩnh vực công nghệ cao, chúng ta ít có điều kiện tiếp xúc do nền kinh tế còn hạn hẹp Trong lĩnh vực an ninh, quân sự quốc phòng việc thu tín hiệu vô tuyến điện là nhiệm vụ quan trọng của ngành Trinh sát Kỹ thuật (TSKT) Các tín hiệu do đối phương phát đi trên không trung bao gồm rất nhiều dạng: về tần số, về phương thức điều chế, về không gian và về thời gian như dạng thông tin vô tuyến điện HF( High Frequency), V/UHF( Very/Ultra High Frequency), vệ tinh, Chỉ xét riêng về lĩnh vực tín hiệu sóng ngắn đã rất phức tạp Các thiết bị sử dụng trong dải sóng này rất phong phú và đa dạng Nhiệm vụ của TSKT là phải làm sao để thu được các dạng tín hiệu đối phương1 đã phát đi, từ đó

xử lý để có được nội dung thực của tin tức thu được Khó khăn cho TSKT như vậy

là vô cùng to lớn đặc biệt là trong điều kiện hiện nay với sự phát triển vượt bậc của công nghệ viễn thông và tin học, các thiết bị thông tin vô tuyến có trình độ công nghệ cao đảm bảo thông tin nhanh và bí mật Trong thực tế, ta không thể biết trước được tần số làm việc, phương thức truyền tín hiệu, dạng mã tín hiệu cũng như thời gian trao đổi tin tức của đối phương Trong khi đó, yêu cầu nghiệp vụ của TSKT là phải đảm bảo các yếu tố:

 Chính xác: thu và xử lý đúng các tin tức của đối phương đã phát đi trong không trung

1 Đối phương ám chỉ các đối tượng bị theo dõi

 Đầy đủ: thu nhận đầy đủ các nội dung tin tức của đối phương Điều này liên

quan nhiều đến nhiễu tạp, pha đing và thời gian liên lạc của đối phương

 Kịp thời: đảm bảo có được nội dung thực của tin tức đối phương đã phát đi

một cách nhanh nhất Đối với các sóng mạng mới phát hiện hoặc đối phương thay đổi phương thức liên lạc thì phải có ngay được phương thức xử lý Đây

là một trong những yêu cầu quan trọng nhất của TSKT khi mà thông tin về phương thức truyền tín hiệu của đối phương với ta lại hầu như không có gì Với một hệ thông tin nói chung bao gồm các trạm phát và thu Khi các đối tượng trao đổi thông tin với nhau thì các trạm phát và thu đã có các quy ước với nhau rất chặt chẽ về thiết bị, về mã hoá tín hiệu, về tần số, về thời gian Nói cách khác là các trạm phát và thu của đối phương “hiểu” nhau rất rõ Nhiệm vụ của các TSKT là sử dụng một trạm thu để thu tin tức ở giữa thiết bị thu và phát của đối phương Mô hình thu được mô tả trên hình I.1

Phát Thu

Phát Thu

Thu

Xử lý thông tin thu được:

Giải điều chế, giải mã,…

Tin tức,

mã hoá, điều chế Giải điều chế Giải mã

thông tin

Hình I.1: S ơ đồ tổng quan thu tín hiệu

Với mô hình I.1, thiết bị thu vô tuyến điện bao gồm nhiều chủng loại khác nhau như thiết bị thu bắt thông tin vệ tinh, thiết bị thu thông tin sóng ngắn HF, cực ngắn V/UHF, thiết bị định hướng HF, V/UHF Các đối tượng thuộc diện theo dõi là các

cuộc trao đổi thông tin như các cuộc điện thoại, trao đổi các bản fax, đầu ra của các thiết bị này thường là các thông tin thu thô, liên tục theo thời gian thực, các thông tin này được chuyển đến bộ phận xử lý giải điều chế, giải mã để ra được các bản tin rõ như nội dung các bức điện, bản fax, thoại Các thông tin rõ được chuyển tới công đoạn xử lý lưu trữ, phân loại đối tượng, và cung cấp phân phối thông tin theo yêu cầu nghiệp vụ

Như vậy trong trường hợp phải quản lý các cuộc trao đổi liên tục theo thời gian thì lượng thông tin dữ liệu lưu trữ rất lớn, vì vậy việc quản lý, khai thác tìm kiếm, thống kê các thông tin thu bắt được là rất khó khăn, nếu làm không tốt đôi khi sẽ bỏ sót hay làm mất mát các thông tin quan trọng Hoặc kết quả thông tin khai thác được về các đối tượng đôi khi được biểu diễn dưới dạng văn bản, khó định vị, dễ gây rối hay nhầm lẫn

Ngày nay sự phát triển mạnh mẽ không ngừng của công nghệ thông tin đã mở rộng con đường cho tin học đi vào các lĩnh vực khoa học kỹ thuật, đời sống kinh tế xã hội, đặc biệt là trong lĩnh vực quân sự, mở ra một thời kỳ mới cho quá trình phát triển và ứng dụng công nghệ vào cuộc sống

Một trong những bước tiến rõ nét nhất là việc cải thiện tốc độc cho các bộ vi xử của các nhà sản xuất phần cứng, cùng với đó là sự ra đời của những dòng máy chủ chuyên dụng phục vụ cho các bài toàn lớn về số phép toán hay các bài toán có số lượng dữ liệu lớn

Bài toán thu tin đa kênh, với số lượng dữ liệu rất lớn và đa dạng rõ ràng là không thể xử lý trên một máy tính đơn lẻ Do tính chất quân sự yêu cầu sự cấp thiết mang tính thời gian thực, bài toán đòi hỏi cần phải có các hệ thống máy tính đủ mạnh để

có thể xử lý dữ liệu lớn một cách nhanh nhất và khai thác kết quả một cách chính xác, kịp thời nhất

Nhận thức được vấn đề, đồng thời do nhu cầu thực tiễn, một số đơn vị nước ta đã có các công trình nghiên cứu về hệ thống máy tính xử lý song song như: Trung tâm tính toán hiệu năng cao - Đại học Bách khoa Hà nội, Công ty CadPro, Công ty AIC-

Bộ Quốc phòng, Kết quả đạt được rất khích lệ với ý tưởng ghép cụm các máy tính PCs cá nhân thành một hệ thống nhất với sự hỗ trợ môi trường xử lý song song của hệ điều hành mã nguồn mở Linux phục vụ việc xử lý, tính toán cho các bài toán lớn

Với sự thành công này, hệ thống ghép cụm xử lý song song rất phù hợp cho việc áp dụng xử lý dữ liệu thu đa kênh nhằm:

- Phục vụ tốt cho công tác nghiệp vụ của Trinh sát điện tử trong lĩnh vực quân sự Quốc phòng

- Quản lý, kiểm soát được các thông tin thu đa kênh, tránh mất mát, nhầm lẫn

- Dữ liệu được khai thác một cách nhanh chóng, kịp thời đảm bảo tính thời

sự

Để biểu diễn, khai thác và xử lý kết quả một cách chính xác, đưa ra các quyết định kịp thời, mô hình biểu diễn các đối tượng trên nền GIS( Geographical Information Systems) được xem là phù hợp cho các kết quả dữ liệu thu đa kênh

Công nghệ GIS ra đời trong những năm đầu của thập kỷ 70 và ngày càng phát triển dựa trên các thành tựu diệu kỳ của công nghệ tin học cả phần cứng lẫn phần mềm Trong quá trình phát triển, công nghệ GIS đã trải qua các thời kỳ ứng dụng từ thấp đến cao, từ đơn giản đến phức tạp, tỏ rõ sức mạnh và hiệu quả trong quản lý, phân tích các thông tin địa lý của các đối tượng nghiên cứu

Vì thế, mô hình biểu diễn trên nền GIS được áp dụng để:

- Quản lý vị trí địa lý của các đối tượng

- Biểu diễn thông tin kết quả tìm kiếm trên nền GIS sẽ dễ dàng giúp cho người sử dụng( các Trinh sát Kỹ thuật) có cái nhìn tổng quan trong việc phân tích kết quả thu được

- Giúp cho người sử dụng khai thác dữ liệu một cách trực quan, tránh gây nhầm lẫn

- Đặc biệt có thể xác định chính xác vị trí địa lý của các đối tượng trao đổi thông tin sẽ giúp ích cho nghiệp vụ của các Trinh sát điện tử trong việc ra quyết định

Với lý do này đề tài tốt nghiệp cao học ”Áp dụng công nghệ xử lý song song và mô

hình biểu diễn GIS để xử lý, khai thác và biểu diễn dữ liệu thu đa kênh” được

nghiên cứu để giải quyết khó khăn cho việc khai thác thông tin trong nghiệp vụ quân sự của các chiến sĩ Trinh sát Kỹ thuật điện tử

CẤU TRÚC CỦA LUẬN VĂN:

- Chương III: Thiết kế hệ thống song song xử lý dữ liệu thu đa kênh

- Chương IV: Cài đặt hệ thống

- Chương V: Đánh giá kết quả đạt được

- Tài liệu tham khảo

CHƯƠNG I: KHẢO SÁT HỆ THỐNG THU DỮ LIỆU

ĐA KÊNH

I.1 Hệ thống thu thập và xử lý thông tin trong Tổng cục 2

Trong thời gian gần đây nhận thức được tầm quan trọng của việc thu các luồng thông tin vô tuyến điện, đặc biệt các luồng thông tin số, nhiều đơn vị trong Tổng cục được nhà nước đầu tư trang bị xây dựng một số trung tâm thu tin hiện đại trên các kênh thông tin vô tuyến, có khả năng thu được nhiều dạng thông tin và các loại

mã khác nhau như trung tâm thu tin vệ tinh, phòng thí nghiệm phân tích thông tin

vô tuyến điện Trước khi đi vào nghiên cứu việc xử lý, khai thác dữ liệu thu đa kênh, luận văn xin trình bầy sơ qua một số bước tiền xử các phương thức thu tín hiệu, xử lý tín hiệu hiện tại Các dạng thông tin thu hiện tại bao gồm:

I.1.1 Thu tin từ vệ tinh

I.1.1.1 Đặc tả hệ thống

Cấu hình thu vệ tinh như hình I.2 sau:

IDR MODEM

1

FEED

& LNA

DEMUX 1

TRACKING RECEIVER

n

DEMUX n

Antenna thu vệ tinh có nhiệm vụ thu tín hiệu từ vệ tinh xuống Do khoảng cách từ

vệ tinh xuống trạm thu mặt đất là rất lớn cỡ 36.000 Km, trong khi đó công suất của

bộ phát đặt trên vệ tinh có hạn, nên tín hiệu khi đến antenna của trạm mặt đất có cường độ rất nhỏ Do đó để thu được tín hiệu từ vệ tinh đòi hỏi chất lượng của antenna trạm mặt đất rất cao kể từ độ bằng phẳng của mặt phản xạ cho đến kết cấu

cơ khí vững chắc và chính xác của nó Chính vì thế antenna tại trạm mặt đất là một thiết bị hết sức quan trọng và bản thân nó quyết định cấu hình và hoạt động khai thác của trạm

Tín hiệu thu được sau đó được đưa vào bộ khuếch đại tạp âm thấp (Low Noise Amplifier: LNA), nó có nhiệm vụ khuếch đại tín hiệu thu được lên đủ lớn với tạp

âm nhỏ Như vậy yêu cầu đối với bộ LNA là độ khuếch đại càng lớn và mức tạp âm càng nhỏ càng tốt Đồng thời để tránh suy hao do đường Phiđơ gây ra thì bộ khuếch đại LNA thường được đặt ngay tại antenna

Tiếp theo tín hiệu được đưa vào bộ chia cao tần RF( Radio Frequency) Divider, sau

đó tín hiệu được đưa vào bộ Down Converter để đổi từ tín hiệu cao tần xuống tín hiệu trung tần 140 MHz Đến đây nếu muốn cùng một lúc thu được nhiều luồng sóng mang khác nhau thì phải cho tín hiệu đi qua bộ chia trung tần IF( Intermediate Frequency) Divider và mỗi đầu ra của nó cho qua một bộ IDR MODEM ( Intermediate Data Rate MODEM) nó có nhiệm vụ giải mã, giải điều chế để có được luồng số cơ bản có tốc độ đúng bằng tốc độ của luồng số được đưa vào IDR MODEM ở bên đối phương Bộ phân tích phổ( Spectrum Analyzer) làm nhiệm vụ xác định giải tần số để điều chỉnh góc độ của Antenna

Tốc độ luồng số ở đây bao một dải rất rộng gồm các loại tốc độ cơ bản như sau: 64,

192, 256, 384, 512, 1024, 1544, 2048, 6312, 8448, 32064, 34368, 44736 Kbps Các luồng số có tốc độ từ 1544 đến 44736 Kbps đều được thêm một cấu trúc tiếp đầu gọi là Overhead vào đầu luồng thông tin để tạo thành khung số liệu Overhead chứa tín hiệu đồng bộ, kênh thông tin nghiệp vụ, các tín hiệu báo cảnh Tốc độ Overhead thường là 96 Kbps

Với mỗi loại tốc độ khác nhau ta phải dùng các bộ IDR khác nhau, do vậy tuỳ thuộc vào đối tượng thu và phụ thuộc vào khả năng kỹ thuật mà đối phương thường dùng

mà chọn IDR MODEM cho phù hợp IDR MODEM nghiên cứu thu luồng là 2048 kbps

Luồng số 2048 kbps từ đầu ra bộ IDR MODEM được đưa qua bộ phân kênh DEMUX để tách ra thành 30 kênh với tốc độ mỗi kênh là 64 kbps Đầu ra của bộ phân kênh DEMUX là các tín hiệu thoại, fax, data,

Để đảm bảo trong suốt quá trình thu antenna luôn hướng thẳng vào vệ tinh thì ở đây

ta phải có một hệ thống tự động bám vệ tinh đi kèm với trạm thu Hệ thống này gồm

có bộ thu tín hiệu bám(Tracking Receiver), bộ điều khiển antenna(Antenna Controller) và các mô tơ quay góc ngẩng và góc phương vị của Antenna (EZ, AL Motor)

I.1.1.2 Các dạng thông tin thu từ vệ tinh

 Thông tin dạng ảnh, video

 Thông tin thoại

 Fax, Telex

 Số liệu-Data (Email, internet, ảnh, video, văn bản số)

I.1.1.3 Phương thức xử lý dữ liệu

Hiện tại ở trung tâm vệ tinh đã xử lý thu được các tín hiệu fax, thoại qua việc xử lý các tín hiệu tại đầu ra 30 kênh của bộ DEMUX nhờ các thiết bị ghi chuyên dụng số nhiều kênh và các phần mềm giải mã chuyên nghiệp như MFAX, M5

Các số liệu thu được được lưu trữ thủ công trên hệ thống mạng LAN và không được phân loại và tiền xử lý vì vậy rất hạn chế cho việc ứng dụng và khai thác các

số liệu thu được, hơn nữa số liệu thu được ở đầu vào là rất lớn với 4 luồng E12

2 E1 là một đường truyền số có dung lượng 2Mbit/s

(2Mbit/s) tức là trung bình 1 giây hệ thống phải xử lý 8Mbit thông tin, với mô hình

xử lý thông tin hiện tại hệ thống không thể xử lý và lưu trữ khối lượng thông tin thu được vì vậy đã để thất thoát nhiều, một khối lượng lớn thông tin thu được đã không được xử lý hoặc bị bỏ qua

I.1.2 Hệ thống thu tin sóng HF, VHF, UHF

Anten 300-3000 MHz

Hình I.3: Hệ thống thu tin sóng HF,VHF,UHF

Hiện tại phương thức thu này được sử dụng chủ yếu tại các đơn vị trinh sát Vô tuyến điện trong Tổng cục Cấu trúc của hệ thống bao gồm nhiều chủng loại khác nhau:

 Loại đơn giản gồm máy thu HF hoặc V/UHF đầu ra được xử lý qua thiết bị chuyên dụng nối vào máy tính và sử dụng các phần mềm giải mã chuyên dụng để giải mã tin thường được sử dụng tại các đơn vị trinh sát, các thiết bị này được tổ chức độc lập chưa được kết nối mạng và thường chỉ phục vụ

chuyên cho các đối tượng thu nhất định với kiểu mã hoá hạn chế như điều tần 2, điều tần 4,

 Loại hiện đại vừa được trang bị của hãng THOMSON tại phòng thí nghiệm phân tích thu bao gồm các thiết bị máy thu chất lượng cao được điều khiển tự động bằng phần mềm máy vi tính có kết nối mạng LAN và các phần mềm chuyên dụng dùng để giải mã phân tích các tín hiệu thu được

I.1.2.2 Các dạng thông tin thu từ kênh vô tuyết HF, VHF, UHF

 Thông tin tham số của đài phát như tần số, kiểu mã hoá, đối tượng,

 Thông tin đàm thoại

 Các bản tin, Fax, Telex

I.1.2.3 Phương thức xử lý dữ liệu

Hiện tại các bản tin thu được của phương pháp thu này còn chưa được qui hoạch tổng thể, mỗi đơn vị thu lưu trữ theo kiểu riêng của mình và khuôn dạng dữ liệu cũng rất khác nhau do có các chương trình giải mã khác nhau đang cùng tồn tại và phần lớn chưa được nối mạng giữa các đơn vị và phân loại xử lý lưu trữ tự động Vì vậy dữ liệu thu chưa được quản lý tốt và việc khai thác được thực hiện thủ công trên các máy tính cá nhân nên chưa triệt để

I 2 Phân tích giải pháp của một số nước

Sau khi nghiên cứu qua một số cách thu, xử lý và khai thác tín hiệu tại Tổng cục, trong phần này đề tài luận văn sẽ giới thiệu sơ bộ về phương án tổ chức qui trình thu, xử lý và phân phối thông tin thu của một số hãng đại diện cho các quốc gia có nền công nghệ thu tiên tiến

I.2.1 Quy trình xử lý và phân phối thông tin thu của hãng THALES

Quy trình thu, xử lý và phân phối thông tin thu vô tuyến điện của hãng THALES (THOMSON - Cộng hoà Pháp ) được mô tả như sau:

Ý tưởng tổ chức chính của quy trình là toàn bộ hệ thống thu tin, xử lý, lưu trữ phân loại và khai thác thông tin được tổ chức thống nhất trong một hệ thống chung dưới

sự điều hành của mạng quản lý giám sát với các chức năng chính như:

 Phần mềm xử lý và quản trị hệ thống: Điều hành đồng bộ toàn hệ thống giữa

các mạng thu trong thời gian thực, phân tích xử lý OFF-LINE, mạng định hướng, mạng khai thác xử lý dữ liệu thu và mạng chỉ huy

 Xác định nhiệm vụ: Căn cứ vào mệnh lệnh chỉ huy xác định các lệnh điều

khiển trong thể thống nhất với toàn bộ hệ thống

 Tiến hành tổng hợp các kết quả phân tích: Tổng hợp các kết quả phân tích từ

nhiều nguồn khác nhau vào các đối tượng để quản lý và giám sát

 Cập nhật dữ liệu cơ sở: Quản lý thống nhất cơ sở dữ liệu, cập nhật các dữ

liệu mới, xóa các dữ liệu cũ hết giá trị sử dụng

Toàn bộ các thành phần trong hệ thống bao gồm cả thiết bị thu và ghi lưu đều được kết nối mạng máy tính và điều khiển tự động bằng phần mềm với dữ liệu đầu vào của hệ thống và yêu cầu báo cáo các thông tin của đối tượng theo nhu cầu của chỉ huy, đầu ra của hệ thống là bản tổng hợp toàn bộ thông tin về đối tượng với tất cả khả năng hiện có của hệ thống

I.2.2 Quy trình xử lý và phân phối thông tin thu của hãng SPECTRONIC

Hệ thống thu của hãng SPECTRONIC( Đan Mạch) sử dụng một hệ thống quản lý thông tin IMS (Information Management System) để xử lý tin thu được

Mô hình hệ thống thu, xử lý của hãng SPECTRONIC có dạng:

Dữ liệu thô không nén

Xử lý khai thác

Hình I.4: Hệ thống thu của hãng SPECTRONIC

Trong sơ đồ tổ chức thông tin của hãng SPECTRONIC toàn bộ thông tin đầu vào được xử lý tập trung tại mạng tự động xử lý IMS, tại đây dữ liệu được xử lý phân tích và giải điều chế, giải mã thành các bản tin rõ và được ghi vào kho dữ liệu

theo chuẩn dữ liệu IMS dưới dạng các đối tượng, với các dữ liệu không giải mã thành bản tin rõ được và các tín hiệu thoại, hệ thống IMS sẽ điều khiển ghi lưu dưới dạng dữ liệu thô theo một khuôn dạng dữ liệu thống nhất

Trong sơ đồ tổ chức thông tin của hệ thống IMS, thông tin lưu trữ được phân thành hai luồng dữ liệu đã xử lý và dữ liệu thô để tăng tốc độ phân tích xử lý ON-LINE, các dữ liệu thô được xử lý OFF-LINE thông qua mạng phân tích xử lý từ kho

I.3 Yêu cầu của hệ thống xử lý song song dữ liệu thu đa kênh

I.3.1 Mô hình chung của hệ thống thu và xử lý dữ liệu đa kênh

Qua việc nghiên cứu các hệ thống thu hiện có và các mô hình xử lý thông tin của các hãng quốc tế nhìn chung một quy trình xử lý hoàn chỉnh gồm hai giai đoạn:

 Giai đoạn thu, giải điều chế, phân loại, lưu trữ

 Quản lý, khai thác, biểu diễn dữ liệu thu

Như vậy mô hình qui trình xử lý thu, phân tích, lưu trữ, phân loại và khai thác các thông tin thu được hiểu như hình I.5

Hệ thống xử lý song song

Phần nằm trong vùng thuộc hệ thống của Tổng Cục

cơ sở sử dụng hệ thống thu hiện đại của hãng THOMSON và các thông tin định vị

từ các trạm định hướng

Các thông tin nhận được dưới dạng các dữ liệu thô và được xử lý sơ bộ như phân loại dữ liệu dưới dạng thoại Analog, dữ liệu số, dữ liệu âm tần HF, V/UHF và được gắn thêm các đầu thông tin phụ như nguồn tin, lịch sử xuất hiện tin, trạm thu và phát thông tin đối với HF, V/UHF, hoặc các số gọi hoặc bị gọi với các các cuộc thoại, fax, email

Thông tin thô sau khi xử lý phân loại sơ bộ được chuyển tới các thiết bị và phần mềm giải mã ON-LINE để tạo ra các bản tin rõ trong thời gian thực và được ghi tạm thời vào các thiết bị ghi âm số chuyên dụng nhằm mục đích xử lý phân tích OFF-LINE, đầu ra của quá trình xử lý phân tích OFF-LINE là các bản tin rõ

Các dữ liệu bản tin rõ và cả dữ liệu dạng thô (Chủ yếu là các số liệu dạng đàm thoại, các bản fax) sau khi đã được chuyển đổi thống nhất về khuôn dạng chung thống nhất trong hệ thống được ghi vào cơ sở dữ liệu của hệ thống( quá trình được

mô tả như phần trên củamô hình I.5)

Như vậy vấn đề chính là làm sao để tổ chức, xử lý, khai thác và biểu diễn dữ liệu thu được một cách nhanh nhất, chính xác hiệu quả nhất Đây chính là vấn đề luận

văn tốt nghiệp cao học ”Áp dụng công nghệ xử lý song song và mô hình biểu diễn

GIS để xử lý, khai thác và biểu diễn dữ liệu thu đa kênh” muốn đề cập và giải

quyết

I.3.2 Mô hình xử lý song song

Nhu cầu ứng dụng Công nghệ thông tin trong các hoạt động nghiên cứu khoa học và công nghệ, quản lý kinh tế xã hội ngày càng cao, đòi hỏi phải giải quyết nhiều bài toán lớn với khối lượng tính toán khổng lồ đến mức các máy tính PC bình thường

và các giải thuật tuần tự không đủ mạnh để có thể đưa ra một phương án lời giải trong giới hạn thời gian cho phép Ý tưởng xây dựng các máy tính mạnh kết hợp với các giải thuật song song tuy đã xuất hiện từ lâu trong các nghiên cứu nhưng mới chỉ trở thành hiện thực trong vài chục năm gần đây

Hệ thống xử lý song song là sự kết hợp giữa một số kiến trúc phần cứng và phần mềm nhằm phân rã các bài toán lớn thành các phần nhỏ hơn sao cho chúng được xử

lý song song (được xử lý trong hệ thống cùng một thời điểm) Với bài toán xử lý dữ thu đa kênh, để giải quyết việc khai thác một kho dữ liệu khổng lồ, việc khai thác sẽ được thực hiện đồng thời trên từng phần của kho dữ liệu bởi các nodes trong hệ thống xử lý song song

Với mô hình I.5, hệ thống song song xử lý dữ liệu thu đa kênh sẽ:

 Quản lý toàn bộ cơ sở dữ liệu trong kho dữ liệu bao gồm các dạng bản tin rõ, các bản fax, các cuộc đàm thoại, email, data, dữ liệu định hướng, các thông tin thô,… để tự động tập hợp bổ xung vào các bản ghi của các đối tượng đã

có sẵn mà hệ thống đang quan tâm như thời gian cuộc trao đổi, các đối tượng trao đổi, tên đối tượng, nội dung trao đổi, các bản ghi lưu ý, hoặc tự động tạo ra các đối tượng mới lần đầu xuất hiện Quản lý bộ nhớ lưu trữ đảm bảo không bị đầy hoặc tràn và có giải pháp phân tán dữ liệu khi bị quá tải thông tin

 Nhận các yêu cầu và trả lời kết quả phân tích, thống kê và xử lý thông tin từ

bộ phận chỉ huy qua chức năng điều khiển giám sát hệ thống Hệ thống có thể xử lý các yêu cầu theo hướng đối tượng hoặc các yêu cầu tìm kiếm tổng thể theo từng tiêu chí như từ 1 số điện thoại cụ thể, nước cụ thể hay thời gian, Nó cho phép người dùng định nghĩa tham số của một đối tượng và hệ thống sẽ tự động quản lý đối tượng đó từ khâu thu nhận, phân tích xử lý, phân loại, lưu trữ và tạo các báo cáo thường xuyên cho chỉ huy

I.3.3 Mô hình biểu diễn thông tin đối tượng trên GIS

Công nghệ GIS du nhập vào Việt Nam xuất phát từ nhu cầu đổi mới đất nước, động lực phát triển kinh tế, khoa học, quân sự, kỹ thuật, vai trò của công nghệ thông tin trong những năm 90s GIS là một công nghệ mới đòi hỏi cần có sự đầu tư đáng kể

về tài chính nhân lực, nhưng đã được ứng dụng khá mạnh mẽ vào một số ngành như: địa chất, nông nghiệp, lâm nghiệp, đặc biệt trong lĩnh vực quân sự Một số cơ

quan đã đầu tư, thiết kế xây dựng các phần mềm trong nước có chức năng của GIS như: Viện Công nghệ Thông tin thuộc Trung tâm Khoa học Tự nhiên và Công nghệ Quốc gia(POPMAP), công ty Phát triển các Hệ thống thông tin thuộc Bộ Quốc phòng AIC(CAMAP), công ty DOLSOFT(WINGIS),… nhưng chủ yếu vẫn bằng con đường dự án tài trợ hoặc tự đầu tư công nghệ mà chưa có sự tham gia nhiều của Nhà nước Hiện tại phần mềm GIS nhập ngoại vẫn đang được dùng phổ biến ở Việt Nam như: ARCINFO, MAPINFO, ATLAS GIS,…Các phần mềm này hiện đang được rất nhiều công ty, đơn vị khai thác, sử dụng với các mục đích khác nhau

Hệ thống thông tin địa lý là một mô hình của thế giới thực trong đó mọi đối tượng đều được quản lý và lưu trữ theo vị trí địa lý gắn liền với các thông tin thuộc tính của nó theo một quy luật thống nhất Với hệ thống xử lý dữ liệu thu đa kênh, các đối tượng trao đổi thông tin đều được quản lý thông qua:

 Vị trí địa lý và

 Dữ liệu thuộc tính

Thông qua việc lưu trữ và khai thác của Hệ thống thông tin địa lý(GIS) có thể biểu diễn toạ độ địa lý và các thuộc tính đặc trưng của mỗi đối tượng một cách trực quan Điều này rất hữu ích trong việc theo dõi, quản lý các đối tượng Đặc biệt trong lĩnh vực đòi hỏi việc xử lý nhanh, nhậy của ngành Trinh sát Kỹ thuật điện tử Việc quản

lý, khai thác triệt để thông tin của các đối tượng là rất cần thiết Ví dụ: Trong việc theo dõi, giám sát trao đổi dữ liệu giữa các đối tượng, thông qua mô hình biểu diễn GIS ta có thể xác định chính xác vị trí địa lý của các đối tượng và nội dung trao đổi,

từ đó có thể kịp thời xử lý nghiệp vụ quân sự trong trường hợp cần thiết

Chương tiếp theo luận văn sẽ trình bầy chi tiết cơ sở lý thuyết về công nghệ xử lý song song, môi trường xử lý song song và mô hình biểu diễn dữ liệu khai thác trên nền GIS

CHƯƠNG II: CÔNG NGHỆ XỬ LÝ SONG SONG

VÀ MÔ HÌNH GIS

II.1 Giới thiệu công nghệ xử lý song song

II.1.1 Đặt vấn đề

Như chúng ta đã biết, cùng với sự phát triển về tri thức và nhu cầu của con người là

sự ra đời của một loạt các vấn đề xử lý những kho dữ liệu khổng lồ hay các bài toán

có khối lượng tính toán lớn, đòi hỏi tốc độ tính toán nhanh yêu cầu tính thời gian thực

Xử lý song song (XLSS) là một phương pháp tăng tốc độ thực hiện một chương

trình máy tính nhờ việc phân rã chương trình thành nhiều đoạn( các tiến trình), thực

hiện đồng thời (song song) trên các bộ xử lý (BXL)

Trong thực tiễn tính toán, đặc biệt là lĩnh vực tính toán khoa học cũng như các ứng dụng an ninh-Quốc phòng, tồn tại rất nhiều bài toán có nhu cầu tính toán khối lượng lớn, cần hoàn tất trong khoảng thời gian hạn chế, thậm chí yêu cầu thực hiện trong thời gian thực theo một tốc độ tương đương với các hiện tượng vật lý xẩy ra trong cuộc sống Các bài toán cần XLSS được ứng dụng khi xuất hiện một số nhu cầu cơ bản như::

 Có quá nhiều phép toán phải được thực hiện đồng thời trên một loại dữ liệu,

hoặc,

 Có quá nhiều số liệu phải được xử lý bởi cùng một hoặc nhiều thuật toán

đồng thời

Trong cuộc sống, một số lĩnh vực có nhu cầu áp dụng XLSS như:

 Kỹ thuật mô phỏng (mô phỏng hạt nhân, phân tích các quá trình vật lý tốc độ

lớn, mô phỏng khí động hoặc thủy động lực học )

II

 Kỹ thuật giải mã, thám mã (trường hợp phải xử lý nhanh chóng tập hợp lớn

các bản mật mã chưa biết khoá, phá khoá, phân loại số liệu, văn bản, nhận dạng chữ in, chữ viết, dịch ngôn ngữ tự động, )

 Kỹ thuật xử lý ảnh (đặc biệt trong xử lý ảnh vệ tinh, ảnh hàng không phục vụ

công tác trinh sát, lập bản đồ tác chiến, trong nhận dạng vân tay, )

 Điều khiển thời gian thực, các hệ thống khí tài phức tạp và vũ khí tốc độ cao

(tên lửa, các loại vũ khí điều khiển và công nghệ cao khác)

 Quản lý khối lượng lớn số liệu, hậu cần, quân lực hoặc tình báo,

Trong mỗi lĩnh vực đều có các bài toán với những khó khăn riêng, nhưng nhìn chúng chúng đều có thể quy về hai dạng, đó là: Có quá nhiều phép toán cần được xử

lý đồng thời hoặc có quá nhiều số liệu cần được xử lý, khai thác Thực tế đã chứng minh, với những bài toán dạng này, có thể khắc phục giải quyết theo một số hướng như:

 Giải quyết bằng phần mềm: Hướng giải quyết này được thực hiện bằng cách

tối ưu hoá các giải thuật tính toán, hay các hệ cơ sở dữ liệu Hướng này luôn được tận dụng một cách tối đa nhưng trong một số trường hợp đôi khi chỉ mang tính chất khắc phục hạn chế hay cải thiện bài toán mà không thể giải

quyết hoàn toàn

 Giải quyết bằng phần cứng: Với phương án giải quyết bằng phần mềm chưa

đủ đáp ứng hết nhu cầu của người sử dụng, việc khắc phục bằng phần cứng

là điều tất yếu Trên thực tế đã có rất nhiều hãng sản xuất phần cứng đưa ra các sản phẩm máy tính lớn chuyên dụng phục vụ cho các bài toán lớn, tuy nhiên giá thành của các sản phẩm này là rất đắt hay đôi khi các siêu máy tính

là đối tượng của chính sách hạn chế xuất khẩu đặc biệt gắt gao do liên quan tới các ứng dụng an ninh-Quốc phòng rất nhậy cảm

Cộng đồng mã nguồn mở ra đời cùng với hàng loạt sự hỗ trợ về môi trường, hệ điều hành, đã giúp cho các nhà lập trình có nhiều hướng đi mới để có thể giải quyết

khó khăn( việc phải đối mặt với các bài toán lớn) mà không phải phụ thuộc nhiều vào các hãng sản xuất máy chủ chuyên dụng với một chi phí thấp

II.1.2 Tình hình nghiên cứu công nghệ xử lý song song trong và ngoài nước II.1.2.1 Một số vấn đề liên quan đến xây dựng siêu máy tính

Khi đề cập đến máy tính hiệu năng cao hay siêu máy tính, có 3 vấn đề lớn thườn được chú trọng Đó là:

 Xây dựng môi trường tính toán

 Các yếu tố liên quan đến nền tảng phần cứng cần thiết cho việc xây dựng siêu máy tính như: Kiến trúc bộ vi xử lý, mô hình bộ nhớ, các vấn đề liên quan đến truyền thông,

 Đánh giá hiệu năng siêu máy tính trên các khía cnạh khác nhau như: Tốc độ tính toán, tận dụng tài nguyên, cân bằng tải giữa các nodes tham gia xử lý, Hiện nay trên thế giới có rất nhiều siêu máy tính với mô hình xử lý song song khác nhau trên cơ sở tổ chức các bộ vi xử lý và phương thức truyền thông giữa các bộ vi

xử lý

Một số phương án cho việc tổ chức các bộ vi xử lý:

 Phương án đa xử lý đối xứng(SMP: Symmetric Multi-Processing): ở phương

án này, công nghệ XLSS được thực hiện nhờ các hệ thống SMP, thực chất là một máy tính cấu tạo từ nhiều BXL dùng chung bộ nhớ và chung giao diện bus nội tại;

 Phương án tập lệnh đa phương tiện(MMX: Multimedia Extensions): XLSS

thực hiện trên 1 máy vi tính chạy Linux dùng tập lệnh mở rộng Multimedia (công nghệ MMX) để tiến hành các thao tác song song trên các véc-tơ số liệu dạng số nguyên nhờ việc phân chia các thanh ghi ra các trường nhỏ, giữ số liệu phù hợp cho mỗi quá trình

 Phương án kết chùm các máy vi tính (Cluster): khi này hệ thống XLSS là

một nhóm máy tính, gọi là một cluster (thí dụ: nhóm máy vi tính, mỗi máy đều chạy Linux) được nối mạng để tạo thành một chùm (cluster) hoạt động song song trong sự giao tiếp tương hỗ

 Ngoài ra còn một số công nghệ khác,…

Với một số phương án xử lý song song này, việc tiếp cận theo hướng xử lý song song SMP hay MMX phụ thuộc vào các nhà sản xuất phần cứng Chỉ có mô hình ghép cụm cluster là độc lập, dễ khả thi và tận dụng tối đa tài nguyên sẵn có Chỉ cần ghép nối các máy tính sẵn có thành một mạng các máy tính để có thể cùng xử lý một bài toán Vấn đề đặt ra chỉ là công cụ và phương pháp ghép nối như thế nào để các máy tính được ghép nối trở thành một hệ thống nhất và có thể trao đổi thông tin qua lại

Một số phương án truyền thông cho các mô hình xử lý song song: Với các mô hình như MMX hay SMP, việc trao đổi thông tin giữa các bộ vi xử lý (các tiến trình)3

được thực hiện thông qua các bus nội tại, còn với phương án xử lý song song ghép cụm (cluster) có thể áp dụng một số công nghệ truyền thông như:

 Công nghệ truyền thông Ethernet: Sử dụng các card mạng Ethernet 10/100

Mbps trên mỗi node và ghép nối với nhau thông qua các bộ chuyển mạch

 Công nghệ truyền thông SCI: Sử dụng các card SCI siêu tốc độ trên các nodes ghép nối với nhau thông qua các mô hình topology mạng khác nhau

 Công nghệ truyền thông Myrinet, …

Với mô hình ghép cụm xử lý song song trên nền mã nguồn mở, một số công trình nghiên cứu theo hướng XLSS trong và ngoài nước đã chỉ ra rằng: trên thực tế xử lý song song trên nền hệ điều hành mã nguồn mở Linux có thể cho ta một hệ thống tính toán có hiệu năng của một siêu máy tính

3 Khi thực hiện xử lý song song, thông thường một chương trình sẽ đựơc phân rã thành các tiến trình xử lý đồng thời trên các bộ vi xử lý

II.1.2.2 Một số siêu máy tính chuyên dụng của các hãng trên thế giới

Hãng Fujitsu

- Parallel Server AP3000 U300: gồm 1024 BXL vô hướng UltraSPARC 300 MHz Tốc độ SI/FP(1) là 12.1/15.5 với hệ gồm 8 CPUs (nodes) trong một box Cấu hình mạng gồm 128 tủ được ghép lại như một siêu máy tính đơn

Hãng Hewlett Packard

- HP9000 V2250 Exemplar: gồm 16 BXL PA-8200 240 MHz, tốc độ 15,360 GFLOPS Peak/16 CPUs

- Cray T3E-1200E: gồm 2048 BXL vector Alpha 21164 600MHz, tốc độ

2400 GFLOPS Peak

- Cray T90, năm 1995: gồm 4 BXL vector T940 hoặc 32 bộ T932, tốc độ 57,6 GFLOPS Peak

II.1.2.3 Một số siêu máy tính được nghiên cứu trong nước

Xu hướng phát triển siêu máy tính trên mô hình ghép cụm cũng đã được xem xét

trong một vài năm gần đây ở nước ta Một số đơn vị đã có những nghiên cứu cụ thể theo hướng này như:

- Điển hình là Trường Đại học Bách khoa Hà nội cũng đã tiến hành một dự

án về chế tạo siêu máy tính chi phí thấp với 16 nodes ghép nối thông qua card mạng

Ethernet và các bộ chuyển mạch

- Công ty CadPro cũng đã có sản phẩm 8 nodes ghép nối sử dụng công nghệ Myrinet( 160 Mbyte/s) và đã được ứng dụng trong việc xử lý thông tin dự báo thời tiết, viện toán

- Công ty phát triển công nghệ thông tin AIC-Bộ Quốc phòng đã nghiên cứu thành công mô hình ghép cụm xử lý song song bằng cách ghép các nodes với nhau theo mô hình topology 2D thông qua giao diện card SCI( 667 Mbyte/s/link) của hãng Dolphin

II.1.3 Mô hình ghép cụm trên Ethernet

Kỹ thuật ghép cụm(cluster) hiện nay là một công nghệ phổ biến và cũng là một cách tiếp cận đa dạng bao gồm từ việc kết mạng thông thường các workstation cho tới các máy song song rất mạnh sử dụng các máy vi tính chạy trên nền mã nguồn mở Linux đóng vai trò như các nodes xử lý Trên thực tế cũng đã có rất nhiều các phần mềm hỗ trợ cho XLSS trên nền Linux

Đơn giản và gần gũi nhất là công nghệ ghép cụm trên mô hình Ethernet được xây dựng trên cơ sở các máy tính PCs cá nhân, được ghép nối(ghép cụm) với nhau thông qua mạng LAN(bao gồm các card mạng Ethernet 10/100 Mbps và các bộ chuyển mạch) để trở thành một hệ thống xử lý tính toán đồng nhất

Mô hình ghép cụm này có thể được hiểu như sau:

Máy 0 (Master)

Bộ chuyển mạch - Switch

Máy 1

(Slave 1)

Máy 2 (Slave 2)

Máy 3 (Slave 3)

Máy n (Slave n)

Hình II.1: Mô hình xử lý song song trên nền Ethernet

Theo mô hình ghép cụm hình II.1, với bài toán xử lý, khai thác dữ liệu thu đa kênh, kho dữ liệu khổng lồ có thể được quản lý, lưu trữ bởi hệ thống, kho dữ liệu này được chia thành từng phần( bởi master theo mô hình II.1) và các phần sẽ được thực hiện song song đồng thời( bởi các slave theo mô hình II.1)

Một số nhận xét trên về hệ thống ghép cụm trên nền Ethernet:

Ưu điểm:

Kỹ thuật XLSS cluster Ethernet có một loạt các ưu điểm quan trọng:

- Mỗi một máy trong cluster có thể đã là một hệ thống hoàn thiện sử dụng tốt cho nhiều ứng dụng tính toán khác nhau

- Nhiều thiết bị phần cứng để xây dựng một cluster được bán rộng rãi trên thị

trường với giá thấp Ngoài ra toàn bộ 1 cluster về nguyên tắc chỉ cần 1 màn hình và

1 bàn phím, do đó cũng giảm được chi phí ban đầu Có thể thấy phương án SMP và

phương án các BXL gắn kèm so với cluster, sẽ kém hấp dẫn hơn về phương diện giá cả

- Kỹ thuật tính toán cluster có thể mở rộng từ phạm vi một hệ thống nhỏ tới các hệ thống rất lớn Trong khi hiện nay rất khó tìm được 1 hệ SMP Linux với hơn

4 BXL, thì tuyệt đại đa số các cluster đều được xây dựng tới trên 16 máy / 1 cluster Trên thực tế thậm chí có thể kết nối tới hàng trăm máy thành một hệ thống, và theo

nghĩa đó, Internet có thể coi như là một cluster khổng lồ

- Việc thay thế một máy hỏng bên trong một cluster rõ ràng dễ hơn là tìm 1

phần tử hỏng trong 1 hệ thống SMP Điều này nói lên sức sống của các cluster

Tuy nhiên mặc dù cluster là rẻ và có thể xây dựng với quy mô rất lớn, có độ sẵn sàng cao nhưng công nghệ này cũng tồn tại một số hạn chế

Hạn chế:

- Trừ một vài trường hợp ngoại lệ, phần cứng của mạng nói chung không thiết kế chuyên cho XLSS Độ trễ thường rất cao và băng thông tương đối thấp so với hệ thống loại SMP và loại các BXL gắn kèm Thí dụ độ trễ của 1 hệ SMP

thường không quá một vài micrô giây (µs), trong khi giá trị này thường là hàng trăm hoặc hàng nghìn µs đối với 1 cluster Băng thông của một SMP thường lớn hơn 100 MB/s, trong khi mặc dù phần cứng mạng nhanh nhất (Gigabit Ethernet) có tốc độ

tương đương nhưng khai thác trên mạng thường với tốc độ chậm hơn 10 đến 1000 lần

- Có rất ít phần mềm hỗ trợ cho việc xử lý 1 cluster như một hệ thống đơn

Thí dụ lệnh ps chỉ đưa ra thông báo về trạng thái các quá trình chạy trên 1 hệ Linux

mà không phải tất cả các quá trình chạy trên 1 cluster các hệ Linux

Như vậy có thể thấy cluster là một công nghệ có tiềm năng cho phép giải quyết các bài toán lớn, mặc dù rằng tiềm năng này cũng rất khó đạt tới cho đa số các ứng dụng Tuy nhiên cũng đã có rất nhiều phần mềm hỗ trợ giúp ta đạt được hiệu năng tốt cho các chương trình chạy trên môi trường này, ngoài ra còn có nhiều loại mạng được thiết kế đặc biệt để mở rộng lớp các chương trình có thể đạt hiệu năng cao trên cluster

II.2 Giới thiệu về hệ thống thông tin GIS

Các đối tượng được theo dõi và quản lý thông qua các cuộc trao đổi thông tin(dữ liệu thuộc tính), khi cần xử lý hay nhận biết chính xác đối tượng, người sử dụng sẽ cần phải xác định vị trí địa lý của đối tượng(dữ liệu không gian) Vì vậy,

mô hình biểu diễn trên nền GIS sẽ giúp người sử dụng làm việc này Phần sau sẽ trình bầy sơ qua một số khái niệm và cấu trúc dữ liệu trong GIS

II.2.2 Các thành phần cơ bản của GIS

Như đã định nghĩa GIS, có thê thấy GIS là hệ thống phần cứng, phần mềm và các thủ tục được thiết kế để thu thập, quản lý, xử lý, phân tích, mô hình hoá và hiển thị các dữ liệu quy chiếu không gian Mô hình hoá các thành phần của GIS như II.2:

Hình II.2: Mô hình hệ thống thông tin địa lý

Trong sơ đồ này, thành phần quan trọng là yếu tố con người, con người (các chuyên gia về GIS) là các nhân tố thao tác điều hành sự hoạt động của hệ thống GIS Thông tin từ thế giới thực được đưa vào GIS quản lý và xử lý theo mục đích của người sử dụng Dựa trên kết quả phân tích dữ liệu thông qua công cụ GIS người sử dựng tác động trở lại thế giới thực nhằm đạt được mục đích đã đề ra Kết quả thông tin mới xuất hiện và sẽ được đưa vào quả lý trong GIS

II.2.3 Cấu trúc dữ liệu trong GIS

II.2.3.1 Cơ sở dữ liệu của GIS

Cơ sở dữ liệu của một hệ thống thông tin địa lý là một tập hợp các số liệu dạng số, chữ và hình ảnh được lưu trữ trong máy tính và được tổ chức quản lý sao cho có thể mở rộng, chỉnh sửa và tra cứu nhanh chóng, phục vụ cho các ứng dụng khác nhau trong một hệ thống phần mềm thông tin địa lý Cơ sở dữ liệu được biểu diễn theo 2 dạng: Cơ sở dữ liệu không gian (bản đồ) và cơ sở dữ liệu thuộc tính tương ứng GIS quản lý thông tin qua 3 loại dữ liệu: điểm, đường, miền (vùng) và được tổ chức theo 2 cấu trúc: Vector và Raster

II.2.3.2 Cấu trúc dữ liệu Raster

Cấu trúc đơn giản của dữ liệu raster gồm một mảng ô lưới, đơn vị không gian

là ô, ô phản ánh một diện tích bề mặt được biểu thị một hàng và cột Mỗi ô mang một giá trị và nội dung của nó, có thể là một kiểu hay giá trị của thuộc tính trên bản

đồ Trong cấu trúc raster, một điểm được biểu thị bởi một ô độc lập, một đường được biểu thị bởi một dẫy các ô lân cận theo một hướng xác định và một vùng là một khối liên kết các ô lân cận

Việc lưu trữ dữ liệu có thể được rút gọn bằng phương pháp nén theo một số phương pháp như: Chain codes, Run-length codes, Block codes hay Quatrees Dạng raster là ảnh của các đối tượng địa lý được thể hiện dưới dạng nhị phân theo khuôn dạng của một loại hình ảnh nào đó (bitmap, tif, …) Dạng số liệu raster chỉ dùng để thể hiện các đối tượng và rất khó khăn trong việc xử lý, biên tập đối tượng; nó phụ

thuộc nhiều vào độ phân giải cụ thể của từng màn hình máy tính và thiết bị nhập hình ảnh

II.2.3.3 Cấu trúc dữ liệu Vector

Cấu trúc dữ liệu vector biểu diễn chính xác vị trí, chiều dài cùng các thuộc tính khác của đối tượng Việc lưu trữ dữ liệu quan hệ cho phép toàn bộ dữ liệu được lưu trữ với không gian nhỏ nhất Chính vì vậy mà cấu trúc vector được dùng trong hệ thống thông tin địa lý để lưu trữ các điểm, đường, miền

 Điểm: Các thực thể điểm được xác định bởi các cặp toạ độ độc lập (x, y)

Các cặp toạ độ (x, y) kết hợp với các bản ghi dữ liệu bao gồm các thông tin

về ký hiệu, cách thức hiển thị, hướng của ký hiệu, và các thông tin thuộc tính kết hợp khác

 Đường: Các thực thể đường có thể được định nghĩa như là tập hợp một đoạn

thẳng được tạo thành bởi một hay nhiều cặp toạ độ Đường đơn giản nhất cần lưu trữ một điểm đầu và một điểm cuối (hai cặp toạ độ (x1, y1) và (x2, y2)), thêm vào đó là một bản ghi diễn tả cho kí hiệu được dùng Một cung là tập hợp của n cặp toạ độ (x, y) được miêu tả bởi các đường liên tiếp nhau

 Miền: Các thực thể miền (region) có thể được biểu diễn bằng polygon miêu

tả được các thuộc tính topology của vùng, kết hợp các thuộc tính của các khối không gian, hiển thị và thu thập dữ liệu qua bản đồ chuyên đề, xây dựng các yêu cầu trạng thái của mạng lưới polygon theo dữ liệu địa lý

Topology xác định mối liên hệ không gian giữa các đối tượng bản đồ Trong quá trình thành lập bản đồ, topology giúp xác định sự ghép nối và liên hệ giữa các hình ảnh bản đồ Ngoài ra topology còn giúp xác định hướng của các đối tượng

II.2.3.4 So sánh các phương pháp raster và vector

Có thể cả hai cấu trúc dữ liệu raster và vector đều có các ưu nhược điểm trong các phạm trù nhất định, bảng thống kê sau đây sẽ đưa ra một số ưu nhược điểm của hai cấu trúc

Đánh giá phương pháp vector

+) Trình bầy tốt các cấu trúc dữ liệu

dị thường

+) Nén cấu trúc dữ liệu

+) Các topology có thể được miêu tả

toàn bộ với mạng lưới liên kết

-) Sự tổng hợp của một vài polygon bản

đồ vector hay polygon bản đồ raster thông qua việc tạo overlay là khó khăn

-) Việc tái tạo lại khó bởi vì mỗi đơn vị

có một hình thức topology khác nhau -) Hiển thị và vẽ là đắt, đặc biệt là với chất lượng cao và nhiều mầu

-) Công nghệ đắt, đặc biệt đối với phần mềm và phần cứng đòi hỏi tinh tế

-) Phân tích không gian và lọc mảnh polygon là không thể được

Bảng II.1: Bảng đánh giá phương pháp vector

Đánh giá phương pháp raster

+) Cấu trúc dữ liệu đơn giản

+) Việc chồng lớp và kết hợp dữ liệu bản

đồ và dữ liệu viễn thám dễ dàng

+) Việc phân tích không gian của các

loại biến đổi dễ dàng

+) Tái tạo dễ dàng vì mỗi đơn vị không

-) Bộ nhớ chứa các dữ liệu đồ hoạ lớn

-) Việc sử dụng các ô lưới để giản ước dung lượng chứa dữ liệu chủ yếu mà cấu trúc ghi nhận các điểm dị tường có thể bị mất, điều đó có thể làm mất đi một loạt các thông tin

-) Các bản đồ raster thô không đẹp bằng

gian có kích thước và hình dáng như

nhau

+) Công nghệ dễ và đang phát triển

mạnh mẽ

các bản đồ được vẽ bằng các đường nét tinh chỉnh

-) Liên kết mạng lưới khó khăn

-) Việc chuyển đổi lưới chiếu nhiều thời gian trong khi thiếu các giải thuật đặc biệt hay phần cứng được dùng

Bảng II.2: Bảng đánh giá phương pháp raster

So sánh giữa phương pháp raster và vector

Bảng II.3: Bảng so sánh giữa hai phương pháp raster và vector

Từ sự đánh giá, so sánh trên và theo nhu cầu thực tế, thường chủ yếu sử dụng cấu trúc vector còn cấu trúc raster chỉ nhằm mục đích minh hoạ thêm