Thực trạng công tác quản lý dữ liệu vi mô của một số cuộc điều tra trong tổng cục thống kê

Nghiên cứu phần mềm Quản lý dữ liệu vi mô, nghiên cứu khả năng ứng dụng phần mềm này vào việc lưu trữ thông tin của các cuộc điều tra của Tổng cục Thống kê. Đánh giá việc quản lý dữ liệu vi mô của một số cuộc điều tra trong Tổng cục Thống kê; Thử nghiệm phần mềm Quản lý dữ liệu vi mô cho Khảo sát mức sống hộ gia đình năm 2006 và Tổng điều tra Nông thôn, Nông nghiệp và Thủy sản năm 2006

TỔNG CỤC THỐNG KÊ

BÁO CÁO CHUYÊN ĐỀ

“Thực trạng công tác quản lý dữ liệu vi mô của một số cuộc điều tra

HÀ NỘI, NĂM 2008

Mục lục

Lời nói đầu 3

1 Hiện trạng về thiết bị tin học, hạ tầng truyền thông, phần mềm hệ thống và việc ứng dụng CNTT trong ngành Thống kê 4

a Cơ sở hạ tầng công nghệ thông tin ngành Thống kê 4

b Ứng dụng CNTT trong việc truyền số liệu 6

c Ứng dụng CNTT trong xử lý số liệu điều tra 7

d Ứng dụng CNTT trong xây dựng CSDL và phổ biến số liệu 7

2 Hiện trạng việc thu thập số liệu và việc quản lý CSDL vi mô của một số cuộc điều tra tại ngành Thống kê 8

a Số liệu tổng điều tra dân số và nhà ở 1999 8

b Số liệu TĐT nông thôn nông nghiệp và thủy sản năm 2001 15

c Số liệu TĐT cơ sở kinh tế-hành chính sự nghiệp năm 2002 16

d Số liệu điều tra biến động dân số hàng năm 17

e Số liệu điều tra khảo sát mức sống hộ gia đình 19

f Số liệu điều tra Doanh nghiệp: 20

3 Đánh giá hiện trạng 20

Kết luận và kiến nghị 23

Lời nói đầu

Với tốc độ phát triển mang tính bùng nổ của CNTT, việc ứng dụng Tin học đã chuyển từ vai trò thúc đẩy “cách mạng quản lý” sang làm nền tảng cho nền kinh tế xã hội mới – “xã hội thông tin” Nhất là từ khi mạng Internet ra đời liên kết hàng triệu máy tính trên toàn cầu, tăng khả năng khai thác các nguồn thông tin trên khắp mọi nơi, tại mọi thời điểm cho hàng trăm triệu người dùng thì CNTT không chỉ còn là phương tiện kỹ thuật đơn thuần nữa, mà nó đã trở thành một môi trường mới cho mọi hoạt động kinh tế, văn hoá, xã hội

Trong ngành Thống kê, số liệu đã trở thành nguồn lực (tin lực) có vai trò to lớn trong việc thúc đẩy sự phát triển của nền kinh tế Quốc gia Do vậy việc xây dựng CSDL tập trung là hết sức quan trọng và cần thiết Nằm trong khuôn khổ xây dựng các CSDL Quốc gia của nhà nước, CSDL vi mô của các cuộc điều tra trở thành một công cụ rất hữu hiệu trong hỗ trợ công tác quản lý, điều hành, ra quyết định của các cấp lãnh đạo, các nhà hoạch định chính sách trong ngành Thống kê và các cơ quan đơn vị liên quan

Cơ sở dữ liệu vi mô là CSDL lưu trữ và tạo các công cụ khai thác thông tin từ các phiếu điều tra, chế độ ban đầu phát sinh từ đơn vị kinh tế

mô

Tuy nhiên, thông tin về các cuộc điều tra nói trên mới phản ánh được một số linh vực kinh tế -xã hội ở thời điểm nhất định (thời điểm điều tra) Nhưng những thông tin thường xuyên phục vụ việc lập các báo cáo thống

kê hàng tháng, quý, năm về các hoạt động kinh tế-xã hội phục vụ các nhu cầu của người dùng tin thì chưa được tin học hóa cả ở hệ thống thống kê tập trung (Hệ thống thống kê do Tổng cục Thống kê thực hiện) và hệ thống thống kê do các Bộ, ngành thực hiện do vậy chưa xây dựng được các CSDL (từ năm 2005, Tổng cục mới giao cho các Trung tâm Tin học phối hợp với các Vụ triển khai tin học hóa hệ thống này ở hệ thống thống kê tập trung)

Trong khuôn khổ của chuyên đề này, chúng tôi chỉ đề cập đến việc đánh giá được hiện trạng và nhu cầu cho công tác lưu trữ và quản lý dữ liệu

vi mô của các đơn vị thực hiện một số cuộc điều tra trong Tổng cục thống

kê Phân tích được hiện trạng và đánh giá được sự cần thiết phải lưu trữ và quản lý dữ liệu vi mô

1 Hiện trạng về thiết bị tin học, hạ tầng truyền thông, phần mềm hệ thống và việc ứng dụng CNTT trong ngành Thống kê

a Cơ sở hạ tầng công nghệ thông tin ngành Thống kê

Ngành Thống kê có hệ thống cơ sở hạ tầng về CNTT rất tốt Các máy tính có cấu hình mạnh, đã có mạng LAN tại TCTK và mạng WAN toàn ngành Phần mềm hệ thống được sử dụng của Microsoft

- Máy chủ

Cache 512, DDR 1GB, HDD 4 x 18,2GB

2

2 IBM X253 2CPU x Xeon 2.8GHz 400MHz,

Cache 512, DDR 1GB, HDD 4 x 36GB

2

Cache 512, DDR 2GB, HDD 6 x 73GB

1

Cache 512, DDR 1GB, HDD 6 x 73GB

1

Cache 512, DDR 1GB, HDD 4 x 73GB

1

Cache 512, DDR 1GB, HDD 4 x 143GB

3

- Máy trạm

1 HP D240 Procesor: Intel Pentium IV 3.06

GHz; RAM: 256MB DDR PC3200; Chipset: Intel 845GV;

- Đường truyền Internet tốc độ cao:

Tổng cục Thống kê có 2 đường truyền internet tốc độ cao đó là: đường cáp quang và đường SHSL 2M được thuê từ nhà cung cấp dịch vụ Cục bưu điện Trung ương

- Phần mềm hệ thống:

Máy chủ : Microsoft Windows Server 2003 64bit

Máy trạm: Microsoft Windows XP và Microsoft Windows Vista

- Phần mềm văn phòng: Microsoft Office 2003 và Microsoft Office XP

- Phần mềm diệt virus: Symantec Antivirus 10.1 Net

- Hệ thống thư tín điện tử (E-Mail): MDeamon

- Hệ thống truyền và nhận file (Ftp): ServerU và Ftp của Microsoft

b Ứng dụng CNTT trong việc truyền số liệu

Việc tin học hoá công tác xử lý và truyền đưa số liệu của một số lĩnh vực công tác thống kê được duy trì, hoàn thiện và phát triển đã góp phần

nâng cao hiệu quả công tác, chất lượng số liệu và rút ngắn thời gian báo cáo Mạng GSO phát huy tác dụng trong việc truyền đưa số liệu, phổ biến nhanh các văn bản, tài liệu hướng dẫn của Tổng cục đến các địa phương Thư tín điện tử đã được sử dụng, tạo điều kiện để giải quyết nhanh và hiệu quả các công việc Trang WEB thống kê được duy trì trên mạng intranet, tiến hành công tác quản trị mạng và cập nhật thông tin trên trang WEB

c Ứng dụng CNTT trong xử lý số liệu điều tra

 Xử lý số liệu Tổng điều tra nông thôn, nông nghiệp với 12,4 triệu phiếu điều tra từ 12,4 triệu hộ gia đình

 Xử lý số liệu Tổng điều tra các cơ sở kinh tế - hành chính sự nghiệp cho 2,3 triệu đơn vị kinh tế - hành chính, sự nghiệp

 Xử lý số liệu chọn mẫu nhân khẩu học nhiều vòng với trên 1,5 triệu nhân khẩu và 200 ngàn hộ gia đình Xử lý số liệu điều tra chọn mẫu

hộ gia đình đa mục tiêu với 40 ngàn hộ gia đình được chọn mẫu cho mỗi năm

 Xử lý số liệu điều tra Lao động và Việc làm với khoảng 120 ngàn hộ gia đình chọn mẫu cho mỗi năm

 Xử lý số liệu Tổng điều tra Dân số và Nhà ở năm 1999 với gần 17 triệu hộ gia đình và trên 76 triệu nhân khẩu

 Xử lý số liệu điều tra Doanh nghiệp hàng năm

 Và xử lý số liệu rất nhiều cuôc điều tra khác…

d Ứng dụng CNTT trong xây dựng CSDL và phổ biến số liệu

Ứng dụng công nghệ thông tin trong xử lý và lưu giữ số liệu các cuộc điều tra: đã thí điểm xây dựng CSDL cho 4 phân hệ sau: thống kê giá cả, thống kê công nghiệp, thống kê thương mại, thống kê nông nghiệp Trong năm 2000, các CSDL vi mô TĐTDS và Nhà ở cũng đã được xây dựng để lưu giữ dữ liệu gốc 3%, lưu giữ dữ liệu gốc 100% và khai thác

qua hệ quản trị CSDL quan hệ SQL Server Hoàn thành việc xử lý và xây dựng cơ sơ dữ liệu Tổng điều tra nông thôn, nông nghiệp và thuỷ sản Cùng với báo cáo tổng hợp được xuất bản dưới dạng ấn phẩm, đã sản xuất các đĩa CD-ROM về kết quả tổng điều tra của cả nước và của các địa phương

Cùng với báo cáo tổng hợp được xuất bản dưới dạng ấn phẩm, Tổng cục Thống kê cũng như các Cục Thống kê đã sản xuất các đĩa CD-ROM về niên giám, kết quả các cuộc tổng điều tra, điều tra của cả nước và của các địa phương Đã có nhiều số liệu được đưa lên mạng intranet để sử dụng

2 Hiện trạng việc thu thập số liệu và việc quản lý CSDL vi mô của một

số cuộc điều tra tại ngành Thống kê

Nguồn số liệu:

Thông tin thống kê định kỳ: tháng, quí, năm tổng hợp từ hệ thống báo cáo thống kê Tại TCTK, các thông tin này được tổng hợp từ hệ thống báo cáo thống kê của các Cục Thống kê tỉnh/thành phố và báo cáo thống kê thu thập được từ các Bộ, ngành

Thông tin tổng hợp, phân tích, dự báo từ các cuộc điều tra thống kê hoặc từ một số hệ cơ sở dữ liệu vi mô của một vài ngành khác (số liệu thuế của Bộ Tài chính, số liệu xuất nhập khẩu của Hải quan…)

a Số liệu tổng điều tra dân số và nhà ở 1999

Tổng điều tra Dân số và nhà ở (TĐTDS&NƠ) 1-4-1999 thu thập số liệu của gần 17 triệu hộ với trên 76 triệu nhân khẩu Phiếu điều tra gồm 26 câu hỏi cho phiếu dài (điều tra mẫu) và 18 câu hỏi cho phiếu ngắn (điều tra toàn bộ)

Việc xử lý số liệu được thực hiện trên các hệ thống máy tính PC nối mạng nội bộ Chương trình nhập, kiểm tra và sửa dữ liệu được phát triển bằng phần mềm ISSA, chương trình hiệu đính và tổng hợp phát triển trong phần mềm IMPS (CONCOR và CENTS) Các chương trình này được tích

hợp chung trong một hệ thống thống nhất quản lý toàn bộ luồng dữ liệu, công việc, người dùng Dữ liệu vi mô là các tệp ký tự ASCII với nhiều loại bản ghi trong cùng một tệp Hiện tại các tệp dữ liệu này vẫn được tiếp tục lưu giữ và sử dụng để tổng hợp các biểu, chỉ tiêu đặc biệt khi có các yêu cầu đột xuất của ngành Dung lượng tệp dữ liệu vi mô dạng ký tự ASCII của điều tra mẫu 3% là 162 MB, còn điều tra toàn bộ là 4860 MB

Sau khi hoàn thành việc xử lý tổng hợp, dữ liệu vi mô được ghi trên các đĩa CD-ROM kèm theo các công cụ khai thác, chuyển đổi, tổng hợp

Có nhiều loại đĩa CD-ROM đã được phát hành: đĩa của phần điều tra mẫu 3% chung toàn quốc, đĩa 100% theo từng tỉnh (mỗi tỉnh một đĩa riêng) phục vụ cho việc cung cấp số liệu cho các người dùng trong và ngoài ngành Dữ liệu vi mô trên các đĩa CD-ROM này là các dạng tệp ký tự ASCII nhưng có kèm theo công cụ cho phép chuyển đổi sang SPSS, ACCESS và dạng tệp ký tự phẳng (tách riêng các loại bản ghi khác nhau)

và tùy chọn khuôn thức theo yêu cầu của người dùng để thuận tiện cho việc chuyển đổi vào các môi trường / phần mềm khác

Dữ liệu vi mô toàn quốc cũng được chuyển đổi và quản lý trong cơ

sở dữ liệu mô hình quan hệ trong hệ quản trị CSDL SQL Server, gồm một CSDL vi mô mẫu 3% và một CSDL vi mô toàn bộ 100% Cơ sở dữ liệu bao gồm dữ liệu và siêu dữ liệu về cấu trúc, tên biến, các danh mục liên quan cùng với những hướng dẫn về việc chiết xuất, khai thác dữ liệu CSDL hiện đang lưu giữ tại Trung tâm tích hợp dữ liệu TCTK và cho phép truy cập trong mạng nội bộ của TCTK

Kết quả tổng hợp kết quả TĐTDS&NƠ 1999 cũng hai hệ thống: 1)

hệ thống gồm 21 biểu của điều tra mẫu tổng hợp cho các cấp toàn quốc, vùng và tỉnh; và 2) hệ thống biểu cho điều tra toàn bộ gồm 56 biểu tổng hợp cho các cấp toàn quốc, vùng, tỉnh, huyện, xã Các hệ thống biểu tổng hợp cũng đã được xây dựng thành các cơ sở dữ liệu vĩ mô thiết kế trong

môi trường SQL Server Công cụ khai thác, tìm kiếm dữ liệu là ứng dựng Windows

Các hệ thống biểu tổng hợp này cũng được xây dựng thành các đĩa CD-ROM để cung cấp cho những người sử dụng khác nhau: đĩa CD-ROM kết quả toàn diện cho cấp toàn quốc, đĩa số liệu và kết quả mẫu cấp toàn quốc và các đĩa CD-ROM cấp tỉnh (chung cả dữ liệu vi mô và vĩ mô), đĩa CD-ROM với hệ thống thông tin địa địa lý (GIS) với bản đồ và các thông tin tổng hợp đến cấp huyện Trên các đĩa CD-ROM này có cả các siêu dữ liệu tham chiếu (reference metadata) như: các tài liệu, văn bản liên quan đến cuộc tổng điều tra, mẫu phiếu điều tra, sổ tay hướng dẫn điều tra, báo cáo phân tích,…

Danh sách các đầu biểu tổng hợp trong TĐTDS 1999:

1 Dân số chia theo giới tính và đơn vị hành chính

2 Dân số chia theo loại quan hệ với chủ hộ và đơn vị hành chính

3 Số hộ chia theo số người trong hộ và đơn vị hành chính

4 Dân số chia theo độ tuổi và giới tính

5 Dân số chia theo nhóm tuổi và giới tính

6 Dân số chia theo dân tộc và giới tính

7 Dân số chia theo dân tộc, nhóm tuổi và giới tính

8 Dân số chia theo tôn giáo và giới tính

9

Dân số từ 5 tuổi trở lên chia theo nơi thực tế thường trú tại 31/03/1994 và 31/03/1999 và giới tính

12 Luồng di cư nông thôn thành thị chia theo nhóm tuổi và giới tính

13 Dân số từ 13 tuổi trở lên chia theo TTHN, nhóm tuổi và giới tính

14 Dân số từ 13 tuổi trở lên chia theo TTHN, nhóm tuổi, giới tính và dân tộc

15 Dân số từ 13 tuổi trở lên chia theo TTHN, nhóm tuổi, giới tính và tôn giáo

20 Dân số từ 5 tuổi trở lên chia theo trình độ học vấn, nhóm tuổi và giới tính

21 Dân số từ 5 tuổi trở lên chia theo trình độ học vấn, nhóm tuổi và giới tính

24 Dân số từ 5 tuổi trở lên chia theo tôn giáo, giới tính và trình độ học vấn

35 Dân số từ 13 tuổi trở lên chia theo dân tộc, giới tính và cấp TĐCMKT

36 Dân số từ 13 tuổi trở lên chia theo tôn giáo, giới tính và cấp TĐCMKT

37 Dân số từ 13 tuổi trở lên chia theo loại hoạt động, giới tính và cấp

42 Số hộ chia theo tình trạng nhà ở, loại nhà đang ở và đơn vị hành chính

- Các tỷ suất sinh, chết, tăng tự nhiên dân số

- Tỷ lệ giới tính khi sinh và tỷ suất sinh đặc trưng

Tóm lại, với dữ liệu TĐTDS&NƠ 1999, có thể lựa chọn một trong những nguồn / hệ thống dưới đây để chuyển vào kho dữ liệu:

 Dữ liệu vi mô:

 Các tệp dữ liệu ký tự ASCII lưu giữa tại Trung tâm Tin học Thông kê,

 Bộ đĩa CD-ROM: đĩa 3% toàn quốc và đĩa CD-ROM các tỉnh,

 CSDL vi mô SQL Server

 Dữ liệu kết quả vĩ mô:

 Các đĩa CD-ROM có chứa các biểu tổng hợp

 CSDL kết quả vĩ mô

b Số liệu TĐT nông thôn nông nghiệp và thủy sản năm 2001

TĐTNTNN&TS có thể coi là một nguồn dữ liệu phong phú và chi tiết cho thống kê xã hội với những thông tin về cơ sở hạ tầng kinh tế xã hội khu vực nông thôn, điều kiện môi trường sống, mức sống, lao động nông nghiệp

Dữ liệu vi mô và vĩ mô của hai cuộc TĐTNTNN&TS các năm 2001 và

2006 được lưu giữ đầy đủ với nhiều dạng khuôn mẫu, vật lưu tin khác nhau

Dữ liệu TĐTNTNN&TS năm 2001 hiện có các dang lưu giữ sau:

 Các tệp dữ liệu vi mô ngay sau nhập tin, hiệu chỉnh dạng FoxPro của tất cả các loại phiếu điều tra;

 Đĩa CD-ROM dữ liệu vi mô phiếu “Cơ sở hạ tầng xã” toàn quốc dạng tệp ký tự ASCII có kèm theo công cụ chuyển đổi sang các dạng phổ biến khác như ACCESS, tệp phẳng;

 Đĩa CD-ROM kết quả tổng hợp gồm hệ thống các biểu tổng hợp các cấp;

 Đĩa CD-ROM cấp tỉnh (mỗi tỉnh một đĩa) dữ liệu và kết quả TĐTNTNN&TS có chứa dữ liệu vi mô của hai loại phiếu điều tra: phiếu hộ và phiếu xã có thể chuyển đổi dang các khuôn dạng khác,

hệ biểu tống hợp kết quả của tỉnh;

 CSDL dạng SQL Server toàn quốc lưu giữ dữ liệu vi mô của hai loại phiếu điều tra hộ và xã

Dữ liệu TĐTNTNN&TS năm 2006 cũng được lưu giữ, phân phát dưới các dạng tương tự như năm 2001 như; các tệp dữ liệu gốc FoxPro, các tệp

dữ liệu ký tự ASCII, các loại đĩa CD-ROM dữ liệu và kết quả, CSDL dạng SQL Server quản lý tại TTTHDL TCTK Khác biệt chính giữa dữ liệu của hai cuộc tổng điều tra này là: nếu năm 2001 các sản phẩm CD-ROM và CSDL vi mô chỉ được phát triển cho hai loại phiếu hộ và xã thì năm 2006,

dữ liệu vi mô của tất cả các loại phiếu điều tra đều được xây dựng CSDL SQL Server và đĩa CD-ROM Ngoài ra trong TĐTNTNN&TS năm 2006, công cụ khai thác dữ liệu trong môi trường web còn được phát triển tạo điều kiện thuận tiện cho người dùng tạo lập các thống kê từ nguồn dữ liệu này

c Số liệu TĐT cơ sở kinh tế-hành chính sự nghiệp năm 2002

Cuộc Tổng điều tra các cơ sở kinh tế, hành chính, sự nghiệp 2002 đã được Tổng cục Thống kê tiến hành trên phạm vi cả nước Đối tượng của Tổng điều tra là toàn bộ các cơ sở đang hoạt động tại thời điểm 1/7/2002 ở

cả hai lĩnh vực: sản xuất kinh doanh và hành chính sự nghiệp Kết quả điều tra có 10.793.376 lao động làm việc trong 2.880.004 cơ sở

Dữ liệu tổng điều tra cơ sở kinh tế-hành chính sự nghiệp năm 2002 hiện

có các dạng lưu giữ sau:

 Các tệp dữ liệu vi mô ngay sau nhập tin, hiệu chỉnh dạng FoxPro của tất cả các loại phiếu điều tra;

 Đĩa CD-ROM dữ liệu vi mô toàn quốc dạng tệp ký tự ASCII có kèm theo công cụ chuyển đổi sang các dạng phổ biến khác như ACCESS, tệp phẳng;

 Đĩa CD-ROM kết quả tổng hợp gồm hệ thống các biểu tổng hợp các cấp;