DSpace at VNU: Giải pháp mạng lưu trữ SAN và công nghệ fibre channel áp dụng cho xây dựng mạng lưu trữ tại kho lưu trữ t...
Trang 1ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
- -
BÙI CÔNG CƯỜNG
GIẢI PHÁP MẠNG LƯU TRỮ SAN
VÀ CÔNG NGHỆ FIBRE CHANNEL
ÁP DỤNG CHO XÂY DỰNG MẠNG LƯU TRỮ TẠI
KHO LƯU TRỮ TRUNG ƯƠNG ĐẢNG
LUẬN VĂN THẠC SỸ
Hà Nội - 2007
Trang 2ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Bùi Công Cường
GIẢI PHÁP MẠNG LƯU TRỮ SAN
VÀ CÔNG NGHỆ FIBRE CHANNEL
ÁP DỤNG CHO XÂY DỰNG MẠNG LƯU TRỮ TẠI
KHO LƯU TRỮ TRUNG ƯƠNG ĐẢNG
Ngành Công nghệ Điện tử-Viễn thông Chuyên ngành Kỹ thuật vô tuyến điện tử và thông tin liên lạc
Mã số 2.07.00
LUẬN VĂN THẠC SỸ Người hướng dẫn khoa học: PGS.TS Vương Đạo Vy
Hà Nội - 2007
Trang 3LỜI CẢM ƠN
Tôi xin trân trọng cám ơn PGS.TS Vương Đạo Vi, Thầy đã chỉ ra hướng nghiên cứu và đóng góp những ý kiến để tôi có thể hoàn thành luận văn Thầy
đã truyền cho tôi phương pháp vận dụng kiến thức khoa học để nghiên cứu và trình bầy luận văn
Tôi xin trận trọng cám ơn Văn phòng Trung ương Đảng, nơi tối đang công tác, đã tạo điều kiện để tôi tham gia nghiên cứu giải pháp để xây dựng Kho lưu trữ điện tử -Văn phòng Trung ương theo Dự án tin học hoá hoạt động của Văn phòng Trung ương Đảng
Tôi cúng rất biết ơn những đồng nghiệp ở Công ty HP Việt Nam, Công
ty IBM Việt Nam, Trung tâm hỗ trợ và giải pháp hệ thống FPT, Công ty CMC đã thường xuyên trao đổi thông tin và thảo luận các giải pháp áp dụng
để xây dựng mạng lưu trữ cho Kho lưu trữ điện tử - Văn phòng Trung ương Đảng
Tôi xin chấn thành cám ơn bạn bè, đồng nghiệp, người thân đã giúp đỡ, khích lệ tôi trong quá trình nghiên cứu và thực hiện luận văn này
Tôi hy vọng những nghiên cứu trong luận văn này sẽ đóng góp các giải pháp tối ưu cho mạng lưu trữ cho Kho lưu trữ điện tử-Văn phòng Trung ương Đảng
Do thời gian và trình độ có hạn chắc chắn luận văn vẫn còn thiếu sót, tôi rất mong sự đóng góp của các Thầy cũng như đồng nghiệp
Tác giả
Bùi Công Cường
Trang 4BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT
ACK Acknowledment - Một gói tin được gửi bởi bên nhận để
xác nhận dữ liệu đã nhận
ANSI tổ chức Americal National Standards Institute
ATM Asynchronous Tranfer Mode
BER Tỷ lệ lỗi bít-
Block Khối - Một đơn vị dữ liệu
CDB Command Descriptor Block - Khối mô tả lệnh và tham số
dùng trong giao thức SCSL
CRC Cyclic Redundant Check - mã dư thừa vòng
DAS Direct Attach Storage - thiết bị lưu trữ gắn trực tiếp
ESP Encapsulating Security Payload – ESP header được thiết
kế để cung các các dịch vụ an ninh kết hợp trrong IPv4
FC Fibre Channel - bộ chuyển mạch kênh quang
FC SAN Fibre Channel Storage Area Network - Mạng lưu trữ dựa
trên bộ chuyển mạch kênh quang
FCP Fibre Channel Protocol – giao thức kênh quang
FCIP Fibre Channel over IP
FSPF Fabric shortest path first
GBIC Gigabit Interface Converter
HBA Host Bus Adapter – Các điều hợp
IETF Tổ chức Internet Engineering Task Force
iFCP Internet FCP – giao thức FCP dựa trên nền tảng TCP/IP
IP Internet Protocol – giao thức Internet
IP SAN SAN dựa trên nền tảng IP
IPSec IPSecurity- Giao thức xác thực và mã hoá dữ liệu
IP Storage Thiết bị lưu trữ dựa trên nền tảng IP
iSCSI Internet SCSI- Giao thức SCSI dựa trên nền tảng IP
ISL interswitch link- liên chuyển mạch
JBOD Just a Bunch of Disk-Một tập các đĩa được cấu hình dựa
trên kiến trúc vòng kênh quang
LAN Local Area Network - Mạng cục bộ
Trang 5LUN Logic Unit Number – Số đơn vị logic
MMF Multimode fiber – Cáp đa mode
NAS Network Attach Storage-phương pháp lưu trữ dữ liệu sử
dụng các thiết bị lưu trữ gắn trực tiếp vào mạng LAN Network portal Cổng mạng (bao gồm : địa chỉ IP+số hiệu cổng TCP) NIC Network Interface Card - bộ điều hợp mạng
Node Nút mạng, có thể làm một máy chủ hay một thiết bị cuối PCI Peripheral Component Interconnect - khe cắm mở rộng PDU Protocol Data Unit: đơn vị dữ liệu của giao thức dữ liệu PLOGI Tiến trình đăng nhập cổng - cổng để xác lập phiên làm
việc giữa hai thiết bị cuối kênh quang
Point-Point Point To Point - Kết nối từ điểm đến điểm
Port Thực thể vật lý dùng để kết nối một nút vào mạng
Portal Một đối tượng iSNS sử dụng địa chỉ IP và số hiệu cổng
TCP để nhận diện IP Storage nguồn được gắn vào mạng QoS Quality of Service-chất lượng dịch vụ Dịch vụ phân phối
gói tin dựa trên tham số: xác thực, độ ưu tiên, băng thông RAID Redundant Array of Independent Drive - Một tập các đĩa
được cấu hình dựa trên mảng đĩa SCSI Small Computer System Interface - chuẩn giao tiếp hỗ trợ
vận chuyển khối dữ liệu lớn dựa trên kiến trúc song song SMF Single mode fiber – cáp đơn mode
SNIA Hiệp hội Storage Network Industry Association
SONET Synchronous Optical Network-mạng đồng bộ quang TCP/IP Transmition Control Protocol/Internet Protocol – Giao
thức được sử dụng trong mạng Internet
Topo Topology - Kiến trúc liên kết mạng
ULP Upper Layer Protocol
VLAN Mạng LAN ảo, mạng logic trong một mạng vật lý
WAN Wide Area Network - Mạng diện rộng
WWUI World Wide Unique Identifier- là tên của thiết bị
WWN (World Wide Name) Địa chỉ cứng của thiết bị cuối kênh
quang Địa chỉ này là duy nhất có độ dài 64 bit
Trang 6BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT
ACK Acknowledment Một gói tin được gửi bởi bên nhận
để xác nhận dữ liệu đã nhận
ANSI Americal National Standards
Institute
Tổ chức Americal National Standards Institute
ATM Asynchronous Tranfer Mode
CDB Command Descriptor Block Khối mô tả lệnh và tham số dùng
trong giao thức SCSL
CRC Cyclic Redundant Check Mã dư thừa vòng
DAS Direct Attach Storage Thiết bị lưu trữ gắn trực tiếp
EOF End of Frame
ESP Encapsulating Security
Payload
ESP header được thiết kế để cung các các dịch vụ an ninh kết hợp trrong IPv4
FC Fibre Channel Bộ chuyển mạch kênh quang
FC SAN Fibre Channel Storage Area
Network
Mạng lưu trữ dựa trên bộ chuyển mạch kênh quang
FCP Fibre Channel Protocol Giao thức kênh quang
FCIP Fibre Channel over IP
FSPF Fabric shortest path first
GBIC Gigabit Interface Converter
HBA Host Bus Adapter Các điều hợp
IETF Internet Engineering Task
Force
Tổ chức Internet Engineering Task Force
iFCP Internet FCP Giao thức FCP dựa trên nền tảng
TCP/IP
IP Internet Protocol Giao thức Internet
IPSec IPSecurity Giao thức xác thực, mã hoá dữ liệu
IP
Storage
Thiết bị lưu trữ dựa trên nền tảng IP I/O Input/Output
Trang 7iSCSI Internet SCSI Giao thức SCSI dựa trên nền tảng IP ISL interswitch link Liên chuyển mạch
JBOD Just a Bunch of Disk Một tập các đĩa được cấu hình dựa
trên kiến trúc vòng kênh quang LAN Local Area Network Mạng cục bộ
LUN Logic Unit Number Số đơn vị logic
NAS Network Attach Storage Phương pháp lưu trữ dữ liệu sử
dụng các thiết bị lưu trữ gắn trực tiếp vào mạng LAN
Network
portal
Cổng mạng (bao gồm : địa chỉ IP+số hiệu cổng TCP)
NIC Network Interface Card Bộ điều hợp mạng
hay một thiết bị cuối
PCI Peripheral Component
Interconnect
Khe cắm mở rộng
PDU Protocol Data Unit Đơn vị dữ liệu của giao thức dữ
liệu
để xác lập phiên làm việc giữa hai thiết bị cuối kênh quang
Point-Point
Point To Point Kết nối từ điểm đến điểm
nút vào mạng
chỉ IP và số hiệu cổng TCP để nhận diện IP Storage nguồn được gắn vào mạng
QoS Quality of Service Chất lượng dịch vụ Dịch vụ phân
phối gói tin dựa trên tham số: xác thực, độ ưu tiên, băng thông
RAID Redundant Array of
Independent Drive
Một tập các đĩa được cấu hình dựa trên mảng đĩa
SCSI Small Computer System
Interface
Chuẩn giao tiếp hỗ trợ vận chuyển khối dữ liệu lớn dựa trên kiến trúc song song
Trang 8SMF Single mode fiber Cáp đơn mode
SNIA Storage Network Industry
Association
Hiệp hội SNIA
SONET Synchronous Optical
Network
Mạng đồng bộ quang
TCP/IP Transmition Control
Protocol/Internet Protocol
Giao thức đƣợc sử dụng trong mạng Internet
ULP Upper Layer Protocol
một mạng vật lý
WAN Wide Area Network Mạng diện rộng
WWUI World Wide Unique
Identifier
Tên của thiết bị
WWN World Wide Name Địa chỉ cứng của thiết bị cuối kênh
quang Địa chỉ này là duy nhất có
độ dài 64 bit
MỤC LỤC
Trang 9TRANG PHỤ BÌA
MỤC LỤC
BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT
MỞ ĐẦU 10
CHƯƠNG 1 GIỚI THIỆU VỀ MẠNG LƯU TRỮ Error! Bookmark not
defined
1.1 Khái niệm mạng lưu trữ Error! Bookmark not defined 1.2 Công nghệ và thách thức trong lưu trữ điện tử Error! Bookmark not
defined
1.3 Lịch sử phát triển của các giải pháp lưu trữ Error! Bookmark not
defined
1.4 Các đặc trưng cơ bản của mạng lưu trữ Error! Bookmark not defined
1.4.1 Cấu trúc và thành phần của mạng lưu trữ Error! Bookmark not
defined
1.4.2 Tiêu chí kỹ thuật của mạng lưu trữ Error! Bookmark not defined 1.4.3 Giải pháp của mạng lưu trữ Error! Bookmark not defined
1.5 Kết luận chương 1 Error! Bookmark not defined CHƯƠNG 2 CÔNG NGHỆ MẠNG LƯU TRỮ SAN Error! Bookmark not
defined
2.1 Công nghệ truyền thông trong mạng lưu trữ Error! Bookmark not
defined
2.1.1 Giao thức SCSI Error! Bookmark not defined 2.1.2 Giao thức truyền thông Fibre Channel Error! Bookmark not defined 2.1.3 Giao thức truyền thông iSCSI Error! Bookmark not defined 2.1.4 So sánh công nghệ truyền thông Error! Bookmark not defined
2.2 Mạng lưu trữ FC SAN Error! Bookmark not defined
2.2.1 Kiến trúc ghép nối trong mạng lưu trữ FC SAN Error! Bookmark not
defined
2.2.2 Cấu trúc và thành phần mạng lưu trữ FC SAN Error! Bookmark not
defined
2.2.3 Ứng dụng của công nghệ Fibre Channel trong FC SAN Error!
Bookmark not defined
2.3 Mạng lưu trữ IP SAN Error! Bookmark not defined
2.3.1 Ứng dụng công nghệ iSCSI cho mạng lưu trữ SAN Error! Bookmark
not defined
2.3.2 Đặc điểm của mạng IP SAN Error! Bookmark not defined
Trang 102.4 Kết luận chương 2 Error! Bookmark not defined
CHƯƠNG 3 THIẾT KẾ MẠNG LƯU TRỮ CHO KHO LƯU TRỮ ĐIỆN
TỬ CỦA VĂN PHÒNG TRUNG ƯƠNG Error! Bookmark not defined 3.1 Phương pháp thiết kế mạng lưu trữ Error! Bookmark not defined 3.2 Thiết kế mạng lưu trữ cho Kho lưu trữ điện tử của VPTW Error!
Bookmark not defined
3.2.1 Hiện trạng công nghệ thông tin tại VPTW Error! Bookmark not
defined
3.2.2 Mục tiêu của Dự án, phạm vi nghiên cứu của luận văn Error!
Bookmark not defined
3.2.3 Lựa chọn công nghệ cho mạng lưu trữ SAN Error! Bookmark not
defined
3.2.4 Tính toán cấu hình cho cho mạng lưu trữ Error! Bookmark not
defined
3.2.5 Tiêu chí kỹ thuật đối cho giải pháp mạng lưu trữ Error! Bookmark not
defined
3.2.6 Đề xuất các giải pháp mạng lưu trữ SAN Error! Bookmark not
defined
KẾT LUẬN Error! Bookmark not defined
TÀI LIỆU THAM KHẢO 13
Trang 11MỞ ĐẦU Máy tính dựa vào thông tin Thông tin là tài nguyên cơ bản cho tất cả quá trình xử lý máy tính đặt cơ sở trên đó Thông tin được lưu trong các phương tiện lưu trữ, được truy cập bởi các ứng dụng thực thi trong máy chủ Thông tin được tạo ra và thu được mỗi giây, mỗi ngày Thường thông tin là tài sản của các doanh nghiệp/cơ quan/tổ chức (gọi chung là doanh nghiệp) Thông tin là tiền tệ trong thương mại Để đảm bảo tất cả giao dịch thương mại đạt kết quả cần phải có được thông tin chính xác, nhanh chóng Việc quản lý
và bảo vệ thông tin thương mại là sự sống còn cho giá trị trong kinh doanh Theo thống kê của Đại học California (Mỹ) ngày 1-10-2004, trong năm
2001, toàn thế giới sản xuất ra một lượng thông tin cần lưu trữ tương đương 6
tỉ gigabyte (GB), tức là 1 GB cho mỗi người trên trái đất Trong năm 2005-
2006, lượng thông tin được tạo ra là 57 tỉ GB, lớn hơn toàn bộ lượng thông tin
đã sản sinh ra trong toàn bộ lịch sử loài người trước đó Có thể nhận thấy, một cuộc bùng nổ thông tin lớn chưa từng có đang diễn ra và công nghệ lưu trữ sẽ mang tính quyết định cho việc thu thập, chứa đựng và xử lý số thông tin đó sao cho hiệu quả, nếu không chúng ta sẽ rơi vào tình trạng hỗn loạn thông tin Trong thời đại hiện nay, hoạt động và sự thành công trong hoạt động của hầu hết các doanh nghiệp, phụ thuộc rất nhiều vào hạ tầng công nghệ thông tin (CNTT) của họ Xét trên khía cạnh CNTT, cốt lõi cơ bản trong hoạt động của các doanh nghiệp là các quá trình lưu trữ, xử lý và trao đổi dữ liệu, thông tin Liên quan đến các quá trình này, và cũng là một trong những thành phần quan trọng bậc nhất của cơ sở hạ tầng thông tin là hệ thống lưu trữ Hệ thống lưu trữ đóng vai trò rất quan trọng trong tổng thể hệ thống hạ tầng thông tin vì
nó là nơi lưu dữ liệu của toàn hệ thống Lượng thông tin đang không ngừng gia tăng theo cấp số nhân, để có thể đảm bảo năng suất lao động cũng như khả năng cạnh tranh, doanh nghiệp đang có nhu cầu rất lớn về công nghệ lưu trữ Thực hiện đề án tin hoá hoạt động các cơ quan Đảng, từ năm 2000 tại Văn phòng Trung ương (VPTW) đã nghiên cứu đề án “Điện tử hoá Kho lưu
Trang 12trữ Trung ương Đảng”, đề án này được thực hiện trong nhiều giai đoạn, mỗi giai đoạn là 5 năm Trong giai đoạn 2001-2005, VPTW đã tiến hành xong các
dự án công nghệ thông tin về xây dựng hệ thống cơ sở dữ liệu dùng chung, số hoá một phần tài liệu trong Kho lưu trữ Trung ương Đảng, xây dựng hệ thống lưu trữ dữ liệu Trong giai đoạn 2006-2010, VPTW tập trung vào một số mục tiêu sau: tiếp tục tiến hành số hoá một số lượng lớn tài liệu (khoảng hơn 1.000.000 trang tài liệu); xây dựng một Kho lưu trữ điện tử hiện đại có khả năng lưu trữ lượng lớn tài liệu điện tử, đáp ứng nhu cầu khai thác tài liệu lớn
và nâng cấp hệ thống lưu trữ hiện tại
Cá nhân tôi trực tiếp tham gia nhóm xây dựng dự án, vì vậy, tôi lựa chọn một phần công trình của dự án do cá nhân đảm trách để làm nội dung báo cáo
luận văn Nội dung nghiên cứu là “Thiết kế giải pháp mạng lưu trữ cho Kho lưu trữ điện tử”, đây chỉ là một trong 3 hạng mục công trình của dự án Kho
lưu trữ điện tử Tính đến tháng 12-2006, dự án đã triển khai xong nội dung
“Xây dựng dự án và giải pháp” Hiện dự án đang lựa chọn đơn vị tư vấn thiết
kế xây dựng giải pháp chi tiết để phục vụ cho giai đoạn đấu thầu
* * * Luận văn nghiên cứu giải pháp phù hợp cho thiết kế mạng lưu trữ dữ liệu của Kho Lưu trữ điện tử của Văn phòng Trung ương Nội dung và kết cấu: Chương 1 Giới thiệu về giải pháp mạng lưu trữ SAN với các đặc tính cơ bản về chức năng, phần tử mạng, đặc trưng của mạng lưu trữ So sánh giải pháp mạng lưu trữ SAN với các giải pháp lưu trữ DAS, NAS
Chương 2 Nội dung chương 2 sẽ phân tích các đặc tính truyền dữ liệu và giải pháp ứng dụng của hai công nghệ truyền thông Fibre Channel, iSCSI áp dụng phổ biến trong mạng lưu trữ hiện nay (FC SAN, IP SAN)
Chương 3 Trên cơ sở những nghiên cứu tại chương 1 và 2, tác giả đề xuất giải pháp mạng lưu trữ SAN sử dụng công nghệ FC để xây dựng Kho lưu trữ điện tử tại Văn phòng Trung ương