Công nghệ mạng lưu trữ và vấn đề hiệu suất, thiết kế, duy trì mạng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Anh Tiến CÔNG NGHỆ MẠNG LƯU TRỮ VÀ VẤN ĐỀ HIỆU SUẤT, THIẾT KẾ, DUY TRÌ MẠNG LUẬN VĂN THẠC SĨ Hà nội, 2007... ĐẠI HỌC QUỐC GIA

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Nguyễn Anh Tiến

CÔNG NGHỆ MẠNG LƯU TRỮ VÀ VẤN ĐỀ HIỆU SUẤT, THIẾT KẾ, DUY TRÌ MẠNG

LUẬN VĂN THẠC SĨ

Hà nội, 2007

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Nguyễn Anh Tiến

CÔNG NGHỆ MẠNG LƯU TRỮ VÀ VẤN ĐỀ HIỆU SUẤT, THIẾT KẾ, DUY TRÌ MẠNG

Ngành: Công nghệ Điện tử - Viễn thông

Mã số: 2.07.00

LUẬN VĂN THẠC SĨ

Người hướng dẫn khoa học: PGS.TS Vương Đạo Vy

Hà nội, 2007

LỜI CẢM ƠN

Tôi xin bày tỏ lòng biết ơn sâu sắc đến thầy Vương Đạo Vy về sự hướng dẫn nhiệt tình, gợi ý sâu sắc cùng những ý kiến đóng góp quý báu trong thời gian nghiên cứu cũng như hoàn thành bản luận văn này

Xin cảm ơn Khoa Điện tử Viễn thông – Trường Đại học Công nghệ - Đại học Quốc gia Hà nội cùng các thầy cô đã giúp đỡ và tạo điều kiện cho tôi trong quá trình nghiên cứu

Cảm ơn các bạn đồng nghiệp, các bạn trong tập thể lớp K10D2 đã đóng góp ý kiến cho tôi trong quá trình xây dựng và hoàn thành bản luận văn này

Hà nội, Ngày 30 tháng 4 năm 2005

MỤC LỤC

LỜI CẢM ƠN 3

DANH MỤC HÌNH VẼ SỬ DỤNG 8

DANH SÁCH CÁC KÝ HIỆU, TỪ NGỮ VIẾT TẮT 10

MỞ ĐẦU 11

1 CHƯƠNG 1: GIỚI THIỆU VỀ MẠNG LƯU TRỮ DỮ LIỆU (STORAGE AREA NETWORK– SAN) Error! Bookmark not defined.

1.1 Tổng quan về SAN Error! Bookmark not defined.

1.2 Lợi ích của lưu trữ SAN Error! Bookmark not defined.

1.2.1 Đảm bảo tính sẵn sàng cao: Error! Bookmark not defined.

1.2.2 Tập trung thiết bị lưu trữ Error! Bookmark not defined.

1.2.3 Giảm nghẽn mạng khi sao lưu dữ liệu (backup)Error! Bookmark not defined.

1.2.4 Giảm tải cho máy chủ khi sao lưu dữ liệu Error! Bookmark not defined.

1.2.5 Tăng tốc độ truy cập dữ liệu Error! Bookmark not defined.

1.2.6 Đảm bảo khả năng kháng cự với sự cố: Error! Bookmark not defined.

2 CHƯƠNG 2: CƠ BẢN VỀ KÊNH QUANG Error! Bookmark not defined.

2.1 Kiến trúc của SAN và các thuật ngữ căn bản:Error! Bookmark not defined.

2.2 Phân tầng kênh quang Error! Bookmark not defined.

2.3 Các mức dịch vụ và điều khiển luồng dữ liệuError! Bookmark not defined.

2.3.1 Mức 1 ( class 1) Error! Bookmark not defined.

2.3.2 Mức 2 (class 2) Error! Bookmark not defined.

2.3.3 Mức 3 (class 3) Error! Bookmark not defined.

2.3.4 Mức 4 (class 4) Error! Bookmark not defined.

2.3.5 Mức F (class F) Error! Bookmark not defined.

2.4 Topo mạng lưu trữ: Error! Bookmark not defined.

2.4.1 Cách gọi tên port trên mạng Error! Bookmark not defined.

2.4.2 Mô hình kết nối điểm tới điểm Error! Bookmark not defined.

2.4.3 Mô hình kết nối vòng lặp có trọng tài phân xử (FC- AL)Error! Bookmark not

defined.

2.4.3.1 Cơ chế thâm nhập mạng FC-AL Error! Bookmark not defined.

2.4.3.2 Đánh địa chỉ trên mạng FC-AL Error! Bookmark not defined.

2.4.4 Mô hình Switch Fabric Error! Bookmark not defined.

2.4.4.1 Switch Fabric làm việc như thế nào? Error! Bookmark not defined.

2.4.4.2 Các dịch vụ trên Fabric: Error! Bookmark not defined.

2.4.4.3 Đánh đia chỉ trên fabric Error! Bookmark not defined.

2.4.4.4 Trình tự đăng nhập fabric của node (Fabric –login sequence)Error! Bookmark

not defined.

2.4.4.5 Thủ tục N_port login (PLOGIN- Port login)Error! Bookmark not defined.

2.5 Cáp truyền dẫn Error! Bookmark not defined.

2.5.1 Cáp đồng: Error! Bookmark not defined.

2.5.2 Cáp quang đa mode: Error! Bookmark not defined.

2.5.3 Cáp đơn mode Error! Bookmark not defined.

2.6 Đầu nối cáp (cable connector) Error! Bookmark not defined.

2.6.1 Đầu nối cáp đồng DB-9 Error! Bookmark not defined.

2.6.2 Đầu kết nối HSSDC (High Speed Serial Data Connector)Error! Bookmark not

defined.

2.6.3 Đầu nối cáp quang SC Error! Bookmark not defined.

2.6.4 Đầu nối cáp quang mật độ cao- LC Error! Bookmark not defined.

2.6.5 Đầu GBIC Error! Bookmark not defined.

2.6.6 Card HBA (Host Bus Adapter) Error! Bookmark not defined.

2.7 Hub cho kênh quang Error! Bookmark not defined.

2.7.1 Hub không có chức năng quản lý (Unmanaged Hub):Error! Bookmark not

defined.

2.7.2 Hub có chức năng quản lý (managed hub):Error! Bookmark not defined.

2.8 Switch trên kênh quang: Error! Bookmark not defined.

2.9 So sánh SAN với các công nghệ lưu trữ khácError! Bookmark not defined.

2.9.1 Ưu điểm của SAN so với DAS Error! Bookmark not defined.

2.9.2 Ưu điểm của SAN so với NAS Error! Bookmark not defined.

3 CHƯƠNG 3: HIỆU SUẤT LƯU TRỮ SAN Error! Bookmark not defined.

3.1 Các nhân tố hiệu năng: Error! Bookmark not defined.

3.1.1 Tốc độ dữ liệu: Error! Bookmark not defined.

3.1.2 Thời gian đáp ứng (Response Time): Error! Bookmark not defined.

3.1.3 Hiệu năng của đĩa cứng: Error! Bookmark not defined.

3.2 Nhiễu, suy giảm tín hiệu trên kênh quang Error! Bookmark not defined.

3.2.1 Suy hao (Attenuation): Error! Bookmark not defined.

3.2.2 Tán sắc (Dispersion): Error! Bookmark not defined.

3.2.3 Trễ (Latencies): Error! Bookmark not defined.

3.3 Đặc thù môi trường: Error! Bookmark not defined.

3.3.1 Các mức RAID và chọn lựa: Error! Bookmark not defined.

3.3.2 Các mức RAID : Error! Bookmark not defined.

3.3.3 So sánh giữa các mức RAID Error! Bookmark not defined.

3.3.4 Tương quang hiệu năng của RAID với thao tác đọc ghiError! Bookmark not

defined.

3.3.5 Một số môi trường ứng dụng tiêu biểu: Error! Bookmark not defined.

3.3.5.1 SQL Server 2000: Error! Bookmark not defined.

3.3.5.2 Oracle 8 : Error! Bookmark not defined.

3.3.5.3 Exchange server: Error! Bookmark not defined.

3.4 Lên kế hoạch cho thiết bị lưu trữ Error! Bookmark not defined.

3.4.1 Luật 1: Sử dụng tổ hợp đĩa (disk array): Error! Bookmark not defined.

3.4.2 Luật 2: phân tách vật lý dữ liệu tuần tự với dữ liệu ngẫu nhiên.Error! Bookmark

not defined.

3.4.3 Luật 3: chia datafile lên càng nhiều đĩa càng tốt.Error! Bookmark not defined.

3.4.4 Luật 4: không dùng RAID 5 cho các ứng dụng có tỷ lệ thao tác ghi caoError!

Bookmark not defined.

3.4.5 Luật 5: sử dụng raid 1 vật lý cho các redo log file, và raid 5 cho data file.Error!

Bookmark not defined.

3.4.6 Luật 6 cân bằng lượng IO cho cả tổ hợp đĩaError! Bookmark not defined.

3.4.7 Công nghệ Disk caching Error! Bookmark not defined.

3.4.7.1 Read- ahead Caching: Error! Bookmark not defined.

3.4.7.2 Write – back Caching: Error! Bookmark not defined.

3.4.7.3 Ảnh hưởng của cache: Error! Bookmark not defined.

4 CHƯƠNG 4: THIẾT KẾ, TRIỂN KHAI VÀ DUY TRÌ HOẠT ĐỘNG CHO SAN

Error! Bookmark not defined

4.1 Kiến thức căn bản khi thiết kế SAN: Error! Bookmark not defined.

4.2 Quan điểm thiết kế SAN của HP (Hewlett-Packard) :Error! Bookmark not defined.

4.2.1 Tiếp cận với thiết kế đơn giản của HP Error! Bookmark not defined.

4.2.1.1 Thiết kế và triển khai một SAN sử dụng bản thiết kế đơn giản sẵn có của HP.

Error! Bookmark not defined.

4.2.1.2 Một số biến thể của thiết kế sẵn có: Error! Bookmark not defined.

4.2.1.3 Thay đổi thiết kế SAN sử dụng các quy định thiết kế:Error! Bookmark not

defined.

4.3 Xác định các yêu cầu của cơ sở hạ tầng: Error! Bookmark not defined.

4.3.1 Vấn đề tồn tại lớn nhất cần giải quyết là gì?Error! Bookmark not defined.

4.3.2 Yêu cầu hoạt động nào cần có giải pháp? Error! Bookmark not defined.

4.3.3 Các server kết nối với SAN như thế nào? Error! Bookmark not defined.

4.3.4 SAN sẽ hỗ trợ, thúc đẩy những ứng dụng nào?Error! Bookmark not defined.

4.3.5 Thiết bị nào trong giải pháp đã có ? Error! Bookmark not defined.

4.3.6 Thiết bị nào đang chạy chính thức (in Production) ?Error! Bookmark not defined.

4.3.7 Thiết bị, thành phần nào cần xây dựng mô hình và thử nghiệm?Error! Bookmark

not defined.

4.3.8 Thiết bị nào có sẵn để thử nghiệm mô hình?Error! Bookmark not defined.

4.3.9 Các phiên backup được tiến hành khi nào và thực hiện như thế nào?Error!

Bookmark not defined.

4.3.10 Đặc điểm hiệu năng hiện tại như thế nào?Error! Bookmark not defined.

4.3.11 Thời gian ngừng cung cấp dịch vụ là bao nhiêu ?Error! Bookmark not defined.

4.3.12 Thời gian hoàn thành từng việc của đề án ?Error! Bookmark not defined.

4.4 Cân nhắc kế hoạch sau khi thu thập được thông tin:Error! Bookmark not defined.

4.4.1 Cân nhắc hiệu năng Error! Bookmark not defined.

4.4.1.1 Quá tải: Error! Bookmark not defined.

4.4.1.2 Đặc thù I/O: Error! Bookmark not defined.

4.5 Cân nhắc khi cài đặt SAN Error! Bookmark not defined.

4.5.1 Đi cáp thế nào để quản lý đơn giản: Error! Bookmark not defined.

4.5.2 Cân nhắc khi lắp thiết bị lên tủ: Error! Bookmark not defined.

4.5.3 Quản lý in-band hay out-band: Error! Bookmark not defined.

4.5.4 Cài đặt các tham số cho switch, dây cáp Error! Bookmark not defined.

4.5.5 Nên dùng phiên bản nào của hệ điều hành Fabric ?:Error! Bookmark not defined.

4.5.6 Cách quản lý SAN tự động Error! Bookmark not defined.

4.5.6.1 Fabric OS API Error! Bookmark not defined.

4.5.6.2 Expect Scripting Error! Bookmark not defined.

4.5.7 Cân nhắc về phân vùng SAN (SAN zoning)Error! Bookmark not defined.

4.6 Một số kinh nghiệm với cấu hình zone: Error! Bookmark not defined.

4.6.1 Giảm tương tác không mong muốn: Error! Bookmark not defined.

4.6.2 Môi trường phức tạp: Error! Bookmark not defined.

4.6.3 Ánh xạ tên (alias): Error! Bookmark not defined.

4.6.4 Thêm switch vào fabric: Error! Bookmark not defined.

4.6.5 Địa chỉ WWN của node và Port: Error! Bookmark not defined.

4.6.6 Sao lưu cấu hình: Error! Bookmark not defined.

4.7 Đánh giá Fabric Error! Bookmark not defined.

4.7.1 Dựng hỗ sơ ban đầu cho mạng SAN: Error! Bookmark not defined.

4.7.2 Mô phỏng sự cố (Fault Injection): Error! Bookmark not defined.

4.7.3 Chạy thử tải I/O (Runing I/O load) Error! Bookmark not defined.

4.8 Duy trì SAN Error! Bookmark not defined.

4.8.1 Duy trì nhật ký cấu hình: Error! Bookmark not defined.

4.8.2 Sao lưu và phục hồi cấu hình cho switch: Error! Bookmark not defined.

4.8.3 Khởi động fabric: Error! Bookmark not defined.

4.8.4 Mở rộng fabric, gộp fabric, thêm switch hoặc thay thế switchError! Bookmark not

defined.

KẾT LUẬN Error! Bookmark not defined.

TÀI LIỆU THAM KHẢO 12

DANH MỤC HÌNH VẼ SỬ DỤNG

Hình 1.1 Bus kết nối SCSI song song Error! Bookmark not defined.

Hình 1.2 Sử dụng kênh quang để tăng khoảng cách Error! Bookmark not defined.

Hình 1.3 Vòng kết nối nhiều máy chủ với thiết bị lưu trữError! Bookmark not defined.

Hình 1.4 Kết nối máy chủ với thiết bị lưu trữ qua chuyển mạch kênh quangError! Bookmark

not defined.

Hình 1.5 Mô hình mạng lưu trữ dữ liệu hiện đại Error! Bookmark not defined.

Hình 2.1 Thiết bị lưu trữ gắn liền với server Error! Bookmark not defined.

Hình 2.2 Thiết bị lưu trữ trên SAN Error! Bookmark not defined.

Hình 2.3 Một Fabric tiêu biểu Error! Bookmark not defined.

Hình 2.4 Phân tầng kênh quang Error! Bookmark not defined.

Hình 2.5 Mã hóa và giải mã tại mức FC-1 Error! Bookmark not defined.

Hình 2.6 Tiêu đề của khung Error! Bookmark not defined.

Hình 2.7 mô tả hoạt động của dịch vụ mức 1 Error! Bookmark not defined.

Hình 2.8 mô tả hoạt động dịch vụ mức 2 Error! Bookmark not defined.

Hình 2.9 mô tả hoạt động dịch vụ mức 3 Error! Bookmark not defined.

Hình 2.10 các topo của mạng lưu trữ dữ liệu - SAN Error! Bookmark not defined.

Hình 2.11 Mô hình vòng lặp FC-AL Error! Bookmark not defined.

Hình 2.12 Mô hình kết nối điểm điểm Error! Bookmark not defined.

Hình 2.13 Mô hình kết nối vòng lặp có trọng tài phân xửError! Bookmark not defined.

Hình 2.14 cơ chế hoạt động của LPSM Error! Bookmark not defined.

Hình 2.15 Cấu trúc địa chỉ của mạng FC-AL Error! Bookmark not defined.

Hình 2.16 Một mạng Fabric Error! Bookmark not defined.

Hình 2.17 Phân vùng trên fabric Error! Bookmark not defined.

Hình 2.18 Quá trình đăng nhập fabric của node Error! Bookmark not defined.

Hình 2.19 Thủ tục PLOGIN Error! Bookmark not defined.

Hình 2.20 Các thành phần khác nhau trên SAN Error! Bookmark not defined.

Bảng 2.1 Ước tính tốc độ truyền với khoảng cách cho cáp đồngError! Bookmark not defined Bảng 2.2 Điểm khác biệt của khoảng cách truyền trên 02 loại cápError! Bookmark not

defined.

Bảng 2.3 khoảng cách và tốc độ truyền với cáp đơn modeError! Bookmark not defined.

Hình 2.21 đầu nối DB-9 cho kênh quang Error! Bookmark not defined.

Hình 2.22 đầu nối HSSDC Error! Bookmark not defined.

Hình 2.23 Hai loại đầu nối cáp SC Error! Bookmark not defined.

Hình 2.24 Ảnh thực của 02 loại đầu đấu nối Error! Bookmark not defined.

Hình 2.25 Đầu GBIC và đầu nối cáp quang Error! Bookmark not defined.

Hình 2.26 Hình ảnh bên ngoài của HBA Error! Bookmark not defined.

Hình 2.27 Mô hình lưu trữ DAS Error! Bookmark not defined.

Hình 2.28 Mô hình lưu trữ NAS Error! Bookmark not defined.

Hình 2.29 Mô hình lưu trữ SAN Error! Bookmark not defined.

Hình 3.1 Kết quả thống kê giữa kích thước I/O và tốc độ dữ liệuError! Bookmark not defined Hình 3.2 Minh họa hiện tượng nghẽn cổ chai Error! Bookmark not defined.

Hình 3.3 Các yếu tố ảnh hưởng đến hiệu năng của đĩa cứngError! Bookmark not defined Hình 3.4 Mô tả hiệu năng của tủ với mức RAID và số lượng đĩa trên tủError! Bookmark not

defined.

Hình 3.5 tương quan hiệu năng với thao tác đọc ghi Error! Bookmark not defined.

Hình 3.6 So sánh hiệu năng của hệ thống thường với hệ thống sử dụng read ehead caching

Error! Bookmark not defined.

Hình 3.7 Write – back caching Error! Bookmark not defined.

Hình 3.8 hiệu năng của read ahead caching và write – back cachingError! Bookmark not

defined.

Hình 4.1 một ví dụ về đi cáp ISL gọn gàng Error! Bookmark not defined.

Hình 4.2- Cách bố trí không tiện cho quản lý và vận hànhError! Bookmark not defined Hình 4.3 cách bố trí tốt hơn cho các thiết bị trên hình 4.2Error! Bookmark not defined Hình 4.4 cách đi cáp đẹp, thuận tiện trong vận hành và bảo trìError! Bookmark not defined Hình 4.5 lắp rack và nguồn cho thiết bị High AvailibilityError! Bookmark not defined Hình 4.6 kết nối quản lý in-band Error! Bookmark not defined.

Hình 4.7 Khác biệt giữa hard zoning và soft zoning Error! Bookmark not defined.

DANH SÁCH CÁC KÝ HIỆU, TỪ NGỮ VIẾT TẮT

ACL - Access Control List

ATM – Asynchronous Tranfer Mode

CRC - Cyclic Redundant Check

DAS - Direct Attached Storage

DES - Data Encryption Standard

EOF - End of Frame

FC - Fibre Channel

FC-AL - Fibre Channel Arbitrated Loop

FCP - Fibre Channel Protocol

FCIP - Fibre Channel over IP

FDDI - Fiber Distributed Data Interface

GBIC - Gigabit Interface Converters

HBA - Host Bus Adapter

HA- High availability

HSSDC -High Speed Serial Data Connector

HiPPI - High- Performance Parallel Interface

ID - Identification

iFCP - Internet Fibre Channel Protocol

I/O - Input/Output

IOPS - Inputs/Outputs Per Second

IP - Internet Protocol

iSCSI - Internet Small Computer System Interface

ISL - Inter-Switch Link

iSNS - Internet Storage Name Services

JBOD - Just a Bunch of Disks

LAN - Local Area Network

NAS - Network Attached Storage

NIC - Network Interface Card

OLTP - Online Transaction Processing

RAID - Redundant Array of Independent Disk

SAN - Storage Area Network

SNS - Simple Name Server

SCSI - Small Computer System Interface

SOF - Start of Frame

TCP - Transmission Control Protocol

UDP - User Datagram Protocol

ULP - Upper Layer Protocol

VI - Virtual Interface

WWN - World Wide Name

WWPN - World Wide Port-Name