Nghiên cứu giải pháp tối ưu hệ thống WEB CACHING

Tuy nhiên sự nâng cấp cần thiết của các máy chủ và băng thông của mạng Internet không theo kịp sự phát triển với luật số mũ luật Zipf của nhu cầu khách hàng trong vài năm qua, do đó chất

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-

PHAN VŨ HẢI VÂN

NGHIÊN CỨU CÁC GIẢI PHÁP TỐI ƯU HỆ THỐNG

WEB CACHING

Chuyên ngành: Truyền dữ liệu và Mạng máy tính

Mã số: 60.48.15 Người hướng dẫn khoa học: TS HỒ KHÁNH LÂM

TÓM TẮT LUẬN VĂN THẠC SỸ

HÀ NỘI – 2010

MỞ ĐẦU

Hơn 80 phần trăm lưu lượng của Internet là các lượng truy nhập truyền thông với các nội dung web Ngày nay, với sự phát triển của các công nghệ truyền thông băng rộng, công nghệ truyền thông đa phương tiện qua WWW càng phát triển mạnh mẽ Sự cung cấp các dịch vụ thông tin về kinh tế, văn hoá, xã hội ngày càng phong phú trên mạng cũng như xu thế tích hợp các hệ thống thông tin trong các hoạt động chính trị, kinh tế, xã hội trên giao diện Web nói riêng, cũng như việc tối ưu hoá lưu lượng thông tin, hạn chế đến mức tối đa khả năng tắc nghẽn trên mạng trở nên rất cần thiết Web trở thành một ứng dụng thành công bậc nhất trên Internet Tuy nhiên sự nâng cấp cần thiết của các máy chủ và băng thông của mạng Internet không theo kịp sự phát triển với luật số mũ (luật Zipf) của nhu cầu khách hàng trong vài năm qua, do đó chất lượng các dịch vụ yêu cầu băng thông rộng và thời gian thực được truy nhập qua Web còn bị hạn chế, chưa đáp ứng nhu cầu càng cao của người sử dụng Như vậy, ngoài những giải pháp tốn kém, như tăng băng thông của kênh truyền dẫn ở các cấp mạng, tăng công suất của các nút mạng truy nhập, mạng địa phương, mạng trục Internet, các nhà cung cấp dịch

vụ Internet đưa vào kiến trúc Web caching Đây là một cách để giảm độ trễ truy nhập các nội dung Web, và tiết kiệm băng thông của các kênh truyền dẫn giữa các tầng mạng của Internet Cách này đảm bảo lưu trữ các bản sao cùng các nội dung Web trong các bộ nhớ đệm trên các

hệ thống máy chủ phân tán trên các nút truy nhập ở các tầng mạng

Mục đích của luận văn này nhằm tìm hiểu thế nào là Web caching, các kiểu kiến trúc Web Caching, các thuật toán thay thế cache và hiệu năng của nó ra sao Vận dụng những kiến thức đã nghiên cứu đó để đánh giá hệ thống Web Caching hiện tại dùng cho mạng VNN.VN của VNPT, đưa ra giải pháp Web Caching mới tối ưu hơn cho mạng VNN.VN

Chương 1- NHỮNG ĐẶC ĐIỂM CỦA INTERNET 1.1 LỊCH SỬ VÀ TỐC ĐỘ PHÁT TRIỂN INTERNET

1.1.1 Lịch sử Internet

Tiền thân của mạng Internet ngày nay là mạng ARPANET Thuật ngữ "Internet" xuất hiện lần đầu vào khoảng năm 1974 Lúc đó mạng vẫn được gọi là ARPANET Năm 1984, ARPANET được chia ra thành hai phần: ARPANET và MILNET Đến năm 1980, ARPANET được đánh giá

là mạng trụ cột của Internet Giữa thập niên 1980 thành lập mạng liên kết các trung tâm máy tính lớn với nhau gọi là NSFNET Sự hình thành mạng xương sống của NSFNET và những mạng vùng khác đã tạo ra một môi trường thuận lợi cho sự phát triển của Internet Tới năm 1995, NSFNET thu lại thành một mạng nghiên cứu còn Internet thì vẫn tiếp tục phát triển.Các dịch vụ trên Internet không ngừng phát triển tạo ra cho nhân loại một thời kỳ mới: thời kỳ thương mại điện tử trên Internet

1.1.2 Tốc độ sử dụng Internet tại Việt Nam

Việt Nam là nước có tốc độ tăng trưởng số người dùng internet trong tốp 10 nước có tốc

độ tăng trưởng số người dùng nhanh nhất khu vực châu Á và cũng là một trong những nước có tốc

độ tăng trưởng lớn so với thế giới (giai đoạn 2000-2009), tăng 10,662.2 %

1.1.3 Xu hướng tăng trưởng Internet Việt Nam

Bảng 1.2 Thống kê số liệu phát triển Internet tại Việt Nam tính đến 2009

Tháng 05 năm Số người dùng % dân số sử dụng Số tên miền vn đã đăng ký

1.2 NHỮNG GIẢI PHÁP TĂNG HIỆU SUẤT CỦA INTERNET

1.2.1 Tăng dung lượng truyền dẫn:

Là việc đầu tư, nâng cấp dung lượng truyền dẫn Việc này sẽ triển khai đơn giản, nhanh nếu có sẵn các hệ thống truyền dẫn tuy nhiên nó sẽ trở nên phức tạp nếu hệ thống truyền dẫn

không có sẵn Ngoài ra chi phí thuê kênh quốc tế cũng rất đắt, việc vận hành khai thác các kênh truyền dẫn quốc tế cũng không đơn giản

1.2.2 Sử dụng thiết bị quản lý băng thông:

Sử dụng thiết bị để ấn định mức độ băng thông cụ thể cho từng loại hình dịch vụ Việc sử dụng thiết bị quản lý băng thông này có thể ấn định được mức độ băng thông cụ thể cho từng loại dịch vụ tuy nhiên chi phí đầu tư hệ thống cũng không nhỏ Bên cạnh đó nếu băng thông không đủ lớn thì sẽ có những dịch vụ bị ảnh hưởng đến chất lượng do bị lấy băng thông để dành cho dịch

vụ ưu tiên, như vậy không thỏa mãn được tối đa nhu cầu người sử dụng

1.2.3 Sử dụng các hệ thống Web Caching:

Khi sử dụng giải pháp này, chúng ta sẽ tiết kiệm được băng thông WAN do việc đưa thông tin

về gần với người sử dụng Đảm bảo và nâng cao chất lượng truy nhập vì thời gian đáp ứng dịch

vụ nhanh Tuy nhiên nếu hệ thống không đủ lớn cũng có thể gây đến việc thường xuyên bị quá tải,

có thể ảnh hưởng tới hoạt động của dịch vụ Do đặc thù riêng của từng ISP mà mỗi ISP có cách lựa chọn giải pháp nâng cao chất lượng mạng riêng của mình Và Web caching là một trong những giải pháp như vậy

Chương 2- KHÁI NIỆM WEB CACHING, CÁC KIẾN TRÚC VÀ THUẬT TOÁN THAY

THẾ CỦA WEB CACHING 2.1 KHÁI NIỆM VỀ WEB CACHING

2.1.1 Định nghĩa Web Caching

Web caching là việc lưu trữ bản sao của những tài liệu web sao cho gần với người dùng,

cả về mặt chức năng trong web client hoặc những máy chủ bộ đệm lưu trữ riêng biệt Cache (bộ đệm) được chia thành các loại: Browser cache (bộ đệm trình duyệt), Proxy Cache (bộ đệm ủy nhiệm), Gateway cache (bộ đệm cổng vào)

2.1.2 Một số khái niệm Cache

 2.1.2.2 Proxy Cache

Proxy cache là máy chủ caching trung gian nhằm giảm tải lưu lượng trên đường truyền Web Proxy Cache (bộ đệm Web Proxy) làm việc cùng nguyên tắc với Browser Cache nhưng ở quy mô lớn hơn

Hình 2.1 Sơ đồ biểu diễn Proxy cache

 2.1.2.3 Gateway cache

Gateway cache là máy chủ caching nằm trước các Web server (máy chủ web) nhằm giảm tải cho các web server Nó thường được biết đến như là “reverse proxy cache”

Hình 2.2 Vị trí đặt gateway cache

2.2 CÁC LOẠI KIẾN TRÚC WEB CACHING

2.2.1 Caching phân tầng (Hierarchical cache)

Hình 2.3 Sơ đồ đầy đủ một kiến trúc phân tầng Web Caching của một ISP

2.2.2 Caching phân tán (Distributed cache)

Hình 2.4 Sơ đồ kiến trúc phân tán Web caching của một ISP

2.2.3 Caching kết hợp (Hybrid scheme)

Hình 2.5 Sơ đồ Hybrid Web Caching của một ISP

2.3 CÁC THUẬT TOÁN CACHE

2.3.1.Thuật toán Least recently used (LRU)

Thuật toán giả định là một trang vừa mới được lấy ra khỏi cache sẽ tiếp tục được truy nhập trong thời gian tới Để thay thế một nội dung trong cache, LRU sẽ xoá bỏ các trang không được truy cập đến trong một khoảng thời gian dài nhất Chức năng của LRU được minh hoạ trong hình dưới đây:

Hình 2.6: Lược đồ thay thế nội dung cache của thuật toán LRU

LRU là thuật toán cache được sử dụng rộng rãi nhất, bởi vì LRU coi các trang có chi phí (cost) và kích thước không đổi, mục đích của LRU là tối ưu hoá tỷ lệ hit Ưu điểm của LRU là khai thác được đặc tính cục bộ của truy nhập Nhược điểm của LRU là bỏ qua sự thay đổi về chi phí và kích thước của trang, cũng như LRU không tính đến tần suất của các truy nhập

2.3.2 Thuật toán Least Frequently Used with Dynamic Aging (LFU-DA)

LFU-DA là thuật toán dựa trên tần suất truy nhập, trong đó giả định chi phí và kích thước của trang là không đổi Trong thuật toán LFU, quyết định loại bỏ nội dung một trang căn cứ vào

số lần truy nhập đến trang đó Việc đếm số lần truy nhập của tất cả các trang trong cache được lưu lại và trang có số lần truy nhập đến nhỏ nhất sẽ bị loại bỏ Thuật toán LFU-DA được mở rộng từ LFU bằng cách sử dụng thêm thuật toán tuổi động ( Dynamic Aging ) Qua thực nghiệm người ta quan sát được tỷ lệ byte hit ( là tỷ lệ giữa tổng kích thước trang Web được yêu cầu có nội dung nằm sẵn trong cache với tổng kích thước trang Web được yêu cầu) của thuật toán LFU-DA là khá cao

2.2.3 Thuật toán Greedy Dual Size (GDS)

Thuật toán này đã tính đến sự thay đổi của chi phí và kích thước của trang Việc loại bỏ trang khỏi hệ thống được căn cứ trên tỷ lệ giữa kích thước và chi phí của trang.Cũng giống như thuật toán LFU-DA, GDS gán một giá trị H(p) với một trang p trong cache Khi một trang mới được lưu vào trong cache hoặc khi một trang đang nằm trong cache được truy nhập lại thì giá trị H(p) được cập nhật lại: H(p)=C(p)/S(p) Trong đó S(p) là kích thước của trang, C(p) là hàm chi phí thể hiện chi phí để lưu một trang p vào trong cache Trang p có giá trị H(p)=Hmin:=minpH(p) ( của tất cả các trang nằm trong cache) sẽ bị loại bỏ khỏi cache khi có yêu cầu thay thế trang Tiếp theo đó L được đặt bằng giá trị H(p) của trang bị loại bỏ Tuy nhiên cũng giống như LRU, GDS không tính đến tần suất truy nhập

2.2.4 Thuật toán Cost Effective (CE)

Thuật toán CE được đưa ra để giảm toàn bộ chi phí lấy được tài liệu Nhìn chung, những người

sử dụng Internet có thể được chia 2 nhóm như sau: (i)Khách hàng tìm kiếm thời gian đáp trả ngắn hơn (ii)Khách hàng tìm cách tối đa hóa sử dụng băng thông (ví dụ một Internet Service Provider, ISP) Vì vậy, có hai mô hình chi phí để tối ưu hóa proxy cache cho hai nhóm mục tiêu sử dụng Thứ nhất, một mô hình độ trễ mà có thể đo độ trễ tải về của người dùng cuối, và thứ hai là một

mô hình lưu lượng truy cập mà có thể đo được lưu lượng mạng

Chúng tôi xác định tỷ lệ giảm chi phí (CRR) như sau:

% 100

i

i i

với Hi=1 nếu yêu cầu i là Hit còn lại là Hi=0

Ci là chi phí lấy được đối tượng i

Chúng tôi xác định chi phí như là độ trễ tải về quan sát được của người dùng trong mô hình độ trễ, và là số lưu lượng mạng được tạo ra trong mô hình lưu lượng Trong CE, giá trị lợi ích (Benefit Value-BV) được gán cho mỗi đối tượng, biểu diễn tầm quan trọng của nó trong cache Khi cache đầy, các đối tượng với BV thấp nhất bị thay thế BV bao gồm 3 phần: chi phí, xác suất tái truy cập (Pr) và tuổi động

Xác suất tái truy cập

BV=(Cost/Size)*Pr +Age Cost: Chi phí lấy được đối tượng từ máy chủ

Pr Xác suất tái truy cập:

) (

Pr

10

/ 1

Size Log

P

b f



Pf là xác suất có điều kiện của việc tái truy cập 1 đối tượng đã được truy cập f lần

Df Số tài liệu được truy cập ít nhất là f lần

α Giá trị đặc trưng của luật phân bố Zipf

b là hằng trọng số Size Kích thước của đối tượng được yêu cầu Age Tuổi của cache, được xác định là BV bé nhất của tất cả các đối tượng Nếu một đối tượng đã được đọc f lần , ước tính xác suất tái truy cập là Pf = Df+1 / Df , Df

là số tài liệu được truy cập ít nhất f lần Tỷ lệ truy cập trung bình của một đối tượng có thể được ước tính bởi kích thước của nó Cho R là tỷ lệ truy cập trung bình cho một đối tượng và S là kích thước của nó R có thể được ước tính là R = C / Sb, nơi C và b là hai hằng Tỷ lệ truy cập trung bình :

)(Log10Size

C

Ps b với b=1,3 và C là hằng Brelau giới thiệu một mô hình cho các yêu cầu trang web, theo luật Zipf:

R

K P





R là độ thông dụng của trang , K và α là 2 tham số độc lập

Tuổi cache là thời gian truy cập gần đây nhất Khi một đối tượng được đưa đến cache, BV của nó

là chi phí lấy được đối tượng cộng với H (ban đầu H = 0) Trong trường hợp cache hit, H được đặt bằng thời gian hiện nay

Chương 3- PHÂN TÍCH HIỆU NĂNG CỦA CÁC KIẾN TRÚC WEB CACHING VÀ CÁC

THUẬT TOÁN THAY THẾ 3.1.PHÂN TÍCH, SO SÁNH HIỆU NĂNG KIẾN TRÚC WEB CACHING

3.1.1 Kiến trúc cache phân tầng và phân tán

Kiến trúc phân tầng có thời gian kết nối nhỏ hơn kiến trúc phân tán Bởi vì trong kiến trúc phân tầng các bản sao của một trang được lưu trữ một cách dư thừa tại các hệ thống cache ở các cấp độ mạng khác nhau dẫn tới giảm được thời gian kết nối Ngược lại kiến trúc phân tán có thời gia truyền nội dung của trang Web thấp hơn kiến trúc phân tầng, bởi vì trong kiến trúc phân tán lưu lượng Web được lưu chuyển trên các tầng mạng phía dưới và ít bị nghẽn hơn

Mô hình mạng

Hình 3.1 Mô hình phân cấp của ISP

Chúng ta xây dựng topology của mạng dưới dạng cấu trúc cây đầy đủ O-ary, hình dưới

Hình 3.2 Mô hình phân cây

 O đại diện cho độ mở (số nhánh) của mỗi nút trong cấu trúc cây

 H là số đường kết nối mạng giữa nút gốc của mạng quốc gia với nút gốc của mạng cấp vùng H cũng đại diện cho số đường kết nối giữa nút gốc của mạng cấp vùng với nút gốc của mạng cấp khu vực

 z là số kết nối giữa máy chủ gốc và nút gốc

 l là số cấp của cây (0≤ 1≤ 2H+z) trong đó:

 l = 0 là mức mạng của các bộ đệm cơ quan

 l = H là mức mạng của các bộ đệm vùng

 l = 2H là mức mạng của các bộ đệm quốc gia

 l = 2H + z máy chủ gốc Giả định băng thông là đồng nhất với mỗi ISP (mỗi kết nối giữa các ISP có cùng tốc độ truyền dẫn (transmission rate))

 CI, CR, CN là tốc độ truyền dẫn (transmission rate) của các kết nối ở mạng cơ quan, vùng, quốc gia

 C: tỷ lệ nghẽn nút cổ chai trên đường truyền dẫn quốc tế

Kiến trúc phân tầng

Hệ thống cache thường được đặt tại điểm truy nhập giữa hai mạng khác nhau để giảm chi phí truyền trang qua một mạng mới Tại một nước thì chỉ có một mạng quốc gia và một hệ thống cache quốc gia Vậy sẽ có OH mạng vùng và mỗi mạng sẽ có một hệ thống cache cấp vùng Có

O2H mạng khu vực và mỗi mạng sẽ có một hệ thống cache cấp khu vực

Hệ thống cache được đặt ở độ cao 0 của cấu trúc cây tương ứng cấp độ 1 trong kiến trúc phân tầng, độ cao H của cấu trúc cây tương ứng cấp độ 2 trong kiến trúc phân tầng, độ cao 2H của cấu trúc cây tương ứng cấp độ 3 trong kiến trúc phân tầng Cache được nối tới các ISP qua các kênh truy nhập Chúng ta giả sử rằng dung lượng kênh truy nhập tại mỗi cấp độ bằng dung lượng kênh trung kế của mạng tại cấp độ đó nghĩa là CI, CR,CN và C cho từng cấp độ tương ứng Tỷ lệ hit tại hệ thống cache của các cấp khu vực, vùng, quốc gia được đại diện bởi các giá trị: hitI, hitR, hitN (hit: số phần trăm yêu cầu được đáp ứng ở mức bộ đệm)

Kiến trúc phân tán

Cache chỉ được đặt tại cấp khu vực và sẽ không có bản sao trung gian của các trang Web tại các cấp mạng khác Để chia sẻ các bản sao giữa các hệ thống cache khu vực, hệ thống cache tại cấp mạng trung gian sẽ lưu giữ dữ liệu meta-data nó chứa đựng thông tin về nội dung được lưu trong các hệ thống cache khu vực Các cache khu vực trao đổi định kỳ lượng thông tin meta-data

về các tài liệu mà chúng lưu trữ Chúng ta giả sử rằng các thông tin là thường xuyên cập nhật tại tất cả các cache khu vực khi mà có một tài liệu mới được lấy về ở bất kỳ cache nào

3.1.1.1 Thời gian kết nối Tc

Thời gian kết nối là phần đầu tiên của độ trễ khi truy vấn lấy văn bản (nội dung) Chúng ta giả sử thời gian kết nối chỉ phụ thuộc vào khoảng cách từ client đến với văn bản xét trên phạm vi mạng lưới Thời gian kết nối đến một văn bản có độ phổ biến tot đối với trường hợp sử dụng caching phân tán và caching phân cấp Khoảng thời gian cập nhật trong trường hợp này = 24 giờ; thời gian cập nhật càng dài thì số lượng các yêu cầu càng tăng Tuy nhiên hiệu năng tương đối của mô hình caching phân tán và caching phân cấp vẫn tương đương nhau

Trước hết, chúng ta thấy rằng với một văn bản không phổ biến (tot nhỏ), cả hai mô hình phân tán và phân cấp đều có thời gian kết nối khá cao do yêu cầu kết nối phải chuyển tới máy chủ chứa văn bản đó Khi một văn bản hay được truy cập, thời gian kết nối của mô hình phân tán và

mô hình phân cấp là rất gần nhau do xác suất văn bản được tìm thấy ở máy chủ caching ở biên mạng cao

3.1.1.2 Thời gian truyền Tt

Phân bố của lưu lượng được tạo ra bởi mô hình caching phân tán βdl và mô hình caching phân cấp βhl ở tất cả các cấp độ mạng Với N=250 triệu trang Web, phân bố theo luật Zipf Thời gian cập nhật một trang là =24h Tổng lưu lượng mạng O2H.I =1000 truy nhập/s Chúng ta cố định kích thước trang S=15KB Ta tính được tỷ lệ hit tại mỗi cấp độ cache hitI=0.5, hitR=0.6 và hitN=0.7

Mô hình caching phân tán gây tăng gấp 2 lần băng thông ở các mức mạng thấp và sử dụng nhiều băng thông hơn ở mức mạng quốc gia so với mô hình caching phân cấp Tuy nhiên, lưu lượng ở những nút mạng bị nghẽn lại được giảm đi chỉ còn 1/2

Chúng ta thiết lập băng thông mạng ở cấp khu vực CI = 100Mb/s Mạng ở cấp độ quốc gia và vùng có băng thông như nhau CN = CR Chúng ta không cố định hai băng thông này mà chỉ xem xét độ nghẽn mạng ρ ( h2H

N

S C



  ) của hai mạng này (chúng ta thay đổi mức độ sử dụng băng thông ρ của các kết nối mạng cấp quốc gia trong kiến trúc caching phân cấp) Kết nối quốc tế thường xuyên nghẽn và có mức độ sử dụng băng thông (β1O2H(1-hitN)S/C) = 0.95

Nút thắt cổ chai lưu lượng duy nhất trên đường kết nối từ client đến máy chủ gốc là đường kết nối quốc tế Chúng ta quan sát thấy hiệu năng của mô hình phân tán và phân cấp khá giống