Tiểu luận môn Điện toán lưới và đám mây SO SÁNH GIỮA ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY

TỔNG QUANSự xuất hiện của điện toán đám mây đã được quan sát gần đây như là một mô hình mới đầy hứa hẹn mang lại dịch vụ công nghệ thông tin CNTT như máy tính tiện ích cho các công ty, đ

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

Tôi xin cam đoan bài báo cáo này hoàn toàn do tôi thực hiện với nội dung dựa

theo bài báo “Comparison between Cloud and Grid computing: review paper” của các

tác giả Hosam AlHakami, Hamza Aldabbas và Tariq Alwada’n

MỤC LỤC

Danh mục các bảng

Danh mục các hình vẽ

Hình 3 1 Điện toán đám mây 13

Hình 3 2 Kiến trúc đám mây định hướng thị trường cấp cao 15

Hình 3 3 Kiến trúc GrepTheWeb - cấp độ 1 17

Hình 3.4 Kiến trúc GrepTheWeb - cấp độ 2 18

Hình 3.5 Các giai đoạn Kiến trúc của GrepTheWeb 18

Hình 3 6 Kiến trúc GrepTheWeb - cấp độ 3 20

Hình 4.1 Bản đồ giảm hoạt động (trong GrepTheWeb) 23

Hình 4.2 Các thành phần cơ sở hạ tầng 25

Hình 5 1 Xu hướng tìm kiếm Google trong 12 tháng qua 27

Hình 5.2 Ứng dụng Grid trong một môi trường đám mây 33

MỞ ĐẦU

Đám mây là công nghệ được công bố gần đây nhất và được đưa ra trên thế giới mạng Đám mây được coi là một thế hệ mới của điện toán lưới Đám mây bao gồm các trung tâm dữ liệu thuộc sở hữu của cùng một viện Tính đồng nhất trong mỗi trung tâm

dữ liệu trong cơ sở hạ tầng là tính năng chính của điện toán đám mây so với điện toán lưới Bài báo cáo này cung cấp một định nghĩa cho các đám mây, thảo luận về nhiều khía cạnh của điện toán đám mây, và mô tả kiến trúc cho các đám mây (bằng cách nhìn vào ứng dụng của Amazon_GrepTheWeb) và cách nhìn nhận giá trị khác nhau của đám mây so với điện toán lưới

Bài báo cáo này tập trung vào so sánh điện toán đám mây với các thế hệ trước như điện toán lưới, bằng cách xem xét một số vấn đề an ninh và chính sách trong điện toán lưới và đám mây Cuối cùng, bài báo cáo mô tả những điểm tương đồng và khác biệt giữa các phương pháp tiếp cận điện toán lưới và đám mây

Nội dung bài báo cáo gồm 2 phần chính:

• Giới thiệu chung về điện toán đám mây

• So sánh mô hình điện toán đám mây với điện toán lưới

Em xin chân thành cảm ơn Thầy PGS.TS Nguyễn Phi Khứ đã truyền đạt những kiến thức quý báu trong môn Điện toán lưới và đám mây làm cơ sở nền tảng cho em thực hiện báo cáo này

Chương 1 TỔNG QUAN

Sự xuất hiện của điện toán đám mây đã được quan sát gần đây như là một mô hình mới đầy hứa hẹn mang lại dịch vụ công nghệ thông tin (CNTT) như máy tính tiện ích cho các công ty, điện toán học và các doanh nghiệp Nó đã gây ra ảnh hưởng không nhỏ trong ngành công nghiệp CNTT Theo IBM, đám mây là một hồ bơi tài nguyên máy tính ảo hóa máy chủ cho một loạt các khối lượng công việc khác nhau và cho phép

họ được triển khai và nhân rộng thông qua việc cung cấp nhanh chóng của các máy ảo hoặc các thiết bị thực; hỗ trợ dự phòng, tự phục hồi, các mô hình lập trình có khả năng

mở rộng và giám sát sử dụng tài nguyên trong thời gian thực để cho phép tái cân bằng phân bổ khi cần thiết

Một số doanh nghiệp đang có kế hoạch sử dụng trung tâm dữ liệu ảo để tạo điều kiện quản lý cơ sở hạ tầng và cố gắng để làm giảm nhu cầu bảo trì phần cứng Loại cơ

sở hạ tầng mạng này làm giảm đi những khó khăn khi được đưa vào triển khai các dịch

vụ Ví dụ, nhiều người dùng có thể muốn triển khai ứng dụng trong một môi trường đã được xây dựng sẵn, bất kể chi phí của việc triển khai này và mất đi sự linh hoạt Nguyên nhân của việc thiết kế các đám mây là để cung cấp dịch vụ cho người sử dụng

và các nhà cung cấp cần phải thực hiện việc chia sẻ khả năng và tài nguyên của họ Đám mây đã gần như có cùng tầm nhìn với điện toán lưới, tuy nhiên vẫn có sự khác biệt rất đáng kể

Lưới là một hệ thống có khả năng quản lý và tổ chức tài nguyên và dịch vụ được phân phối trên một số miền kiểm soát, sử dụng các giao thức, giao diện và cung cấp chất lượng dịch vụ cao Grimshaw đã định nghĩa điện toán lưới như “chia sẻ tài nguyên

và phối hợp giải quyết vấn đề trong các tổ chức ảo, động và đa hội”

Điện toán đám mây đã được cung cấp bởi một số tổ chức lớn như Amazon, Google, Sun và Yahoo Người dùng cá nhân thông qua các tổ chức khác cũng được cho

phép sử dụng Amazon là một tổ chức quan trọng trong sự phát triển của điện toán đám mây Amazon hiện đại hóa trung tâm dữ liệu nội bộ của họ, dẫn đến gia tăng đáng kể hiệu quả trong nội bộ Năm 2005, hệ thống điện toán đám mây của Amazon ra đời với tên gọi dịch vụ web Amazon Amazon là một trong những tổ chức đầu tiên cung cấp cơ

sở điện toán đám mây

Sau đây, chúng ta sẽ xem xét các định nghĩa hiện tại của các đám mây và điện toán đám mây được triển khai trong phần 2 Trong phần 3 là mô tả kiến trúc chi tiết cho các đám mây thông qua một ví dụ từ tổ chức Amazon (một ứng dụng phổ biến gần đây

là GrepTheWeb) Phần 4 thảo luận về mô hình chi phí trong các đám mây Phần 5 tập trung vào so sánh mô hình điện toán đám mây với lưới và các kết luận được đưa ra trong phần cuối

Chương 2 ĐỊNH NGHĨA MÂY

2.1 Định nghĩa

Không có tiêu chuẩn hoặc định nghĩa thống nhất cho mây Theo Gartner, điện toán đám mây là một dạng thức điện toán nơi khả năng liên quan đến CNTT ồ ạt mở rộng được cung cấp như một dịch vụ trên cơ sở hạ tầng mạng cho người sử dụng bên ngoài Nó đã được khẳng định đối với một số khía cạnh mà điện toán đám mây là hệ thống lưới hẹp, theo nghĩa phơi bày các giao diện bị thu hẹp

Tuy nhiên, những nỗ lực khác nhau của các nhà nghiên cứu và các học viên đã được thực hiện để xác định điện toán đám mây, dựa trên quan sát của họ về điều kiện tiên quyết và các nguyên tắc cơ bản về những khả năng và tương lai của điện toán đám mây sẽ làm được Nhiều chuyên gia đã đề xuất nhiều định nghĩa, trong đó cung cấp các khái niệm khác nhau về điện toán đám mây Bảng dưới đây cho thấy một số định nghĩa của các chuyên gia

Bảng 2 Định nghĩa mây

Tác giả /

M Klems 2008 có thể mở rộng cơ sở hạ tầng theo yêu cầu của bạn

trong vòng vài phút hoặc thậm chí vài giây, thay vì ngày hoặc tuần, do đó tránh được trạng thái lãng phí sử dụng (máy chủ nhàn rỗi) và sử dụng quá giới hạn (màn hình xanh) các nguồn tài nguyên sẵn có

P GAW 2008 sử dụng internet để cho phép mọi người truy cập vào

các dịch vụ công nghệ khả dụng Các dịch vụ phải “ồ ạt

mở rộng

R Buyya 2008 Đám mây là một loại hệ thống song song và phân phối

bao gồm một tập hợp các máy tính ảo kết nối với nhau,

tự động cung cấp và trình bày như một hoặc nhiều các tài nguyên tính toán thống nhất dựa trên các thỏa thuận cấp độ dịch vụ được thiết lập thông qua thương lượng giữa các nhà cung cấp dịch vụ và người tiêu dùng

R Cohen 2008 Điện toán đám mây là một trong những từ thông dụng

cố gắng để bao gồm một loạt các khía cạnh khác nhau,

từ việc triển khai, cân bằng tải, trích lập dự phòng, mô hình kinh doanh và kiến trúc (như Web 2.0) Đó là bước đi hợp lý tiếp theo trong phần mềm (phần mềm 10.0) Đối với tôi những lời giải thích đơn giản nhất cho điện toán đám mây là mô tả nó như là internet,

“trung tâm phần mềm

J Kaplan 2008 một loạt các dịch vụ dựa trên web nhằm mục đích cho

phép người dùng có được một loạt các chức năng khả dụng trên một ‘pay-as-you-go’ cơ sở mà trước đây cần thiết phải đầu tư phần cứng/phần mềm và kỹ năng chuyên nghiệp mới có được

Điện toán đám mây là việc thực hiện những lý tưởng trước đó của tiện ích điện toán mà không có sự phức tạp kỹ thuật hoặc những lo lắng trong việc triển khai

D Gourlay 2008 tiếp theo khả năng xây dựng ẩn các mô hình phần

mềm ảo hóa

D Edwards 2008 những gì có thể khi bạn tận dụng cơ sở hạ tầng quy

mô web (ứng dụng và vật lý) theo yêu cầu …

B de Haff 2008 Thực sự chỉ có ba loại hình dịch vụ đám mây: SaaS,

PaaS, và nền tảng máy tính mây Tôi không chắc chắn khả năng mở rộng ồ ạt là một yêu cầu phù hợp với bất

kỳ một thể loại nào

B Kepes 2008 … đơn giản điện toán đám mây là mô hình cơ sở hạ

tầng chuyển đổi cho phép sự thăng thiên của SaaS

Đó là một mảng rộng của dịch vụ dựa trên web nhằm mục đích cho phép người dùng có được một loạt các chức năng khả dụng trên cơ sở ‘pay-as-you-go’ mà trước đây cần đầu tư phần cứng/phần mềm rất lớn và

kỹ năng chuyên nghiệp mới có được

K

Sheynkman 2008 Mây tập trung vào làm cho lớp phần cứng tiêu hao như yêu cầu theo tính toán và dung lượng lưu trữ Đây là

một bước quan trọng đầu tiên, nhưng đối với các công

ty khai thác sức mạnh của điện toán đám mây, cơ sở hạ tầng ứng dụng hoàn chỉnh cần phải được cấu hình dễ dàng, triển khai, quy mô động và quản lý trong các môi trường phần cứng được ảo hóa

O Sultan 2008 Trong một môi trường trung tâm dữ liệu 3.0 đầy đủ,

bạn có thể quyết định xem một ứng dụng được chạy nội

bộ (cook at home), trong trung tâm dữ liệu của một

người nào khác (cook at home) và bạn có thể thay đổi tâm trí của bạn trên chuyến bay trong trường hợp tài nguyên trung tâm dữ liệu của bạn là ngắn hạn (pantry is empty) hoặc bạn có môi trường/các vấn đề cơ sở (too hot to cook) Trong thực tế, với tự động hóa, rất nhiều điều có thể được thực hiện với chính sách và thời gian thực gây nên …

K Hartig 2008 thực sự được tiếp cận các nguồn lực và dịch vụ cần

thiết để thực hiện chức năng có nhu cầu thay đổi là

sự ảo hóa các nguồn lực duy trì và quản lý của chính nó

J Pritzker 2008 Mây là hồ bơi rộng lớn với nguồn tài nguyên theo yêu

cầu nguồn phân bổ ảo hóa và tiện ích trong giá cả

T Doerksen 2008 Điện toán đám mây là phiên bản thân thiện của điện

toán lưới

T von Eicken 2008 bên ngoài, ‘pay-as-you-go’, theo yêu cầu, một nơi nào

đó trên Internet, mạng v.v…

M Sheedan 2008 “Kim tự tháp Mây”để giúp phân biệt các mây khác

nhau với các dịch vụ hiện có Trên: SaaS; Giữa: PaaS; Dưới: IaaS

A Ricadela 2008 dự án điện toán đám mây mạnh hơn và có bằng

chứng hơn các hệ thống lưới đã phát triển ngay cả trong những năm gần đây

I Wladawsky

Berger

2008 điều quan trọng là chúng tôi muốn ảo hóa hoặc ẩn từ

người sử dụng những thứ phức tạp tất cả những phần mềm sẽ được ảo hóa hoặc ẩn và được chăm sóc bởi các

hệ thống hoặc các chuyên gia ở một nơi khác - hiện có trong các đám mây

pay-per-B

Martin

2008 Điện toán đám mây bao gồm bất kỳ những gì dựa trên

đăng ký hoặc sử dụng dịch vụ, trong thời gian thực thông qua Internet, mở rộng khả năng của CNTT hiện nay

R Bragg 2008 Khái niệm chính đằng sau các đám mây là ứng dụng

Web đám mây phát triển và đáng tin cậy hơn Nhiều người thấy bây giờ rẻ hơn để dùng Web Cloud hơn đầu

tư vào hệ thống máy chủ của mình nó là một máy tính để bàn cho người dân không có máy tính

G Gruman và

E Knorr

2008 Điện toán đám mây là tất cả về: SaaS điện toán tiện

ích Dịch vụ Web PaaS Internet tích hợp nền tảng thương mại điện tử

P McFedries 2008 Điện toán đám mây, trong đó không chỉ là dữ liệu của

chúng tôi, nhưng ngay cả phần nằm trong đám mây, và chúng tôi truy cập vào tất cả mọi thứ không chỉ thông qua máy tính mà còn các thiết bị điện toán đám mây thân thiện, chẳng hạn như điện thoại thông minh, PDA các siêu máy tính kích hoạt ảo hóa và phần mềm như một dịch vụ Đây là điện toán tiện ích được

hỗ trợ bởi hàng loạt các trung tâm dữ liệu tiện ích

2.2 Triển khai mô hình điện toán đám mây

Đây là một mô hình khái niệm mới và có thể được chia thành bốn mô hình nổi tiếng sau đây (có thể có các mô hình khác được rút ra từ chúng):

• Công cộng (Public): Dịch vụ và các nguồn tài nguyên có thể được truy cập bởi mọi người bằng cách sử dụng internet Môi trường này nhấn mạnh những lợi thế của hợp lý hóa (như là một người sử dụng có khả năng sử dụng chỉ có các dịch

vụ cần thiết và chỉ trả tiền cho việc sử dụng chúng), đơn giản hoạt động (như hệ thống tổ chức và được tổ chức bởi một bên thứ ba) và khả năng mở rộng Mối quan tâm chính trong loại môi trường điện toán đám mây này là an ninh; từ môi trường này có thể truy cập công cộng và dữ liệu người dùng trong một giai đoạn được tổ chức bởi một bên thứ ba

• Cá nhân (Private): Dịch vụ và các nguồn tài nguyên có thể truy cập trong một tổ chức tư nhân Môi trường này nhấn mạnh những lợi thế của hội nhập, tối ưu hóa các giao dịch phần cứng và khả năng mở rộng Mối quan tâm chính là sự phức tạp, như môi trường này tổ chức và được tổ chức bởi các nguồn lực nội bộ An ninh không phải là một vấn đề chính so với các đám mây công cộng so với các dịch vụ có thể truy cập chỉ thông qua mạng cá nhân và nội bộ

• Cộng đồng (Community): Dịch vụ và các nguồn tài nguyên của loại này được chia sẻ bởi các tổ chức khác nhau với mục đích chung Nó có thể được tổ chức bởi một trong những viện nghiên cứu hoặc một bên thứ ba

• Lai (Hybrid): Loại này kết hợp các phương pháp từ các đám mây riêng và công cộng, nơi các nguồn tài nguyên có thể được sử dụng, hoặc công cộng hoặc một môi trường đám mây riêng Những thuận lợi và những mối quan tâm là sự kết

hợp của các loại trước đó Một công nghệ điện toán đám mây đã trở nên rất phổ biến gần đây được gọi là điện toán đám mây xanh Mục đích của nó là để giảm tiêu thụ tài nguyên, chưa đáp ứng chất lượng dịch vụ cần thiết và giữ nguồn tài nguyên cũ càng lâu càng tốt “Những lợi thế của công nghệ này là sản xuất nhiệt thấp hơn và tiết kiệm năng lượng bằng cách sử dụng máy chủ hợp nhất và ảo hóa công nghệ; từ nguồn lực hoạt động (máy chủ, các thành phần mạng, và các đơn vị A/C) nhàn rỗi dẫn đến lãng phí năng lượng”

Chương 3 KIẾN TRÚC CỦA MÂY

3.1 Tổng quan về đám mây

Điện toán đám mây có thể bao gồm một số thành phần không đồng nhất như: máy tính lưới, cluster, siêu máy tính, v.v… (Hình 3.1) Tập hợp này được sử dụng bởi hàng triệu người dùng Ví dụ như trường hợp của Microsoft Live, nơi mà hệ thống có khoảng 300 triệu người sử dụng Thêm vào đó, có gần 330.000 nhà phát triển ứng dụng của Amazon EC2 Kiến trúc điện toán đám mây bao gồm các ứng dụng phần mềm, có thể truy cập sử dụng dịch vụ Internet theo yêu cầu Vì vậy, các ứng dụng này được coi

là một cơ sở hạ tầng điện toán cần thiết được sử dụng khi nó có nhu cầu (chẳng hạn như xử lý một yêu cầu người sử dụng) và để thực hiện một công việc cụ thể bằng cách cho đi nguồn tài nguyên không mong muốn Cũng phác họa các nguồn tài nguyên cần thiết theo yêu cầu (như các máy chủ tính toán hay lưu trữ)

Hình 3 Điện toán đám mây

Có một số khó khăn trong việc xử lý dữ liệu quy mô lớn được giải quyết bằng kiến trúc điện toán đám mây.

• Đầu tiên nhất, khá khó khăn để tăng số lượng máy móc đạt được yêu cầu ứng dụng

• Không phải dễ dàng để sử dụng hết được các máy khi cần thiết bởi bất kỳ ứng dụng nào

• Thật phức tạp để phân phối và tổ chức một công việc quy mô lớn trên các máy khác nhau ví dụ như tiến trình đang chạy trên chúng và cung cấp máy tính khác

để khôi phục lại nếu một trong số chúng ngừng làm việc

• Khó có thể đạt trạng thái trống tất cả các máy khi công việc đã được hoàn thành

• Rất khó để quy mô tự động tăng giảm dựa trên khối lượng công việc động Những vấn đề này đã được giải quyết bằng các kiến trúc điện toán đám mây Rất nhiều ứng dụng có thể đạt hiệu quả bởi vì sử dụng sức mạnh của kiến trúc điện toán đám mây Một số các ứng dụng được sử dụng rộng rãi và thường xuyên, ví

dụ chế biến đường ống dẫn (đường ống chuyển mã hóa video- mã chuyển AVI sang phim MPEG), hàng loạt các hệ thống xử lý (phân tích đăng nhập - phân tích và tạo ra các báo cáo hàng ngày/hàng tuần) và các trang web (“trang web theo mùa” - trang web chỉ chạy trong mùa thuế hoặc kỳ nghỉ lễ “ngày thứ 6 đen tối-Black Friday” hoặc giáng sinh)

3.2 Kiến trúc điện toán đám mây định hướng thị trường cấp cao

Hình dưới đây mô tả một kiến trúc cấp cao để hỗ trợ phân bổ nguồn tài nguyên theo hướng thị trường trong trung tâm dữ liệu và đám mây

Hình 3 Kiến trúc đám mây định hướng thị trường cấp caoHình 3.2 mô tả bốn yếu tố giá trị nhất trong kiến trúc điện toán đám mây Đầu tiên, người sử dụng hay thực thể môi giới sẽ chăm sóc quá trình dịch vụ, tiếp nhận các yêu cầu đi đến trung tâm dữ liệu và điện toán đám mây từ bất kỳ nơi nào và đặt chúng vào trong tiến trình.

Thứ hai, đưa ra quy định về mức độ dịch vụ cấp phát thực thể tài nguyên như giao diện giữa trung tâm dữ liệu hay nhà cung cấp dịch vụ mây và người sử dụng bên ngoài hoặc người môi giới Trong thực thể này có một số tương tác cần thiết giữa các

cơ chế xuất hiện chi tiết trong hình trên như dịch vụ thẩm định yêu cầu và cơ chế kiểm soát có nhiệm vụ giải thích các trình yêu cầu chất lượng dịch vụ trước khi quyết định chấp nhận yêu cầu hay không, xác định những cách tính phí theo yêu cầu dịch vụ dựa

trên một số yếu tố (ví dụ thời gian giải quyết vấn đề (đỉnh điểm hay ngoài giờ cao điểm).

Ngoài ra, tỷ lệ giá cả (cố định hoặc thay đổi) hay nguồn tài nguyên sẵn có (cung/cầu), kế toán (tính toán chi phí cuối cùng có thể được tính vào người dùng sẽ có trong cơ chế này), trình điều khiển máy ảo sẽ kiểm tra xem các máy ảo và đặc quyền tài nguyên của họ có sẵn hay không, điều tiết điều độ (làm một quá trình để thực hiện yêu cầu dịch vụ đã được chấp nhận trên máy ảo phân bổ) và dịch vụ giám sát yêu cầu (tiến độ thực hiện các yêu cầu dịch vụ có thể được giám sát và theo dõi trong cơ chế này)

Thứ ba, thực thể máy ảo cung cấp một sự linh hoạt cao để cấu hình phân vùng khác nhau của các tài nguyên trên một máy vật lý để xử lý các yêu cầu khác nhau của dịch vụ Hơn nữa, có khả năng chạy đồng thời các ứng dụng dựa trê n môi trường hệ điều hành khác nhau trên một máy vật lý Những điều này là do việc triển khai động và dừng nhiều máy ảo trên một máy vật lý để đáp ứng yêu cầu dịch vụ được chấp nhận Cuối cùng, thực thể máy vật lý, một số máy chủ tính toán có được nguồn tài nguyên để đáp ứng yêu cầu dịch vụ từ trung tâm dữ liệu

3.3 GrepTheWeb

Một trong những ứng dụng quan trọng và hiệu quả nhất hiện nay sản xuất tại Amazon được gọi là GrepTheWeb, đó là một ví dụ về thành phần dịch vụ, tích hợp với kiến trúc điện toán đám mây GrepTheWeb có thể được sử dụng để thực hiện tìm kiếm

cụ thể hơn như tìm kiếm các file có nội dung khác nhau cho các tài liệu có một thẻ HTML cụ thể hoặc thẻ META Ngoài ra, để tìm kiếm các tài liệu có dấu câu đặc biệt (“hello”), phương trình toán học ( “f (g) = g + h”), mã nguồn, địa chỉ e-mail hoặc các mẫu khác

Hơn nữa, thiết kế GrepTheWeb nhằm mục đích quy mô trong nhiều khía cạnh bao gồm khớp ngôn ngữ mô hình mạnh hơn, người sử dụng đồng bộ nhiều cơ sở dữ

liệu nói chung và kết quả tốt hơn ký tự Ngoài ra, GrepTheWeb không cần chi phí bảo dưỡng các máy móc nhàn rỗi và đầu tư trả trước lớn mà vẫn làm giảm các chi phí xử

lý Xét về hiệu suất thời gian, công việc đã được phân phối thành nhiều nhiệm vụ để thực hiện một hoạt động Grep phân tán chạy các nhiệm vụ trên nhiều nút song song

Hình 3.3 mô tả một minh họa cấp cao của kiến trúc GrepTheWeb GrepTheWeb

có hai đầu vào đầu tiên là đầu ra của các dịch vụ kết quả tìm kiếm, đó là một danh sách các liên kết được nén vào một tập tin duy nhất Đầu vào thứ hai là một biểu hiện thường xuyên Đầu ra là một tập hợp con lọc các liên kết tài liệu lưu trữ và nén vào một tập tin duy nhất Nhà phát triển có thể có được trạng thái của công việc của họ bằng cách gọi GetStatus() để xem liệu thực hiện được hoàn thành hay không miễn là toàn bộ quá trình là không đồng bộ

Hình 3 Kiến trúc GrepTheWeb - cấp độ 1Hình 3.4 cho thấy kiến trúc GrepTheWeb bao gồm các thành phần dịch vụ Web Amazon là Amazon S3 (để lấy các bộ dữ liệu đầu vào và để lưu trữ các dữ liệu đầu ra), Amazon SQS (để đệm yêu cầu), Amazon SimpleDB (để lưu trữ trạng thái trung gian, đăng nhập, và cho dữ liệu người dùng về nhiệm vụ), Amazon EC2 (để chạy một phân

cụm xử lý Hadoop lớn theo yêu cầu) và khung Hadoop (để chế biến phân phối, tiến độ công việc và làm song song tự động).

Hình 3.5 mô tả công việc của GrepTheWeb Nó xây dựng quá trình trong bốn giai đoạn ẩn Giai đoạn đầu (giai đoạn khởi động) có trách nhiệm xác nhận và bắt đầu quá trình xử lý một yêu cầu GrepTheWeb, khởi tạo EC2 của Amazon, đưa ra cụm Hadoop vào và bắt đầu tất cả các quy trình công việc Giai đoạn thứ hai (giai đoạn màn hình) làm một số công việc quan trọng như giám sát các cụm EC2, bản đồ, tiết giảm và kiểm tra cho việc thành công và thất bại Giai đoạn thứ ba (giai đoạn tắt máy) để đóng các trường hợp EC2 của Amazon và các quá trình Hadoop, trong khi xóa dữ liệu thoáng qua Amazon SimpleDB trong giai đoạn cuối cùng (giai đoạn dọn dẹp)

Hình 3.4 Kiến trúc GrepTheWeb - cấp độ 2

Hình 3.5 Các giai đoạn Kiến trúc của GrepTheWebQuy trình làm việc chi tiết cho kiến trúc GrepTheWeb xuất hiện trong hình 3.6 bên dưới:

Các bước sau đây đã được tóm tắt

a. Nếu hàng đợi và đường điều khiển đã không được tạo ra ban đầu khi bắt đầu ứng dụng, chúng được tạo ra để làm điều đó Đường điều khiển có liên quan của chúng nhằm thông điệp có thể chứa cuộc thăm dò hàng đợi