Báo cáo Kiến trúc mạng LinkedIn

kiến trúc mạng LinkedIn Kiến trúc mạng LinkedIn Báo cáo thực tập tuần 3 Kiến trúc mạng LinkedIn Kiến trúc mạng LinkedIn gồm 3 phần chính Web app Là trình duyệt ứng dụng của người dùng, trình duyệt này.

Báo cáo thực tập tuần 3 1

Kiến trúc mạng LinkedIn

Kiến trúc mạng LinkedIn

Kiến trúc mạng LinkedIn gồm 3 phần chính

– Web app

Là trình duyệt ứng dụng của người dùng, trình duyệt này có 2 nhiệm vụ chính là liên lạc với server của Linkedin, gửi request và nhận respond, và hiển thị thông tin lên ( giao diện).

– The Cloud và dịch vụ như search, communication, group,news…

Cloud: là 1 mạng lưới ( graph), Mạng lưới này luôn được duy trì thường trực

do số lượng các node rất lớn, và nó cập nhật liên tục các node, edge từ databus.

Việc liên lạc, tìm kiếm thông tin của user được thao tác với graph này thông qua thư viện lucene.

Báo cáo thực tập tuần 3 3

Kiến trúc mạng LinkedIn ( tiếp)

• Cơ sở dữ liệu: được chia làm nhiều lớp khác nhau trong đó có

1 server điều khiển việc thao tác với các csdl này và trao đổi với cloud

Core database: là dữ liệu cốt lõi liên quan đến user, dữ liệu này sử dụng để xây dựng và update graph va

Databus: là điểm trung chuyển, truy cập csdl từ core database để cho cloud xây dựng graph, và lucene search data,

và tạo một bản sao của database: replica DB

Ví dụ Graph

Báo cáo thực tập tuần 3 5

Graph

• Graph là 1 đồ thị biểu diễn mối quan hệ giữa các thành viên trong mạng với nhau

• 1 graph gồm 2 thành phần chính

– Node: biểu diễn 1 người, thi thoảng có thể là 1 nhóm người( 1 group- cái này chưa chắc lắm) Một node có 2 trạng thái cơ bản là liên kết

hoặc không liên kết với node khác.

• Một node chỉ lưu giữ thông tin đơn giản nhất về user.

– Edge: biểu diễn mối liên kết giữa các node.

Graph (tiếp)

• Có 3 kiểu quan hệ:

– Liên kết tuyệt đối: dùng nét liền để diễn tả như ở trên Liên kết tuyệt đối này có ý nghĩa hai người dùng liên kết với

nhau là bạn của nhau, họ có thể biết các thông tin cá nhân của nhau ( theo 1 mức nào đó) Và đây là liên kết hai chiều – Đang chờ liên kết: dùng nét đứt màn xanh lá cây để biểu diễn Cạnh này có nghĩa là 1 người đang

– Cấm liên kết: dùng nét đứt màu xanh lam biểu diễn Như vậy Theo liên kết này thì 2 node liên kết trực tiếp sẽ bị chặn không trao đổi thông tin, không biết

Báo cáo thực tập tuần 3 7

Graph (tiếp)

Trên thực tế, một số node liên kết với hàng ngàn

node (nhân vật nổi tiếng chẳng hạn), còn đại đa số mỗi node chỉ liên kết với tầm vài chục node

Và thêm một sự liên kết thú vị nữa đó là 1 node sẽ liên kết với 1 nhóm trong mạng( Ví dụ như 1 người liên kết với 1 lớp học…) Như thế thì câu hỏi đặt ra là biểu diễn graph kiểu gì?

• Lucene: thực hiện 2 công việc chính

– Đánh chỉ số cho các từ khóa

• Đi tìm kiếm trên mạng các thông tin và địa chỉ.

• Mỗi từ khóa sẽ được đánh chỉ số và danh sách các địa chỉ có thể truy cập

– Tìm kiếm

• Cung cấp các toán tử logic tìm kiếm: and, or, xor.

• Các toán tử này dùng để ghép các từ khóa với nhau, tìm ra địa chỉ gần nhất

• Lucene có thể tìm kiếm data phi cấu trúc.

Báo cáo thực tập tuần 3 9

Lucene( tiếp)

• Ví dụ đơn giản sau:

từ khóa “game” được có trong các trang:

http://vn.news.yahoo.com http://dtdh.hut.edu.vn

Còn từ khóa “ viet” liên kết các trang: http://dtdh.hut.edu.vn Và http://www.tinhte.vn

Khi người dùng tìm kiếm: “game” and “ viet” tức là tìm kiếm

trang web nào có cả 2 từ này kết quả đưa ra sẽ là

http://dtdh.hut.edu.vn

Còn khi tìm : “game” or “viet” hệ thống sẽ đưa ra tất cả các trang web http://vn.news.yahoo.com http://dtdh.hut.edu.vn và

http://www.tinhte.vn

…

Lucene( tiếp)

• Hoạt động:

• Khi user tìm kiếm trên cloud, khi đó lucene sẽ tìm kiếm thông tin trên cloud

• Lucene kiểm tra kết hợp profile lấy từ databus và graph

• Vậy khi user cần biết thông tin 1 người bạn thì lucene phải

kiểm tra trên graph người bạn đó có liên kết với user không, nếu có thì nó sẽ tìm kiếm thông tin profile của người bạn đó

• Ví dụ: khi người dùng đăng nhập, Lucene kiểm tra có tồn tại người dùng đó không, nó sẽ k nếu có thì nó sẽ tìm tiếp trên

graph những node liên kết với node tương ứng của người dùng

Báo cáo thực tập tuần 3 11

Hoạt động của Lucene

Mô tả hoạt động lucene

• Khi user request đến front end ( nơi tiếp nhận các

request) , Servlet lưu các request của tất cả mọi user vào 1 clicks DB để chờ hệ thống xử lý

• Thông tin trong Clicks DB sẽ được chuyển đến cho jetty để xử lý dữ liệu và dùng lucene tìm kiếm dữ

liệu, và trả lại cho user

• Để lucene có thể tìm kiếm thông tin trong DB của nó,

có 1 chức năng luôn đi thu thập thông tin ở trên mạng

và trích các thông tin ra lưu trữ trong news DB

Báo cáo thực tập tuần 3 13

Sơ đồ giao tiếp giữa client và

server (tham khảo)