Sử dụng Screaming Frog hoặc Deep Crawl kiểm tra các link bị loại bỏ bởi Penguin potx

Khi phân tích cấu hình của các liên kết trong các trang web bị ảnh hưởng bởi Penguin 2.0, bạn có thể thấy rất nhiều liên kết không tự nhiên trỏ đến một trang trong web, không chỉ trang c

Sử dụng Screaming Frog hoặc

Deep Crawl kiểm tra các link bị

loại bỏ bởi Penguin

Kỹ sư Matt Cutts của Google đã thông báo rằng Penguin 2.0

đã đã chính thức được đưa vào sử dụng vào ngày 22 tháng 5

và các webmaster hãy chuẩn bị tinh thần cho những điều thay

đổi sắp tới Với việc phát hành bản update thuật toán khiến

nhiều SEO-er đang tự hỏi rằng Google còn muốn gây ra

những cản trở gì cho SEO

Tôi đã làm rất nhiều phân tích với Google Penguin kể từ

ngày 24 tháng 4 năm 2012 khi Penguin 1.0 lần đầu được tiên

tung ra, vì vậy tôi luôn chuẩn bị sẵn sàng để bắt đầu phân tích

những update mới nhất của Penguin Tương tự như các

phương pháp tôi sử dụng để phân tích Penguin 1.0, tôi bắt đầu phân tích rất nhiều những site mà bị Penguin 2.0 tấn

công để tìm hiểu sâu hơn về bản cập nhật thuật toán mới này

Khi Penguin 2.0 được chính thức đưa vào sử dụng, Cutts giải thích rằng Penguin 1.0 chỉ phân tích homepage của một

website Và dựa trên phân tích của với 15 site bị tấn công bới Penguin 1.0, tôi đã hiểu rõ về điều này

Khi phân tích cấu hình của các liên kết trong các trang web bị ảnh hưởng bởi Penguin 2.0, bạn có thể thấy rất nhiều liên kết không tự nhiên trỏ đến một trang trong web, không chỉ trang chủ Hầu hết những trang tôi phân tích thì đều như thế

Nhiều liên kết không tự nhiên = nhiều liên kết bị loại bỏ

Nếu site của bạn từng bị tấn công bởi Penguin 2.0 (hoặc 1.0), bạn phải phân tích tất cả các cấu hình liên kết, xác định

những liên kết không tự nhiên đã loại bỏ Đối với một số trang web, đây là một điều hết sức khó khăn Có một số trang web tôi đã phân tích, thì có hàng trăm hàng ngàn liên kết để loại bỏ (thậm chí còn nhiều hơn) Và càng nhiều liên kết bạn cần phải loại bỏ, thì bạn càng gặp khó khăn để tạo nên một site chất lượng

Nhưng ngay cả khi bạn phân tích, download, và sắp xếp các liên kết này, thì làm thế nào để bạn biết những link mà đã bị loại bỏ? Chắc chắn, bạn có thể kiểm tra chúng một cách thủ

công, nhưng bạn có thể không thực hiện được điều này cho đến năm 2023

Sẽ không còn gì tuyệt với hơn nếu có một số cách tự động để kiểm tra các link inbound spam mà bạn đang cố gắng loại bỏ? Và ngay bây giờ, tôi sẽ tiết lộ cho cách bạn các cách đấy Trên thực tế, có hai công cụ SEO rất hữu ích và tiết kiệm thời gian khi thực hiện điều này

Công cụ Screaming Frog

Một trong những công cụ SEO ưa dùng của tôi là Screaming Frog Tôi thường sử dụng nó cho một số nhiệm vụ quan

trọng liên quan đến web về các vẫn đề thu thập dữ liệu, kiểm tra sitemap XML, đánh dấu lỗi thu nhập dữ liệu, kiểm tra sự tối ưu hóa on-page với số lượng lớn, vv Hầu như không

ngày nào là tôi không sử dụng Screaming Forg cho các công việc liên quan đến SEO của mình

Và kể từ khi Penguin 1.0 ra mắt, tôi đã sử dụng Frog

Screaming cho một nhiệm vụ quan trọng - kiểm tra xem liệu các liên kết spam inbound có còn hoạt động hay không Sử dụng Screaming Frog, bạn có thể sử dụng một bộ lọc tùy chỉnh để kiểm tra mã html cụ thể trên website mà bạn đang thu thập dư liệu Và sau khi thu thập dữ liệu, bạn có thể xem các trang nào vẫn dùng code đó (hoặc không dùng code đó) Điều này có thể giúp bạn tiết kiệm rất nhiều thời gian

Ngoài ra, phân tích các trang web ảnh bị hưởng bởi Penguin

1.0 và 2.0 cho tôi thấy rằng có nhiều trang web ảnh hưởng bởi phần mềm độc hại, bị đánh dấu là các trang web tấn

công, vv Khi kiểm tra các liên kết inbound spam, bạn chắc chắn sẽ giảm thiểu được nguy cơ bị ảnh hưởng bới các phần mềm độc hại đó

Sử dụng Screaming Frog có thể giúp bạn tránh truy cập vào các trang spam Nó là một lợi ích của việc sử dụng công cụ này

Lưu ý: Tuần trước, Cyrus Shepard đã có một bài viết rất hay

về các công cụ từ chối backlink và khẳng định rằng bạn có thể sử dụng Frog Screaming để kiểm tra việc loại bỏ các trang (nếu trang web chứa các liên kết spam dẫn đến lỗi 404) Bạn chắc chắn có thể làm điều đó, nhưng có những lúc các trang vẫn tồn tại và chỉ có các link được loại bỏ

Các phương pháp tôi đang cung cấp ở đây là về việc những

link đã được gỡ bỏ từ các trang mà vẫn tồn tại trên web Nói cách khác, webmaster đang loại bỏ các liên kết nhưng vẫn muốn giữ các trang đó hoạt động

Sử dụng Frog Screaming để kiểm tra các liên kết

inbound

Bây giờ tôi sẽ giải thích những gì bạn nên làm Tôi chắc rằng

có rất nhiều bạn đọc bài viết này có thể sử dụng một số cách

để tiết kiệm thời gian mà vẫn xác định được những liên kết bị loại bỏ Nhưng bây giờ chúng ta hãy cùng nhau tìm hiểu một cách chi tiết về các bước trong Screaming Frog

1 Phân tích, xuất, và sắp xếp liên kết của bạn

Bước đầu tiên là bước khó khăn nhất, và không có một

hưỡng dẫn cụ thể nào cho bước này Bạn sẽ cần phải phân tích cấu trúc liên kết, xác định các liên kết spam, và sau đó

chuyển định dạng sang Excel

Bạn có thể, và nên sử dụng một số công cụ để phân tích cấu trúc liên kết như: Majestic SEO, Open Site Explorer, Google Webmaster Tools, Bing Webmaster Tools, vv

Bạn nên download liên kết, đánh dấu các liên kết không tự nhiên, và sắp xếp chúng chúng bằng bảng Excel

2 Sao chép URL vào file text

Bạn có thể sử dụng Screaming Frog ở chế độ "List”, có nghĩa

là nó sẽ thu thập các url mà bạn cung cấp trong một file text

Đó là những gì bạn phải làm, việc copy các liên kết không tự nhiên của bạn từ Excel vào một trình soạn thảo văn bản là rất quan trọng Tôi sử dụng Textpad, nhưng bạn có thể sao chép các url của bạn vào bất kỳ trình soạn thảo văn bản nào Mỗi url trên 1 dòng riêng biệt

Mẹo: Nếu bạn đang làm việc với rất nhiều liên kết, dễ dàng

hơn nếu bạn tổ chức chúng theo loại Ví dụ, bạn có thể có

một worksheet cho các danh bạ, một cho các comment spam,

một cho các bài viết trên web… Điều đó sẽ giữ cho việc thu

thập thông tin chặt chẽ hơn so với việc cố gắng để thu thập

thông tin tất cả các link cùng một lúc

3 Khởi động Screaming Frog

Bây giờ bạn đã có file văn bản, hãy khởi đông Khởi động Screaming Frog và chọn "Mode" từ tab menu trên cùng, và sau đó chọn "List" Một lần nữa, bạn phải cung cấp danh sách các url cho Screaming Frog kiểm tra

4 Chọn File

Khi bạn chọn chế độ "List" trong Screaming Frog, bạn có thể nhấp vào "Select File" để chọn File văn bản của bạn Sau đó dẫn đến những file văn bản đầu tiên bạn muốn sử dụng

Screaming Frog sẽ đọc các file và preview các URL nó sẽ

phân tích Nhấn OK

5 Bộ lọc tùy chỉnh

Bạn có thể nghĩ ngay đến việc click vào nút "Start" trong lúc

này, nhưng đừng vội làm thế Chúng ta vẫn cần phải định

dạng các bộ lọc tùy chỉnh để xác định những URL mà vẫn có

một phần code HTML trên web

Nhấp vào "Configure" và sau đó nhấp tiếp "Custom" để mở

ra giao diện của bộ lọc tùy chỉnh Đây là nơi bạn có thể nhập

mã HTML để tìm kiếm trên mỗi trang nó thu thập Bạn có thể chọn đánh dấu URL có chứa hoặc không chứa mã html

Chúng ta sử dụng chức năng "Contain” cho quá trình lọc đầu tiên và nhập tên miền đầy đủ trang web (bao gồm cả giao thức) trong hộp văn bản cho mã HTML (ví

dụ, http://www.example.com) Nếu trang đó vẫn chứa tên miền đầy đủ trong mã nguồn, đó có một cơ hội tốt cho các liên kết vẫn còn hoạt động Nhấn "OK" khi bạn đã làm xong

6 Thu thập thông tin của những trang đã được đanh dấu

Click "Start" và Screaming Frog sẽ kiểm tra từng url để tìm kiếm các mã HTML trong danh dách mà chúng ta đã add ở bước trước Nếu có nhiều liên kết cần phải thu thập thông tin, bạn có thể thu nhỏ cửa sổ và làm việc khác trong việc thu thập dữ liệu đang diễn ra, nhưng hãy chú ý đến thời gian

Kết quả của bạn sẽ xuất hiện trong tab "Custom" ở phần bên phải của giao diện Screaming Frog Đó là nơi các url phù hợp với bộ lọc tùy chỉnh sẽ hiển thị

7 Xuất kết quả

Sau khi bạn đã thu thập thông tin của từng trang để biết link

trang đó còn tồn tại không, bạn có thể dễ dàng nhìn thấy

được những link nào vẫn còn hoạt đông được cho ra bởi

Screaming Frog Sau đó, bạn có thể dễ dàng xuất kết quả vào

một tập tin csv, và có thể được mở file đó trong Excel Xem

xét các url mà vẫn còn link đến trang web của bạn, và theo

dõi với chúng Bạn cần phải làm đi làm lại quá trình này

nhiều lần

Xin chúc mừng, bạn đã hoàn thành việc kiểm tra các liên kết

Cập nhập worksheet và tiếp tục loại bỏ

Bây giờ bạn đã nhận được thông tin phản hồi ngay lập tức từ Screaming Frog về những liên kết này được thực sự loại bỏ,

và đến lúc bạn phải cập nhật bảng tính Hãy tổ chức

worksheet một cách rõ ràng theo ngày, do đó bạn có thể theo dõi sự tiến bộ của bạn theo thời gian Hãy nhớ rằng, bạn nên ghi lại tất cả các việc làm của bạn để chắc chắn rằng bạn đang theo dõi được sự loại bỏ link

Điều quan trọng là có một file Excel có cấu trúc tốt liên kết tới những link mà bạn đánh dấu, và những link bạn muốn từ chối (nếu bạn cần phải sử dụng các công cụ từ chối backlink cho bất kỳ các liên kết còn lại) Và đúng như thế, có thể bạn

sẽ cần phải sử dụng các công cụ từ chối backlink Hãy cố gắng và loại bỏ các link đó bằng cách thủ công

Kiểm tra page kĩ hơn với Deep Crawl

Như tôi đã đề cập ở trên, có một số trang web với những liên kết vô cùng tinh vi và phức tạp Ví dụ, có một số trang web tôi đã phân tích với hàng trăm hàng ngàn các liên kết spam (hoặc hơn) Đối với tình huống như thế này, danh sách các liên kết không tự nhiên có thể làm Screaming Frog hoạt động chậm lại và phải phân tích trong một thời gian dài Và đó là khi tôi sử dụng một công cụ mới mà tôi cũng rất ưu dùng Đó

là công cụ Deep Crawl

Deep Crawl là một giải pháp dựa trên mô hình đám mây để thực hiện thu thập thông tin ở quy mô lớn Đối với SEO-er,

đó là một giải pháp nhiệm vụ nặng nề Bạn cũng có thể sử dụng regEx (biểu thức hính quy) để kiểm tra sự hiện diện của nội dung trên một trang web trong Deep Crawl để xem xét kỹ lưỡng một trang web hơn

Điều tôi thích ở Deep Crawl là thu thập thông tin rất hiệu quả Ngoài ra, vì Deep Crawl dựa trên mô hình đám mây, tôi

có thể tùy chỉnh các thiết lập để thu thập dữ liệu, lập bảng biểu Sau đó, Deep Crawl sẽ gửi email cho tôi khi việc thu thập dữ liệu đã được hoàn thành

Dưới đây là một ảnh chụp màn hình của bộ lọc "Extraction", bạn có thể áp dụng cho Deep Crawl

Bạn có thể nhập một biểu thức chính quy (RegEx) để áp dụng cho mỗi trang được thu thập thông tin Và tương tự như Screaming Frog, bạn có thể tải lên file tin văn bản của URL

để thu thập thông tin Nhưng vì Deep Crawl là dựa trên mô hình đám mây, nên một số lượng lớn các url vẫn được Deep Crawl thu thập và phân tích một cách nhanh chóng hiệu quả

Tóm tắt:

Đối phó với Penguin là một việc khó khăn, đặc biệt là trường hợp khi bạn có hàng chục ngàn các liên kết không tự nhiên

trỏ đến site của bạn Các công cụ SEO có thể tự động hóa một số nhiệm vụ khó khắn, giúp bạn làm việc với website hiệu quả hơn Screaming Frog và Deep Crawl đều có thể giúp bạn rất nhiều trong các tình huống mà Penguin gây ra

Hy vọng rằng bài viết này đã giúp bạn nắm rõ cách sử dụng Screaming Frog và Deep Crwal để thu thập thông tin, kiểm tra các liên kết bị loại bỏ mà không cần phải xem xét lại từng trang