(LUẬN văn THẠC sĩ) xây dựng hệ thống kiểm thử tự động cho các giai đoạn cài đặt phần mềm

Giả thiết rằng các test cases đã tồn tại và đã được chạy tự động ở một phiên bản trước đó, thì ở các phiên bản tiếp theo, chỉ cần lựa chọn các test cases phù hợp và một chút chi phí cho

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

==========oOo==========

TRƯƠNG HỒNG NAM

XÂY DỰNG HỆ THỐNG KIỂM THỬ TỰ ĐỘNG CHO CÁC GIAI ĐOẠN CÀI ĐẶT PHẦN MỀM

LUẬN VĂN THẠC SĨ

HÀ NỘI - 2011

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

==========oOo==========

TRƯƠNG HỒNG NAM

XÂY DỰNG HỆ THỐNG KIỂM THỬ TỰ ĐỘNG CHO CÁC GIAI ĐOẠN CÀI ĐẶT PHẦN MỀM

Ngành: Công nghệ thông tin Chuyên ngành: Công nghệ phần mềm

Mã số: 604810

LUẬN VĂN THẠC SĨ

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRƯƠNG NINH THUẬN

HÀ NỘI - 2011

Tôi xin cam đoan rằng, đây là kết quả nghiên cứu của tôi trong đó có sự giúp đỡ rất lớn của thầy hướng dẫn và các đồng nghiệp ở cơ quan Các nội dung nghiên cứu và kết quả trong đề tài này hoàn toàn trung thực

Trong luận văn, tôi có tham khảo đến một số tài liệu của một số tác giả đã được liệt kê tại phần “Tài liệu tham khảo” ở cuối luận văn

Chương 1 Mở đầu 1

1 Sự cần thiết của đề tài 1

2 Nội dung của luận văn 1

3 Cấu trúc của luận văn 1

Chương 2.Tổng quan về kiểm thử tự động 3

2.1 Khái niệm về kiểm thử tự động 3

2.2 Lợi ích 3

2.3 Sự khác nhau giữa kiểm thử và kiểm thử tự động 4

2.3.1 Kiểm thử 4

2.3.2 Kiểm thử tự động 5

2.4 Các bước thực hiện kiểm thử tự động 7

2.4.1 Đánh giá mức độ tự động hóa 7

2.4.2 Tiến trình tự động hóa 8

2.5 Các loại công cụ kiểm thử tự động 9

Chương 3.Mô tả bài toán và yêu cầu 12

3.1 Giới thiệu hệ thống thông tin SEC 12

3.2 Định nghĩa các giai đoạn cài đặt 13

3.3 Vấn đề của hệ thống SEC 13

3.4 Yêu cầu 14

3.5 Đặc tả yêu cầu 14

3.5.1 Các công cụ cần thiết 14

3.5.2 Kịch bản cài đặt và gỡ cài đặt 16

3.5.3 Tự động hóa cài đặt và gỡ cài đặt 17

3.5.4 Log output 19

Chương 4.Thiết kế chương trình 20

4.1 Chi tiết về chức năng 20

4.2 Phạm vi 20

4.2.1 Mục tiêu của HTKTTĐ 20

4.2.3 Phạm vi tự động hóa 21

4.3 Thiết kế chức năng 21

4.3.1 Thiết kế tổng quan 21

4.3.2 Thiết kế chi tiết 26

Chương 5 Cài đặt và đánh giá 49

5.1 Một số giao diện của hệ thống 49

5.1.1 Giao diện quản lý file kiểm thử 49

5.1.2 Giao diện quản lý test case 50

5.1.3 Giao diện quản lý bộ cài đặt 51

5.2 Đánh giá năng suất 52

5.2.1 Các bước thực hiện kiểm thử 52

5.2.2 Phương pháp đánh giá 53

5.2.3 Kết quả 53

TÀI LIỆU THAM KHẢO 59

Chương 1

Mở đầu

1 Sự cần thiết của đề tài

Trong tất cả các mô hình phát triển phần mềm, các hoạt động: lập trình, kiểm thử, gỡ lỗi(fix bug) được lặp đi lặp lại nhiều lần truớc khi phần mềm hoàn thiện Thực hiện kiểm thử để phát hiện lỗi sau đó gỡ lỗi và thực hiện kiểm thử lại để xác nhận lỗi

đã được khắc phục, đồng thời xác nhận rằng không có lỗi mới được tìm ra Đôi khi có những tính năng đặc biệt đòi hỏi phải thực hiện kiểm thử rất nhiều lần

Nếu một dự án phần mềm với vài nghìn test cases, thì việc thực hiện tất cả test cases này trong một khoảng thời gian ngắn là rất khó khăn Và trong trường hợp phải thực hiện lại nhiều lần, sẽ làm phát sinh rất nhiều chi phí cho việc kiểm thử Kiểm thử

tự động là một giải pháp cho vấn đề này

Với mục tiêu nghiên cứu, tìm hiểu về kiểm thử tự động, các ưu nhược điểm của kiểm thử tự động, phương pháp triển khai kiểm thử tự động cho một sản phẩm trong thực tế và giá trị mà nó đem lại Chúng tôi đã chọn đề tài “Xây dựng hệ thống kiểm thử tự động cho các giai đoạn cài đặt phần mềm”

2 Nội dung của luận văn

Luận văn đi sâu nghiên cứu về kiểm thử tự động, một giải pháp góp phần nâng cao năng suất, chất lượng hoạt động kiểm thử phần mềm

Luận văn tổng hợp lý thuyết về kiểm thử tự động, vai trò và lợi ích của nó đối với hệ thống phần mềm Các yêu cầu cần thiết để xây dựng một hệ thống kiểm thử phần mềm cũng như các vấn đề có thể gặp phải

Luận văn đã mô tả từng bước quá trình phân tích thiết kế và xây dựng một hệ thống kiểm thử tự động, áp dụng vào kiểm thử một hệ thống trong thực tế, góp phần giảm chi phí việc kiểm thử một số sản phẩm phần mềm

3 Cấu trúc của luận văn

Luận văn bao gồm có sáu chương như sau:

Chương 1 Mở đầu

Chương này trình bày lý do và mục đích của đề tài, các đóng góp chính mà đề tài đem lại cũng như kết cấu của đề tài

Chương 2 Tổng quan về kiểm thử tự động

Chương này trình bày khái niệm về kiểm thử tự động, vai trò và lợi ích khi ứng dụng kiểm thử tự động trong hoạt động kiểm thử phần mềm Chương này cũng trình bày các bước để phát triển một công cụ kiểm thử tự động cũng như các vấn đề có thể gặp phải trong quá trình phát triển

Chương 3 Mô tả bài toán và yêu cầu

Chương này giới thiệu sơ lược với bạn đọc về hệ thống thông tin có tên là SEC

Lý do cần thiết phải xây dựng hệ thống kiểm thử tự động để kiểm thử cho hệ thống SEC Ngoài ra, cũng sẽ phân tích, đặc tả để làm rõ các yêu cầu mà hệ thống kiểm thử

tự động phải đáp ứng, làm cơ sở cho việc phân tích, thiết kế và phát triển ứng dụng về sau

Chương 4 Thiết kế chương trình

Dựa trên các đặc tả yêu cầu đã được làm rõ ở chương 3, trong chương này, chúng tôi sẽ trình bày từng bước phân tích, thiết kế và phát triển các chức năng của hệ thống

Chương 5 Cài đặt và đánh giá

Trong chương này, chúng tôi sẽ trình bày kết quả đạt được khi đưa hệ thống kiểm thử tự động ứng dụng vào hoạt động kiểm thử cho hệ thống SEC

Chương 6 Kết luận

Trong chương này, chúng tôi sẽ tổng kết lại các kết quả và đóng góp mà việc thực hiện đề tài đem lại Ngoài ra, chúng tôi cũng đề xuất các phương hướng nghiên cứu tiếp theo, nhằm giúp cho đề tài trở nên hoàn thiện hơn

Chương 2 Tổng quan về kiểm thử tự động

2.1 Khái niệm về kiểm thử tự động

Kiểm thử tự động là một khái niệm liên quan đến các hoạt động và kỹ thuật tự động hóa trong tiến trình kiểm thử phần mềm Kiểm thử tự động sử dụng các công cụ

và giải pháp để nhằm đạt được các mục tiêu về tốc độ, chất lượng, hiệu quả và chi phí trong tiến trình kiểm thử [10]

2.2 Lợi ích

Dưới đây là một số lợi ích của kiểm thử tự động [4]:

Kiểm thử hồi qui cho một phiên bản mới của chương trình Điều này là hiển nhiên, đặc biệt là trong điều kiện các chương trình thường xuyên bị thay đổi Giả thiết rằng các test cases đã tồn tại và đã được chạy tự động ở một phiên bản trước đó, thì ở các phiên bản tiếp theo, chỉ cần lựa chọn các test cases phù hợp và một chút chi phí cho việc hướng dẫn sử dụng công cụ là có thể thực hiện được việc kiểm thử

Chạy được nhiều ca kiểm thử và thường xuyên hơn Với việc kiểm thử tự động,

sẽ có nhiều ca kiểm thử được thực hiện trong khoảng thời gian ít hơn, và do đó các ca kiểm thử cũng được thực hiện thường xuyên hơn Điều này sẽ làm tăng cường tính tin cậy của hệ thống [8]

Cho phép hoàn thành kiểm thử đối với các test cases mà rất khó hoặc không thể khi thực hiện bằng tay Ví dụ: việc cố gắng hoàn thành đúng như thực tế một ca kiểm thử của hệ thống với 200 người dùng cùng trực tuyến (online) có thể không thực hiện được nếu thực hiện kiểm thử bằng tay Nhưng 200 người dùng này có thể được giả lập bằng các công cụ kiểm thử tự động

Khi kiểm thử bằng tay, kết quả mong muốn thường là những nội dung rõ ràng mà người kiểm thử có thể quan sát Tuy nhiên, có những thuộc tính rất khó để có thể xác nhận theo cách bình thường Ví dụ đối tượng GUI có thể gây ra một sự kiện nào đó,

mà ảnh hưởng của nó không được output ngay lập tức Nhưng nếu sử dụng công cụ kiểm thử thì ta có thể kiểm tra được sự kiện như vậy [11]

Sử dụng tài nguyên (resources) tốt hơn Tự động hóa giúp nâng cao độ chính sác

và giải tỏa tinh thần cho người thực hiện kiểm thử Giúp kiểm thử viên có có nhiều thời gian hơn cho việc lập kế hoạch, thiết kế test case…

Mặt khác, với kiểm thử tự động thì máy kiểm thử có thể được sử dụng để chạy kiểm thử vào những lúc rảnh rỗi

Đảm bảo tính nhất quán của kiểm thử Kiểm thử tự động sẽ được thực hiện lặp đi lặp lại một cách chính xác ở tất cả các lần kiểm thử (ít nhất là dữ liệu đầu vào sẽ không

bị thay đổi, kết quả đầu ra thì có thể khác nhau do thời gian thực hiện) Điều này tạo ra

sự nhất quán giữa các lần kiểm thử, điều rất khó đạt được nếu thực hiện bằng tay Các test cases giống nhau có thể được thực hiện trên các phần cứng, hệ điều hành hoặc cơ sở dữ liệu khác nhau Điều này tạo nên sự nhất quán về chất lượng trên các nền tảng khác nhau của sản phẩm Điều rất khó đạt được nếu thực hiện kiểm thử bằng tay (kiểm thử thủ công)

Việc áp dụng chế độ kiểm thử tốt có thể đảm bảo các tiêu chuẩn phù hợp cho kiểm thử và phát triển Ví dụ, công cụ kiểm thử có thể được sử dụng để kiểm tra cùng một loại tính năng đã được thực hiện theo cùng một cách ở tất cả các ứng dụng hoặc chương trình khác nhau

Tái sử dụng các ca kiểm thử Có thể thực hiện kiểm thử nhiều lần mà không mất chi phí để quyết định cái gì sẽ được kiểm thử, thiết kế ca kiểm thử, xây dựng các ca kiểm thử hay đảm bảo tính chính xác của kiểm thử

Rút ngắn thời gian phát triển sản phẩm Khi mà các test cases được kiểm thử tự động, nó có thể được thực hiện lặp đi lặp lại một cách nhanh chóng, vì vậy sẽ rút ngắn được thời gian kiểm thử Và qua đó cũng có thể rút ngắn được thời gian phát triển sản phẩm và đưa sản phẩm ra thị trường (Điều này còn tùy thuộc vào việc khắc phục lỗi, tính khả dụng của chương trình) [9]

Tăng tính tin cậy Khi một số lượng lớn các ca kiểm thử tự động được thực hiện thành công, nó sẽ tăng cường mức độ đảm bảo rằng hệ thống sẽ được phát hành mà không có vấn đề gì

Tóm lại, với kiểm thử tự động, chúng ta có thể thực hiện kiểm thử với chi phí ít hơn, và chất lượng, năng suất cao hơn

2.3 Sự khác nhau giữa kiểm thử và kiểm thử tự động

2.3.1 Kiểm thử

Kiểm thử là một kỹ năng Đối với bất kỳ một hệ thống nào, đều có một số trường hợp mà nếu thực hiện kiểm thử sẽ phát hiện được hầu hết các lỗi của phần mềm Vì vậy, việc lựa chọn test case nào để chạy là một vấn đề quan trọng Thực tiễn cũng như kinh nghiệm đã chỉ ra rằng việc lựa chọn ngẫu nhiên các test cases là cách tiếp cận

không hiệu quả Nên tiếp cận một cách thận trọng, có hệ thống để có thể tạo ra được các test cases tốt

Vậy, thế nào là một test case tốt Có bốn thuộc tính miêu tả chất lượng của một test case:

- Khả năng phát hiện lỗi

- Tính chuẩn (exemplary): một test case chuẩn nên thực hiện kiểm thử nhiều hơn một tiêu chí, như vậy sẽ làm giảm thiểu tổng số test cases cần thiết

- Chi phí thực hiện: chi phí bỏ ra để thực hiện test case, điều tra, phân tích nguyên nhân lỗi

- Chi phí cập nhật test case: chi phí bỏ ra cho việc cập nhật nội dung test case mỗi khi phần mềm thay đổi

Bốn thuộc tính này cần phải cân bằng với nhau Vì nếu một test case thực hiện kiểm thử quá nhiều tiêu chí, cũng đồng nghĩa với việc sẽ mất nhiều chi phí cho việc thực hiện, điều tra, phân tích hay cập nhật test case mỗi khi phần mềm thay đổi [1]

Vì vậy, các kỹ năng kiểm thử không chỉ đơn thuần là làm sao để thiết kế các test cases có khả năng phát hiện được lỗi cao nhất mà còn là làm sao để thiết kế các test cases với chi phí thấp nhất [3]

2.3.2 Kiểm thử tự động

Kiểm thử tự động cũng là một kỹ năng nhưng nó khác với kỹ năng kiểm thử Việc kiểm thử tự động thì tốn kém hơn kiểm thử bằng tay rất nhiều nếu chỉ thực hiện một lần Để đạt được lợi ích, kiểm thử tự động cần phải được lựa chọn và thực thi một cách cẩn thận

Cho dù kiểm thử là tự động hoặc bằng tay thì đều ảnh hưởng đến chất lượng của quá trình kiểm thử Khi đề cập đến kiểm thử tự động, vấn đề quan tâm không phải là thực hiện nó như thế nào mà là quá trình tự động hóa kiểm thử sẽ ảnh hưởng như thế nào tới chi phí và khả năng nâng cấp về sau Mỗi lần thực hiện tự động hóa sẽ làm phát sinh rất nhiều chi phí, chi phí cho việc chạy nó chỉ là một phần nhỏ đối với chi phí để thực hiện bằng tay Tuy nhiên, kiểm thử tự động thường mất nhiều chi phí cho việc tạo và bảo trì Cách tiếp cận tốt để làm giảm chi phí cho việc tự động hóa kiểm thử là thực thi nó trong một thời gian dài

Hình 2.1 thể hiện 4 thuộc tính chất lượng của một test case trong sơ đồ Keviat Trường hợp thực hiện kiểm thử bằng tay được thể hiện bằng đường đậm Khi được tiến hành lần đầu, kiểm thử tự động sẽ kém hiệu quả (mất nhiều chi phí để tự động),

nhưng sau một số lần thực hiện thì nó sẽ hiệu quả hơn việc thực hiện kiểm thử bằng tay

Để đạt được tính hiệu quả và đưa ra bộ test case (test suite) phù hợp, cần phải bắt đầu với các thành phần thô của một bộ test case tốt, sử dụng các kỹ năng kiểm thử để tạo nên bộ test case thực hiện những thứ quan trọng nhất Sau đó phải ứng dụng các kỹ thuật tự động để tự động hóa theo cách mà chúng có thể được tạo và bảo trì với chi phí hợp lý

Hình 2.1 Bốn thuộc tính của test case Người phát triển và bảo trì công cụ kiểm thử tự động gọi là “Test automator” Một “Test automator” có thể/không phải là Kiểm thử viên, có thể/không phải làm một thành viên của nhóm kiểm thử Ví dụ, một nhóm kiểm thử bao gồm các Kiểm thử viên

có hiểu biết về nghiệp vụ và không có kỹ năng về việc phát triển Một Người phát triển (Developer) có thể hỗ trợ nhóm kiểm thử xây dựng và bảo trì các công cụ kiểm thử tự động theo thiết kế kiểm thử bởi nhóm kiểm thử Người phát triển này là một “Test automator”

Chất lượng kiểm thử có thể tốt hoặc kém, điều này phụ thuộc vào kỹ năng kiểm thử của người kiểm thử

Kiểm thử bằng tay Lần đầu kiểm thử tự động Kiểm thử tự động (sau nhiều lần)

Chất lượng tự động cũng có thể tốt hoặc kém Nó phụ thuộc vào kỹ năng của test automator, làm sao để có thể tạo và bảo trì tự động kiểm thử một cách dễ dàng, làm sao để việc tự động kiểm thử đem lại lợi ích, hiệu quả [2, 7]

2.4 Các bước thực hiện kiểm thử tự động

2.4.1 Đánh giá mức độ tự động hóa

Trước khi tiến hành tự động hóa, chúng ta cần phải kiểm tra tiến trình kiểm thử phần mềm hiện tại và các hoạt động kỹ thuật để xem phần nào (bộ phận nào) có thể tiến hành kiểm thử tự động Dưới đây là lược đồ được đề xuất, bao gồm 5 mức cơ bản

về các vấn đề Không có công cụ và giải pháp nào hỗ trợ kỹ thuật trong việc thiết kế kiểm thử, sinh test case và thực hiện kiểm thử

- Mức 2: Lặp lại (repeatable) Một tiến trình kiểm thử ở mức này không chỉ cung cấp kỹ thuật và công cụ để quản lý các thông tin đa dạng của kiểm thử phần mềm, mà

nó còn cung cấp các giải pháp cho phép thực hiện kiểm thử phần mềm một cách hệ thống Giải pháp này cho phép sử dụng các kỹ thuật để thực hiện kiểm thử và kiểm tra kết quả kiểm thử Tuy nhiên, không có các giải pháp và công cụ cho phép hỗ trợ thiết

kế kiểm thử và sinh test case Không có các công cụ để đo khả năng kiểm thử phần mềm và hiệu quả của tiến trình kiểm thử phần mềm theo các tiêu chuẩn được xác định

từ trước

- Mức 3: Tự động Một tiến trình kiểm thử ở mức độ này không chỉ sử dụng các công cụ quản lý và thực thi kiểm thử, mà nó còn bao gồm cả các công cụ cho phép sinh test case và kịch bản kiểm thử Tuy nhiên, tiến trình kiểm thử không có giải pháp cho việc đo khả năng và hiệu quả của kiểm thử phần mềm

- Mức 4: Tối ưu Đây là mức độ tối ưu của tự động hóa kiểm thử phần mềm Ưu điểm chính của tiến trình kiểm thử ở mức độ này là giải pháp hệ thống (systematic solution) cho 3 loại độ đo kiểm thử, bao gồm: khả năng kiểm thử, phân tích mức độ bao phủ của test case (test coverage), và đánh giá hiệu quả kiểm thử Lợi ích chính của mức độ này là giúp các kỹ thuật viên hiểu như thế nào là một tiến trình kiểm thử tốt và đâu là vấn đề chất lượng của phần mềm

Mức 2: Lặp lại Mức 3: Tự động

Mức 4: Tối ưu

Hình 2.2 Lược đồ đánh giá mức độ tự động hóa Lược đồ này có thể được sử dụng để đánh giá trạng thái của tự động kiểm thử cho một tiến trình kiểm thử đối với một dòng sản phẩm hoặc trong một tổ chức nào đó

2.4.2 Tiến trình tự động hóa

Để thực hiện tự động hóa kiểm thử, cần phải có một tiến trình hiệu quả để thực hiện các hoạt động tự động hóa kiểm thử và phát triển giải pháp tự động Một tiến trình hiệu quả phải bao gồm các bước sau [6]:

- Bước 1: Lập kế hoạch tự động hóa Đây là bước khởi tạo Mục đích chính của bước này là lập kế hoạch xác định các đối tượng cần phải tự động, mục đích, chiến lược, yêu cầu, lịch trình, kinh phí Trong thực tế, kế hoạch tự động hóa thường được tạo cho một sản phẩm, hoặc một dòng sản phẩm ngay ở giai đoạn đầu của tiến trình phát triển phầm mềm

- Bước 2: Thiết kế kiểm thử tự động Mục tiêu chính của bước này là tạo ra một giải pháp tự động hóa chi tiết, phù hợp với yêu cầu và mục tiêu trong kế hoạch đã vạch

ra Bao gồm 2 nhiệm vụ chính Thứ nhất là xác định và lựa chọn các công cụ có sẵn (các sản phẩm thương mại hoặc tự làm) để hỗ trợ tiến trình tự động hóa Để thực hiện nhiệm vụ này, người tự động hóa cần phải có thông tin hướng dẫn và đánh giá về công

cụ được lựa chọn Thứ hai là thiết kế giải pháp tự động hóa

- Bước 3: Phát triển công cụ kiểm thử tự động Ở bước này, sẽ thực hiện phát triển công cụ dựa theo giải pháp tự động hóa đã đưa ra Điểm mấu chốt ở bước này là phải chắc chắn rằng công cụ đã được phát triển là đáng tin cậy và dễ sử dụng, có tài liệu hướng dẫn tốt Rất nhiều dự án tự động kiểm thử đã thất bại bởi vì chất lượng kém

và tài liệu không tốt

- Bước 4: Triển khai công cụ tự động Giống như một sản phẩm thương mại, công cụ tự động và các lợi ích của nó cần phải được giới thiệu và triển khai sử dụng

cho một sản phẩm nào đó Ở bước này, việc đào tạo cho người dùng và hỗ trợ họ là thiết yếu

- Bước 5: Rà soát lại (review) và đánh giá Bất cứ khi nào một công cụ mới được triển khai, thì đều phải tiến hành rà soát lại để xác định các vấn đề và hạn chế của công

cụ, đánh giá các tính năng mà nó cung cấp Kết quả của việc rà soát này là bài học cho các lần triển khai về sau

Lựa chọn và đánh giá các công cụ tự động

Giới thiệu và triển khai hệ thống

Rà soát lại và đánh giá

Hình 2.3 Tiến trình tự động hóa

2.5 Các loại công cụ kiểm thử tự động

(Test information

management )

Công cụ và các giải pháp hỗ trợ các kỹ thuật kiểm thử và đảm bảo chất lượng, giúp tạo, cập nhật và bảo trì các thông tin kiểm thử đa dạng, bao gồm test case, kịch bản, dữ liệu, kết quả kiểm thử và các vấn

đề được phát hiện

kiểm thử (Test execution

(Test coverage analysis)

Công cụ và giải pháp thực hiện phân tích mật độ phủ của test dự trên các tiêu chí được lựa chọn

(Performance testing and

(Software simulators ) hoặc hành động của hệ thống bên ngoài hoặc các

thành phần/hệ thống con cần thiết cho việc kiểm thử

(Regression testing)

Công cụ hỗ trợ kiểm thử hồi qui và các hoạt động

“ghi” và “thực hiện lại” (recording and replaying) Bảng 2.1 Phân loại các công cụ kiểm thử phần mềm tự động [5]

# Loại công cụ Nhà cung cấp Công cụ

trắng

(White-box test tools)

McCabe & Associates IBM

McCabe IQ2 IBM COBOL Unit Kiểm thử viên

IBM ATC Coverage Assistant Source Audit Assistant Distillation Assistant Unit Test Assistant

thử

(Test execution tools)

OC Systems Softbridge AutoKiểm thử viên Rational Inc SQA Mercury Interactive Sterling Software Compuware Seque Software RSW Software Inc Cyrano Gmbh

Aprob ATF/TestWright AutoKiểm thử viên Visual Test Robot WinRunner Vision TestPro QARun SilkTest e-Test

Rational Inc SUN

Analyzer, Analyzer Java Aprob Cantata/Cantata++ Coverage

TruCoverage TestWorks Coverage PureCoverage JavaScope

TCA Panorama

ParaSoft Software Automation Inc

Seque Software Client/Server Solutions, Inc

Rational Suite PerformanceStudio sma@rtTest

QA-Load LoadRunner Load JavaLoad

e-SilkPerformer Benchmark Factory

(GUI record/replay)

Software Research Mercury Interactive Astra AutoKiểm thử viên

eValid Xrunner Astra QuickTest AutoKiểm thử viên, AutoKiểm thử viên One Bảng 2.2 Công cụ kiểm thử tự động và nhà cung cấp

Chương 3

Mô tả bài toán và yêu cầu

3.1 Giới thiệu hệ thống thông tin SEC

SEC là một ứng dụng bảo mật thông tin, hoạt động trên nền windows, cho phép thực hiện các chức năng sau:

- Quản lý quyền truy cập của người dùng

SEC bao gồm hai phần:

- SEC Server: quản lý quyền của người dùng, cho phép tạo người dùng và cấp phát quyền cho người dùng đó

- SEC Client: quản lý thao tác của người dùng dựa theo quyền mà người dùng được cấp ở server

Để có thể sử dụng SEC, người dùng cần phải tiến hành các bước như sau:

Bước 1 Cài đặt SEC server

Người quản trị tiến hành cài đặt SEC server, sau đó tạo người dùng User và cấp phát quyền cho User

Bước 2 Tạo bộ cài đặt SEC client

Tại các máy cần phải bảo mật thông tin, cần phải cài đặt SEC client trên các máy

đó Để thực hiện cài đặt, người quản trị sẽ tạo bộ cài đặt SEC client từ SEC server Có hai phương pháp để tạo bộ cài đặt SEC client:

- Tạo trực tiếp từ máy SEC server

- Tạo bộ cài đặt SEC client thông qua công cụ tạo bộ cài đặt Khi đó, cần phải cung cấp thông tin về SEC server trong quá trình tạo bộ cài đặt

Bước 3 Cài đặt SEC client

Sau khi tạo bộ cài đặt SEC client, người dùng phải tiến hành cài đặt SEC client tại máy cần phải bảo mật thông tin

Bước 4 Thao tác

Sau khi cài đặt SEC client, thì thông tin dữ liệu trên máy đã cài đặt sẽ được bảo mật Để có thể sử dụng dữ liệu, người dùng cần phải đăng nhập và máy SEC Client bằng tài khoản người dùng User đã đã được cấp phát quyền ở SEC Server

Nếu không đăng nhập, người dùng sẽ không thể hoặc bị hạn chế quyền đối với

dữ liệu muốn sử dụng

Bước 5 Gỡ cài đặt

Trong trường hợp không muốn sử dụng SEC client, người dùng có thể gỡ SEC client khỏi máy Sau khi gỡ, máy sẽ được khôi phục về trạng thái như lúc chưa cài đặt

và người dùng có thể sử dụng máy bình thường mà không chịu sự chi phối của SEC

3.2 Định nghĩa các giai đoạn cài đặt

Do nội dung của đề tài là “Xây dựng hệ thống kiểm thử tự động cho các giai đoạn cài đặt phần mềm” nên cần phải hiểu thế nào là “giai đoạn cài đặt phần mềm”? Trong luận văn này, các giai đoạn cài đặt phần mềm được hiểu là các bước để cài đặt SEC Client đã được đề cập trong mục 3.1, bao gồm các bước sau:

- Tạo bộ cài đặt SEC client (tạo bộ cài đặt)

- Cài đặt SEC client (cài đặt)

- Gỡ cài đặt SEC client (gỡ cài đặt)

3.3 Vấn đề của hệ thống SEC

SEC là một sản phẩm bao gồm nhiều phiên bản (version) khác nhau, khi một phiên bản mới ra đời, cần phải thực hiện kiểm thử cho sản phẩm, bao gồm việc kiểm thử cho các giai đoạn cài đặt SEC client

Mỗi phiên bản SEC hỗ trợ nhiều nền tảng Windows khác nhau như: Windows98, WindowsXP/2000/2003/2008, Windows Vista, Window 7… Trên mỗi một môi trường Windows mà sản phẩm hỗ trợ, đều cần phải thực hiện kiểm thử cho các giai đoạn cài đặt SEC client

Đối với mỗi phiên bản, trong quá trình hoạt động, sẽ phát sinh lỗi Đội phát triển

sẽ phải tập hợp các lỗi được phát triển, sửa lỗi và phát hành bản Patch (bản sửa lỗi cho sản phẩm) để sửa lỗi cho sản phẩm Mỗi một bản Patch sẽ sửa nhiều lỗi khác nhau Trước khi gửi bản Patch cho khách hàng, sản phẩm cần phải được kiểm thử các chức

năng liên quan (degrage function), bao gồm việc kiểm thử cho các giai đoạn cài đặt SEC client

Mặt khác, nếu một lỗi xuất hiện trên một phiên bản, thì nó cũng có thể phát sinh lỗi trên các phiên bản khác Vì vậy cũng cần phải có bản Patch để vá lỗi cho các phiên bản đó Và thực hiện kiểm thử trước khi gửi sản phẩm cho khách hàng

Như vậy, mỗi khi một phiên bản mới ra đời, hay đưa ra các bản sửa lỗi Thì đều cần phải tiến hành kiểm thử cho sản phẩm, bao gồm việc kiểm thử cho các giai đoạn cài đặt SEC client Chi phí cho việc thực hiện kiểm thử là rất lớn

Vì vậy, vấn đề đặt ra là làm sao để có thể tự động hóa quá trình kiểm thử, mà cụ thể là tự động hóa kiểm thử cho các giai đoạn cài đặt, nhằm làm giảm thiểu nhất chi phí cho việc kiểm thử mà vẫn đảm bảo về chất lượng cho sản phẩm?

3.4 Yêu cầu

Cần phải xây dựng một hệ thống giúp cho Kiểm thử viên thực hiện kiểm thử tự động các giai đoạn cài đặt phần mềm Gọi hệ thống này là “Hệ thống kiểm thử tự động” (HTKTTĐ) Dưới đây là các yêu cầu mà HTKTTĐ phải đáp ứng:

- Công cụ cung cấp file mẫu, cho phép Kiểm thử viên thực hiện thiết lập test case dựa theo các điều kiện của test case

- Kiểm thử viên có thể tạo một bộ test case (test suite) bao gồm các test cases cần thiết để kiểm thử

- Công cụ cung cấp các thao tác để thực hiện test case dựa theo thông tin của bộ test case Công cụ cũng cho phép Kiểm thử viên có thể tạo lịch trình nhiệm vụ (Windows Scheduled Task) để thực hiện các thao tác trên

- Các giai đoạn cài đặt (tạo bộ cài đặt/cài đặt/gỡ cài đặt SEC) sẽ thực hiện một cách tự động Kết quả của mỗi test case sẽ được xuất ra CSV file, để Kiểm thử viên có thể kiểm tra được kết quả thực hiện kiểm thử

3.5 Đặc tả yêu cầu

Trong nội dung này sẽ đặc tả để làm rõ các yêu cầu mà HTKTTĐ phải đáp ứng

3.5.1 Các công cụ cần thiết

3.5.1.1 Mô hình “Test Controller – Test Agent”

Do trong quá trình cài đặt/gỡ cài đặt hệ thống SEC client, máy cài đặt sẽ phải khởi động và đăng nhập Vì vậy cần thiết phải điều khiển việc khởi động, đăng nhập

máy một cách tự động Để giải quyết vấn đề này, sẽ sử dụng mô hình Test Controller

và Test Agent Hình 3.1 thể hiện mô hình tương tác giữa Test Controller và Test Agent

Test Agent

Agent (Chế độ người dùng)

Test Controller

File VBScript File Patch

Capture/replay Script File command

File cấu hình

File cấu hình điều khiển

Control Script

Control Script File điều khiển test

Agent (Chế độ dịch vụ)

Capture/ Replay

Quyền quản trị Quyền người dùng

File VBScript

File cấu hình của Agent

Ứng dụng

File cấu hình

Hình 3.1 Mô hình tương tác giữa test controller và test agent Test Controller là ứng dụng cho phép điều khiển máy tính từ xa (remote computer) bằng cách sử dụng RPC (Remote Proceduce Call) Còn Test Agent là ứng dụng điều khiển máy tính đang được điều khiển từ xa bởi Test Controller

Mô hình này bao gồm các file cấu hình, được sử dụng để cho phép Test Controller tương tác với Test Agent

Để điều khiển máy, Test Controller sẽ gửi các chỉ thị tới Test Agent được cài đặt trên máy và sau đó Test Agent sẽ thực hiện các thao tác trên máy Bên dưới là một số thao tác:

- Đồng bộ/không đồng bộ (Synchronous/asynchoronous) chương trình

- Bật/khởi động máy

- Tạo tài khoản người dùng (user account)

- Thiết lập đăng nhập tự động và làm sạch các thiết lập

- Gửi file sự kiện từ Test Controller tới Test Agent

Test Agent có hai chế độ là chế độ người dùng (user mode) và chế độ dịch vụ (service mode) Mỗi một chế độ, Test Agent sẽ thực hiện các thao tác khác nhau tùy thuộc vào quyền của người dùng đăng nhập

3.5.1.2 Công cụ “Capture & Replay”

Công cụ “Capture & Replay” là một ứng dụng cho phép hiển thị màn hình và thực hiện các tương tác với màn hình như: bấm vào một nút trên màn hình, lựa chọn checkbox…

Cũng giống như vậy, kịch bản gỡ cài đặt cũng bao gồm các file thông tin kiểm thử cần thiết cho xử lý gỡ cài đặt

Màn hình đầu tiên

Màn hình tiếp theo

Mành hình kết thúc

File có định dạng VBScript

Hình 3.2 Kịch bản cài đặt Luồng xử lý trên miêu tả các bước chính trong việc tạo kịch bản cài đặt SEC Với mỗi test case, Kiểm thử viên thực hiện bằng tay bằng cách chạy bộ cài đặt SEC Công

cụ Capture & Replay sẽ chụp lại các thao tác của Kiểm thử viên khi thực hiện cài đặt SEC, từ màn hình đầu tiên đến màn hình cuối cùng Sau đó, nội dung được xuất tới file có định dạng VBScript Kịch bản kiểm thử cuối cùng sẽ bao gồm tất cả các sự kiện

và các thiết lập khác nhau của xử lý cài đặt

Kịch bản gỡ cài đặt cũng được thực hiện theo cách tương tự

3.5.2.3 File thông tin kiểm thử

File thông tin kiểm thử được tạo ra dựa trên các màn hình của cài đặt/gỡ cài đặt của SEC Các điều kiện đầu vào của test case được ghi lại vào file thông tin kiểm thử

3.5.3 Tự động hóa cài đặt và gỡ cài đặt

HTKTTĐ cung cấp chức năng cài đặt/gỡ cài đặt SEC tự động Nội dung của test case được phản ánh trong file thông tin kiểm thử Chức năng này sẽ chạy file VBScript

có chứa thông tin về file kịch bản, file thông tin cài đặt/gỡ cài đặt SEC khỏi Windows Test Controller sẽ gửi các file nói trên tới máy Test Agent, là máy mà sẽ thực hiện cài đặt/gỡ cài đặt SEC Kịch bản cài đặt/gỡ cài đặt sẽ được thực hiện tự động trên máy Test Agent Để có thể thực hiện cài đặt/gỡ cài đặt thì máy Test Agent phải cài đặt công

cụ Capture & Replay Sau khi kết thúc cài đặt/gỡ cài đặt, file log và kết quả kiểm thử

Hình 3.3 và 3.4 miêu tả các bước thực hiện cài đặt và gỡ cài đặt

File thông tin kiểm thử

Script để thực hiện tự động Bắt đầu

Kết thúc

Test case và bộ cài đặt

File kịch bản cài đặt

Xuất kết quả kiểm thử

Hình 3.3 Luồng tự động hóa cài đặt

File thông tin kiểm thử

Script để thực hiện tự động Bắt đầu

Kết thúc

Test case

File kịch bản gỡ cài đặt

File log hiển thị các thông tin như: ngày giờ, file thông tin kiểm thử, giá trị dữ liệu được nhập, tên màn hình, kết quả thao tác

Chương 4 Thiết kế chương trình

4.1 Chi tiết về chức năng

HTKTTĐ nhằm mục tiêu phát triển kịch bản kiểm thử cho các test cases liên quan đến cài đặt và gỡ cài đặt hệ thống SEC Các test cases này được lựa chọn từ các file kiểm thử (file check list) nhằm kiểm tra chức năng liên quan của chương trình Công cụ cung cấp chức năng, cho phép Kiểm thử viên thực hiện các test cases này một cách tự động Dưới đây là các chức năng mà HTKTTĐ sẽ hỗ trợ:

- Cung cấp kịch bản kiểm thử cho test cases được lựa chọn từ các file kiểm thử nhằm xác nhận chức năng liên quan của chương trình

- Cung cấp một file Excel có chứa các thiết lập cho các test cases thực sự có thể thực thi một cách tự động

- Cho phép Kiểm thử viên lựa chọn test case từ file Excel để tạo bộ cài đặt hoặc cài đặt/gỡ cài đặt

- Giúp Kiểm thử viên tạo bộ cài đặt, cài đặt và gỡ cài đặt hệ thống SEC một cách

tự động

- Cho phép Kiểm thử viên thực hiện kiểm thử liên tục

- Giúp Kiểm thử viên xác nhận kết quả thực hiện của mỗi test case bằng file báo cáo kết quả kiểm thử và các file bằng chứng khác

- Cho phép Kiểm thử viên lần dấu lỗi trong quá trình thực hiện test case bằng cách cung cấp file ảnh của lỗi, file log

- Hỗ trợ nhiều phiên bản SEC khác nhau

4.2 Phạm vi

4.2.1 Mục tiêu của HTKTTĐ

- Về file kiểm thử: HTKTTĐ được phát triển để kiểm thử tự động cho các test cases liên quan đến cài đặt và gỡ cài đặt SEC

- Về các công cụ liên quan:

 Capture/Replay tool: Phiên bản 05-00-IR5

 TestController/TestAgent tool: Phiên bản 01-00-IR1

4.2.3 Phạm vi tự động hóa

Hình 4.1 mô tả phạm vi tự động hóa của HTKTTĐ

Máy điều khiển (Controller PC)

Máy khách Thực thi script

Export to setting file

Thao tác bằng tay Thao tác tự động

-Thông tin của 220 test case -Macro để xuất setting -Nút thực thi

Setting files(*.txt)

ControlScript -

- Tạo bộ cài đặt từ server

- Cài đặt/gỡ cài đặt

Máy chủ

Kết quả -

Tự động cài đặt

Xác nhận thông báo

Cài đặt/ Gỡ cài đặt

Có tiếp tục thực hiện kiểm thử tự động không?

Được gửi tới

Đọc

Được gửi tới

Hình 4.1 Phạm vi tự động hóa Trong hình 4.1, đường mũi tên màu trắng thể hiện thao tác phải thực hiện bằng tay Đường mũi tên màu xanh thể hiện thao tác được tự động hóa Theo đó, người dùng sẽ phải lựa chọn các test cases bằng tay sau đó bấm nút để thực hiện kiểm thử Quá trình kiểm thử sau khi người dùng bấm nút sẽ được thực hiện tự động Mỗi khi kết thúc một test case, người dùng phải xác nhận bằng tay việc thực hiện test case tiếp theo Sau khi quá trình kiểm thử kết thúc, người dùng sẽ thao tác bằng tay để xem báo cáo kết quả kiểm thử

4.3 Thiết kế chức năng

4.3.1 Thiết kế tổng quan

HTKTTĐ được chia thành bốn module: File Excel, ControlScript, AgentScript

và kịch bản kiểm thử(Test scenario)

File Excel bao gồm thông tin của các test cases Nó sẽ xuất ra (export) các file thông tin kiểm thử, để sử dụng trong quá trình kiểm thử tự động

Đầu tiên, ControlScript sẽ đọc file thông tin kiểm thử, gửi các file cần thiết tới Agent PC và chạy AgentScript trên Agent PC Tiếp theo, AgentScript sẽ gọi kịch bản kiểm thử và đọc file thông tin kiểm thử để thực thi test case Để thực thi mỗi test case, kịch bản kiểm thử cần phải đọc file cấu hình, file thông tin kiểm thử và gọi công cụ Capture & Replay Trong quá trình thực thi test case, test log sẽ được xuất Sau đó, Agent script sẽ đọc file log được sinh ra bởi ứng dụng SEC và file thông tin kiểm thử

để tạo báo cáo kết quả kiểm thử Cuối cùng, báo cáo kết quả kiểm thử sẽ được copy tới Controller PC để Kiểm thử viên xem kết quả

Hình 4.2 miêu tả kiến trúc của hệ thống

Kết quả kiểm thử

Đọc Log hệ thống

Gọi

File setting

File Excel

Capture/ Replay Ứng dụng ControlScript

AgentScript Đọc

4.3.1.1 Biểu đồ Use Case

ud Use Case diagram

Thao tác trên file Excel

Kiểm thử viên

Lựa chọn

test case

Thao tác trên Client

Thao tác Xem kết quả

kiểm thử

Thao tác trên máy điều khiển (Controller PC)

Xem kết quả Xem

evidence

Tạo bộ cài đặt

Thực hiện kiểm thử

- Thao tác file Excel: cho phép Kiểm thử viên chuẩn bị dữ liệu như chỉ ra test case, thiết lập tham số cho máy và sau đó thực thi test case File Excel cung cấp các chức năng:

 Lựa chọn test case

 Tạo bộ cài đặt

 Thực thi test case

- Xem kết quả kiểm thử

Thao tác TestAgent: cho phép Kiểm thử viên thực hiện thao tác bằng tay

4.3.1.2 Biểu đồ hoạt động

Hình 4.4 mô tả các hoạt động của HTKTTĐ trong thời gian hoạt động

ad Activity diagram

Xem test case

Showing Excel file

Lựa chọn test case

Thực thi

Xem kết quả kiểm thử

Xem evidence

Cập nhật thông tin

Cập nhật thông tin cho test case được chọn hay không?

Yes

No

Tạo bộ cài đặt

và thực hiện kiểm thử

Hình 4.4 Biểu đồ hoạt động

4.3.1.3 Cấu trúc thư mục

- Cấu trúc thư mục trên Controller PC

C:\Automation test TestData

Temp

q IPStatus.txt

q CommonFunction.vbs

Hình 4.5 Cấu trúc thư mục trên Controller PC

(A) TestData: bao gồm file Excel và file thông tin kiểm thử

(B) Config: bao gồm thứ thự control của SEC

(C) TestScenario: bao gồm các file kịch bản

 Common Script bao gồm các hàm dùng chung

(E) Temp: chứa trạng thái của file IP Address, dùng để kiểm tra xem PC có sẵn

sàng hay không

(F) Log: bao gồm file Control Script log

 Control Script log cho việc tạo bộ cài đặt

 Control Script log cho việc thực thi kiểm thử

(G) TestResult: bao gồm file báo cáo kết quả kiểm thử, log kiểm thử, log hệ

thống và hình ảnh về lỗi xuất hiện trong quá trình kiểm thử

4.3.2 Thiết kế chi tiết

4.3.2.1 File Excel

File Excel được thiết kế để cho phép thực hiện các chức năng sau:

- File Excel chứa thiết lập cho các test cases có thể thực thi một cách tự động

- Cho phép người dùng lựa chọn, thiết lập và thay đổi nội dung của test case

- Cho phép Kiểm thử viên lựa chọn thực hiện kiểm thử theo lô và liên tục

- Cho phép Kiểm thử viên lựa chọn loại test case là tạo bộ cài đặt, cài đặt hoặc gỡ cài đặt

- Cho phép thực hiện test case một cách tự động