BÁO CÁO BÀI TẬP LỚN PHÂN TÍCH NGHIỆP VỤ THÔNG MINH ĐỀ TÀI DỰ ĐOÁN KHẢ NĂNG NGHỈ VIỆC CỦA NHÂN VIÊN TRONG CÔNG TY

Mô hình Gradient BoostingĐặc điểm: • Boosting là một quá trình tuần tự, không thể xử lý song song Thời gian train tương đối lâu • Sau mỗi vòng lặp, error có thể giảm theo cấp số nhân •

BÁO CÁO BÀI TẬP LỚN PHÂN TÍCH NGHIỆP VỤ THÔNG MINH

ĐỀ TÀI: DỰ ĐOÁN KHẢ NĂNG NGHỈ

VIỆC

CỦA NHÂN VIÊN TRONG CÔNG TY

Giáo viên hướng dẫn: TS Nguyễn Bình Minh

Sinh viên thực hiện: Nguyễn Hoàng

Nguyễn Đức Thắng 2019417

0 Phạm Văn Nam 2018359

8

1 Giới thiệu đề tài

1 Giới thiệu đề tài

Nhân viên nghỉ việc là một vấn đề

gây nhiều hao tổn cho công ty

Theo thống kê, các công ty thường

phải trả khoảng 1/5 tiền lương để

thay thế một nhân viên

Nắm bắt được tại sao và khi nào

nhân viên có khả năng nghỉ việc

cao có thể giúp nhà quản lý đưa ra

các phương án hành động phù hợp

2 Mô hình đề xuất

Mô hình sử dụng:

• Mô hình hồi quy tuyến tính

• Mô hình SVM

• Mô hình Gradient Bootsting

• Mô hình rừng ngẫu nhiên

3.1 Mô hình hồi quy tuyến tính

3.2 Support Vector Machine - SVM 3.3 Mô hình Gradient Boosting

3.4 Rừng ngẫu nhiên

3 Cơ sở lý thuyết

3.1 Mô hình hồi quy tuyến tính

Mục tiêu: Tìm một ánh xạ từ

không gian dữ liệu đầu vào sang

không gian dữ liệu nhãn đầu ra:

hay

Với hồi quy tuyến tính thì là

một hàm tuyến tính

•  

3.1 Mô hình hồi quy tuyến tính

Giả sử : vector hàng của input data

vector cột trọng số cần tìm

nhãn dữ liệu đầu ra

Khi đó hàm có dạng:

•  

3.1 Mô hình hồi quy tuyến tính

Hàm mất mát:

• L1 – Least absolute deviations:

• L2 – Least absolute deviations:

•  

3.2 Support Vector Machine - SVM

SVM là thuật toán thuộc nhóm

Supervised Learning

Mục tiêu: Tìm ra một siêu phẳng trong

không gian N chiều chia dữ liệu thành

hai phần tương ứng với lớp của nó

Tối ưu trong SVM: Siêu phẳng tìm

được phải có lề cực đại, khoảng cách

tới các điểm của hai lớp là lớn nhất

3.2 Support Vector Machine - SVM

Giả sử:

• Các cặp dữ liệu của training set:

• và thể hiện đầu vào và nhãn của điểm dữ liệu

• với điểm thuộc class 1, với điểm thuộc class 2

Cần tìm một siêu phẳng có phương trình

•  

3.2 Support Vector Machine - SVM

Khoảng cách từ điểm bất kỳ tới mặt phân chia:

Margin là khoảng cách gần nhất từ một điểm tới mặt đó:

•  

3.2 Support Vector Machine - SVM

Bài toán tối ưu SVM là tìm và sao cho margin cực đại:

Nếu bài toán thỏa mãn tiêu chuẩn Slater, nghiệm của bài toán chính là nghiệm của hệ điều kiện KKT

•  

3.3 Mô hình Gradient Boosting

Là một mô hình tạo ra một loạt

các mô hình phân loại yếu

Mô hình sinh ra sau sẽ được học

để hạn chế các sai lầm của mô

hình sinh ra trước

Gồm 2 loại Boosting: Adaptive

Boosting và Gradient Boosting

3.3 Mô hình Gradient Boosting

Đặc điểm:

• Boosting là một quá trình tuần tự, không thể xử lý song song Thời gian train tương đối lâu

• Sau mỗi vòng lặp, error có thể giảm theo cấp số nhân

• Boosting sẽ hoạt động tốt nếu base learner không quá phức tạp cũng như error không thay đổi quá nhanh

• Boosting giúp giảm giá trị bias cho các model base learner

•  

3.3 Mô hình Gradient Boosting

Mô hình Boosting được phát biểu bằng bài toán tối ưu sau:

3.3 Mô hình Gradient Boosting

Công thức cập nhật tham số theo hướng giảm của đạo hàm:

Áp dụng tương tự cho phương pháp Gradient Boosting:

•  

3.3 Mô hình Gradient Boosting

3.4 Rừng ngẫu nhiên

Cây quyết định là một cây phân cấp có cấu trúc được dùng

để phân lớp các đối tượng dựa vào dãy các luật

3.4 Rừng ngẫu nhiên

Rừng ngẫu nhiên là một thuật toán học máy có giám sát, sử dụng các cây quyết định làm nền tảng

4.1 Giới thiệu về bộ dữ liệu

4.2 Phân tích bộ dữ liệu

4.3 Tiền xử lý dữ liệu

4.4 Kết quả

4 Kết quả thực nghiệm

4.1 Giới thiệu về bộ dữ liệu

File csv gồm 1470 điểm dữ liệu, công bố trên cuộc thi Kaggle:

https://www.kaggle.com/datasets/pavansubhasht/ibm-hr-analytics-attrition-dataset

Chứa thông tin về các nhân viên làm việc cho công ty gồm: bằng cấp, mức độ hài lòng với môi trường, công việc, lương,

…

Mục tiêu của cuộc thi yêu cầu cần dự đoán chính xác một nhân viên của công ty có quyết định nghỉ việc hay không

4.2 Phân tích bộ dữ liệu

Bộ dữ liệu gồm 1470 dòng và 35 cột, tương ứng với 1470 bản ghi và 35 trường:

4.2 Phân tích bộ dữ liệu

Thống kê về số giá trị duy nhất của từng cột:

4.2 Phân tích bộ dữ liệu

Biểu đồ phân phối số tuổi của nhân viên:

4.2 Phân tích bộ dữ liệu

Một số biểu đồ phân phối khác:

4.2 Phân tích bộ dữ liệu

Biểu đồ số nhân viên nghỉ và không nghỉ việc theo giới tính:

4.2 Phân tích bộ dữ liệu

Biểu đồ số nhân viên nghỉ và không nghỉ việc theo tình trạng hôn nhân:

4.2 Phân tích bộ dữ liệu

Biểu đồ số nhân viên nghỉ và không nghỉ việc theo sự cân bằng giữa công việc và cuộc sống:

4.2 Phân tích bộ dữ liệu

Biểu đồ số nhân viên nghỉ và không nghỉ việc theo sự hài lòng về môi trường làm việc:

4.2 Phân tích bộ dữ liệu

Biểu đồ số nhân viên nghỉ và không nghỉ việc theo sự hài lòng về công việc:

4.2 Phân tích bộ dữ liệu

Biểu đồ số nhân viên nghỉ và không nghỉ việc theo thứ bậc công việc:

4.2 Phân tích bộ dữ liệu

Biểu đồ số nhân viên nghỉ và không nghỉ việc theo tần suất đi công tác:

4.2 Phân tích bộ dữ liệu

Biểu đồ số nhân viên nghỉ và không nghỉ việc theo các ban chuyên môn:

4.3 Tiền xử lý dữ liệu

Loại bỏ đi các trường ‘StandardHours’ ‘EmployeeCount’,

‘EmployeeNumber’, ‘MonthlyRate’, ‘Over18’ do có quá nhiều hoặc quá ít giá trị khác nhau

Thêm cột TotalSatisfaction có ý nghĩa là tổng cộng các mức

độ hài lòng của một nhân viên

TotalSatisfation là tổng các cột: ‘EnvironmentSatisfaction’,

‘JobInvolvement’, ‘JobSatisfaction’, ‘RelationshipSatisfaction’,

‘WorkLifeBalance’

4.3 Tiền xử lý dữ liệu

Visualize ma trận tương quan giữa các cột sau khi mã hóa:

4.3 Tiền xử lý dữ liệu

 Từ biểu đồ ta thấy có thể bỏ đi một số cột do tương quan rất cao với một hay nhiều cột khác:

• Bỏ ‘Education’ do tương quan rất cao với ‘EducationYear’

• Bỏ ‘YearsInCurrentRole’ do tương quan rất cao với ‘YearsAtCompany’

• Bỏ ‘Department_1’ do tương quan rất cao với ‘Department_2’

• Bỏ ‘JobLevel’ do tương quan rất cao với ‘MonthlyIncome’

Kết quả cho thấy mô hình Gradient Boosting với việc lọc bỏ

dữ liệu dư thừa cho kết quả tốt nhất

Trong tương lai, nhóm sẽ tiếp tục cải thiện mô hình bằng cách thử nghiệm mô hình hồi quy dựa trên XGBoost

THANK YOU

!