Sự nguy hại của excel, phân tích dữ liệu thủ công và các biện pháp giải quyết vấn đề

Chọn nhiều worksheet cũng đư ợc dùng đ ể in cả loạt, vì th ế đó là m ột tính năng mà ngay c ả những ngư ời dùng Excel m ới cũng biết và sử dụng.. N ếu chúng ta đã dùng m ật khẩu để bảo v

Sự nguy hại của Excel, phân tích d ữ liệu thủ công và các biện pháp giải

quyết vấn đề

Excel là m ột trong những phần mềm phổ biến nhất thế giới Tuy r ất hữu dụng trong nhiều công vi ệc khác nhau nhưng ít ngư ời để ý rằng Excel cũng chính là một trong những phần mềm nguy hiểm nhất thế giới Mối nguy đó đến từ việc sử dụng Excel không đúng cách

Một số tính năng d ễ gây hại nhất của phần mềm bảng tính Excel

Nhóm các worksheet

Bằng cách chọn nhiều worksheet, chúng ta có th ể soạn thảo đồng thời và tiết kiệm khá nhiều thời gian Chọn nhiều worksheet cũng đư ợc dùng đ ể in

cả loạt, vì th ế đó là m ột tính năng mà ngay c ả những ngư ời dùng Excel m ới cũng biết và sử dụng Nhưng chúng ta có th ể dễ dàng quên việc rã nhóm (ungroup) Khi đó, mỗi thay đổi mà người dùng thực hiện đều được nhân bản sang các sheet trong nhóm, dù ngư ời dùng không ch ủ định thực hiện điều đó Và dữ liệu bị ghi đè, các công thức bị thay đổi Nếu người dùng không phát hi ện ra trư ớc khi ghi thì nh ững thay đ ổi sẽ không th ể được khôi phục về trạng thái cũ, bảng tính s ẽ bị phá hỏng hoàn toàn

Đặt mật khẩu mở tệp

Bảo vệ dữ liệu nhạy cảm là điều cần làm N ếu chúng ta đã dùng m ật khẩu

để bảo vệ tài khoản mạng xã hội thì dữ liệu kinh doanh đương nhiên cũng cần đư ợc bảo vệ và ngư ời dùng đã quen v ới việc sử dụng mật khẩu để bảo

vệ thông tin Nhưng mật khẩu rất dễ bị quên và đôi khi m ột ai đó r ời khỏi

tổ chức mà không đ ể lại mật khẩu - nhất là những mật khẩu ít được để ý như mật khẩu bảo vệ bảng tính Excel Trong khi m ật khẩu truy cập tài

khoản Facebook, Gmail hay tài kho ản ngân hàng có th ể được khôi phục nhờ các quy trình định trước thì tệp Excel lại không có nút “Quên mật khẩu” hay số điện thoại trợ giúp nào

Tuy có các công ty cung c ấp dịch vụ dò mật khẩu Excel nhưng đi ều đó có thể mất nhiều ngày, nhiều tuần hay th ậm chí lâu hơn Và ngay cả khi có

thể dò được mật khẩu thì quy trình làm vi ệc thường lệ cũng đã bị phá vỡ và khiến các công việc bị trễ hạn

Macro và VBA

Macro và VBA có th ể giúp tự động hóa các thao tác l ặp lại và t ạo ra các add-in để tiết kiệm thời gian và thực hiện đư ợc nhiều điều hữu ích Tuy nhiên, dù có thể coi là tính năng m ạnh mẽ nhất của Excel, các macro có th ể đem tới nhiều tai nạn đáng tiếc khi xóa và ghi đè dữ liệu, các công thức và thậm chí là toàn b ộ bảng tính mà không đưa ra m ột thông điệp cảnh báo này Ngay c ả những ngư ời giàu kinh nghi ệm vẫn có thể tạo ra những macro gây hại Với các macro, vì không có tính năng undo nên ngay c ả những thay đổi rất nhỏ cũng không thể được khôi phục

Tính toán thủ công và làm mới PivotTable

Do tập dữ liệu lớn, các công thức tính toán phức tạp hoặc sai công thức, một số bảng tính thư ờng cập nhật khá chậm Để tránh mất thời gian đợi Excel tính l ại mỗi khi thực hiện một thay đổi nhỏ, người dùng thư ờng lựa chọn chuyển sang chế độ tính toán th ủ công và chỉ kích hoạt việc tính l ại khi cần thiết Cả chế độ tính toán thủ công và vi ệc làm với PivotTable đ ều phụ thuộc vào người dùng và đôi khi chúng ta quên kích ho ạt việc tính lại (hay thậm chí ngư ời dùng không bi ết rằng mình ph ải làm một điều gì đó)

Nếu bảng tính Excel đ ầu tiên đư ợc mở trong chế độ tính toán th ủ công thì tất cả những bảng tính sau cũng s ẽ được đặt ở chế độ tính toán th ủ công -

dù thông thường chúng được dùng ở chế độ tính toán tự động Và khi đó tất

cả các bảng tính c ủa tổ chức không đư ợc tính l ại đúng thời điểm Kết quả

của những báo cáo sai đư ợc gửi cho lãnh đạo và họ lại dựa vào đó để ra những quyết định quan trọng là điều rất nguy hi ểm

Giá trị mặc định cho các tham s ố không b ắt buộc của hàm

Một số hàm có chứa tham số không b ắt buộc Chẳng hạn như tham s ố cuối cùng của hàm VLOOKUP Nhưng nếu không đư ợc cung c ấp, nó sẽ nhận giá trị mặc định là TRUE N ếu một số tham số không b ắt buộc phải cung cấp, ngư ời dùng sẽ dễ hiểu nó hơn và viết lệnh nhanh hơn Nhưng ngư ời dùng nhiều khi chưa thực sự hiểu tác động của việc sử dụng các tùy ch ọn mặc định Ngay cả những người dùng có kinh nghi ệm đôi khi cũng vô tình

bỏ qua các tham số tùy chọn Ban đ ầu, việc sử dụng giá tr ị mặc định cho tham số tùy chọn có thể không ảnh hư ởng gì đến kết quả tính toán nhưng sau một thời gian, khi dữ liệu được cập nhật, bảng tính có thể sinh ra kết quả sai mà ngư ời dùng không h ề hay biết

Che giấu các cột, hàng hay worksheet

Chúng ta không mu ốn ngư ời dùng cu ối nhìn thấy những tính toán h ậu trường và các cột phụ được dùng trong quá trình tính toán Vì th ế chúng ta thường che giấu các hàng, cột hay thậm chí là cả worksheet

Các bảng tính phát tri ển theo thời gian và những thông tin đư ợc che giấu

có thể bị lãng quên Đi ều đó khiến cho các b ảng tính chứa đầy những ô không c ần thiết và làm ch ậm quá trình tính toán Các hàng và c ột bị che giấu cũng có thể gây lỗi cho các công th ức, đặc biệt là khi các công th ức được kéo - thả mà không biết có một số ô bị ẩn

Liên kết bảng tính với các ô trong b ảng tính khác

Liên kết các bảng tính Excel v ới nhau có thể giúp giảm đư ợc khá nhiều thời gian vì các b ảng tính đư ợc tự động cập nhật khi bảng tính khác đư ợc cập nhật Nhưng nếu vị trí của ô đư ợc liên kết bị thay đổi khi b ảng tính liên kết tới nó đang đóng thì thay đ ổi sẽ không đư ợc cập nhật Khi các dòng mới hay cột mới đư ợc bổ sung, b ảng tính liên k ết cũng không bi ết vị trí tham chi ếu đã thay đổi Vì thế, bảng tính đã đư ợc liên kết tới ô sai vị

trí Quá trình c ập nhật sẽ bị sai lệch Dù có thể dùng các miền đư ợc đặt tên

để khắc phục điều đó nhưng những người hay liên kết các bảng tính lại ít khi dùng đến tính năng này Khi các b ảng tính được liên kết theo chuỗi thì vấn đề càng trở nên phức tạp và khó theo dõi

Dưới đây là một vài vụ việc điển hình giúp chúng ta hiểu rõ hơn về tác hại của việc sử dụng Excel sai cách:

- Năm 2003, m ột lỗi cắt dán trong bảng tính đã khiến cho TransAlta, m ột công ty phát điện lớn của Canada, mua nhiều hợp đồng truyền tải điện của

Mỹ để dự phòng v ới giá cao và thiệt hại 24 triệu đô la M ỹ

- Công ty Barclays (Anh) đã bu ộc phải mua một số cổ phiếu của Lehman Brothers mà h ọ chưa từng định mua khi hai lu ật sư cấp rất thấp định dạng lại một bảng tính Excel và chuy ển đổi sang tài liệu định dạng PDF Kết quả

là các cột ẩn của 179 h ợp đồng không đ ịnh ký kết bỗng nhiên xu ất hiện và khi Barclays n ộp tài liệu cho tòa án, h ọ buộc phải thực hiện các hợp đồng

đó Thương vụ Lehman/Barclays được đóng lại vào ngày 22/9/2008

- Năm 2012, công ty JPMorgan (M ỹ) cần một mô hìn h VaR mới cho danh mục tín dụng tổng hợp và đã phân cho m ột chuyên gia xây d ựng mô hình định lượng làm việc đó Mô hình mới chạy qua một chuỗi các bảng tính Excel trong khi nh ững bảng tính này c ần được thực hiện thủ công bằng cách chép và dán d ữ liệu từ bảng tính này sang b ảng tính khác Nhóm rà soát mô hình nội bộ của họ đã xác định đư ợc vấn đề đó và một vài vấn đề khác nhưng vẫn phê duyệt mô hình đồng thời khuyến cáo rằng mô hình từng đư ợc tự động hóa và sửa một lỗi rõ ràng khác Sau khi v ụ đầu tư ở London vỡ lở, nhóm rà soát mô hình m ới phát hi ện ra rằng mô hình vẫn chưa được tự động hóa và hơn thế còn chứa một loạt các lỗi nghiêm trọng khác JP Morgan đã đầu tư hàng chục tỷ đô la ở London Việc triển khai

mô hình Value -at-Risk m ới đã khiến JP Morgan thi ệt hại 2 tỷ đô la vào năm 2012 nếu định giá theo thị trường

- Năm 2014, khi tư v ấn cho thương v ụ sáp nhập giữa Tibco và Vista, ngân hàng Đầu tư đa quốc gia Goldman Sachs (Trụ sở tại Mỹ) đã sử dụng Excel

để tính ra giá trị của Tibco là 4,2 tỷ đô la nhưng sau đó lại thông báo kết quả rà soát là 4,1 tỷ đô la L ỗi bảng tính cũng khi ến cho giá trị của Tibco

cao gấp 18 lần thu nhập trư ớc khi trừ lợi tức, thuế, khấu hao và trả nợ

(Ebitda) c ủa năm đó trong khi t ỷ lệ đó sau khi điều chỉnh chỉ là 17,6 V ấn

đề là ở chỗ phần vốn chủ sở hữu tương ứng với các cổ phiếu bị hạn chế được gộp vào cùng với số cổ phiếu thông thường

Chính những nguy cơ to l ớn của việc sử dụng Excel đã khiến một số cá nhân, tổ chức phối hợp để xây dựng một trang web chuyên bi ệt về vấn đề này, đó là trang (http://www.eusprig.org/), ở đó, họ có thể chia sẻ các kinh nghiệm và các tài li ệu liên quan

Các giải pháp phòng tránh tác h ại của Excel

Để phòng tránh tác hại của Excel, người dùng cần lưu ý thực hiện những điểm sau:

- Kiểm tra kỹ các bảng tính và macro, bao g ồm cả việc kiểm tra lỗi và thẩm định logic;

- Kiểm tra logic t ất cả các kiểu dữ liệu;

- Dự đoán những đi ều ngư ời dùng khác có th ể làm và đ ảm bảo bảng tính của bạn có thể đảm đương những điều đó;

- Phân quyền truy c ập mạng và qu ản lý mật khẩu bảo vệ các tệp Excel;

- Thường xuyên sao lưu các b ảng tính trong quá trình làm vi ệc;

- Đặt tên cho các đo ạn dữ liệu và dùng tên thay cho tham chi ếu ô tuyệt đối;

- Tự rà soát kết quả của bảng tính và tự hỏi bản thân “k ết quả này có phù hợp với dự kiến không?”

Tuy nhiên, tất cả những điều trên đây mới chỉ là phần nổi của tảng băng Những vư ớng mắc của mỗi người dùng cụ thể không là gì so v ới vấn đề mà Excel gây ra v ới các t ổ chức Điều nguy hiểm nhất mà Excel đem t ới là phân tích dữ liệu không chính quy (shadow analytics) - thứ đã tồn tại từ rất lâu Chúng ta đều ngầm hiểu rằng quá trình thu thập, xử lý và phân tích dữ liệu được thực hiện một cách tự phát bởi tất cả mọi ngư ời trong doanh nghiệp - họ được Excel “trao quy ền” Kết quả là các báo cáo đư ợc sinh ra bên ngoài h ệ thống CNTT, vì th ế chúng không đư ợc kiểm soát v ề chất

lượng dữ liệu Đôi khi chúng ta coi đó là chuy ện bình thường và bỏ qua nó Một số giám đốc công nghệ coi đó là m ột vấn đề và cố gắng giải quyết nó bằng cách tạo ra nh ững hệ thống sinh ra t ất cả các loại báo cáo mà ngư ời dùng cần tới để họ không c ần phải làm gì ngoài nh ững hệ thống chính quy Nhưng có lẽ chưa từng có một hệ thống nào như vậy thành công, dù ngư ời

ta có đầu tư bao nhiêu tiền và công sức vào đó Dù hệ thống báo cáo có đầy

đủ và tiện dụng đến đâu cũng luôn có những người chép dữ liệu ra bên ngoài để tự chế biến Các hệ thống BI tự phục vụ, trong đó đội ngũ CNTT chuẩn bị dữ liệu và cung cấp lớp tạo báo cáo đ ể người dùng cuối tự tạo báo cáo theo ý mình, cũng không th ể loại bỏ hoàn toàn tính tự phát của người dùng H ọ vẫn sẽ chép dữ liệu ra ngoài Sự “phi chu ẩn” này n ảy sinh ngay

từ lãnh đạo cấp cao, những ngư ời như giám đốc tài chính và giám đ ốc điều hành của doanh nghiệp rất hay sử dụng các báo cáo tạo thủ công b ằng

Excel Cách làm đó được truyền xuống đội ngũ nhân viên bên dư ới Ngoài

ra, chúng ta còn ph ải xét đến các tác đ ộng từ bên ngoài: d ữ liệu từ khách hàng, đối tác Điều đó xảy ra với cả những ngành được quản lý chặt chẽ như ngân hàng, nơi rất cần tới sự chuẩn hóa của dữ liệu Những người làm CNTT cũng không phải là ngoại lệ Với những nhu cầu đơn giản, họ sẽ sử dụng Excel hay CSDL (và n gồi viết một số thủ tục để xử lý dữ liệu trong

đó)

Quy trình xử lý dữ liệu thủ công với nhiều khả năng sinh lỗi dẫn đến hệ quả dễ thấy là phân tích sai, không k ịp thời, khiến cho các quyết định đúng không được đưa ra hoặc bị trễ Cùng với việc lãng phí tài nguyên trong phân tích dữ liệu, chi phí phân tích cao, nh ững quyết định sai l ầm hay chậm trễ do ảnh hư ởng của quy trình phân tích d ữ liệu thủ công là những nguồn rủi ro hoạt động đáng kể nhưng ít đư ợc chú ý để tìm cách hạn chế, giảm thiểu

Vì việc loại bỏ các hoạt động phân tích dữ liệu của ngư ời dùng cu ối là bất khả thi, chúng ta nên th ừa nhận sự tồn tại của nó và tìm cách hoàn thi ện

Để làm được điều đó, cần phân tích và nâng cấp từng công đoạn cụ thể của quá trình phân tích d ữ liệu từ thu thập, làm sạch dữ liệu cho tới phân tích, tổng kết và trực quan hóa Trư ớc hết, để tránh việc ngư ời dùng sử dụng những nguồn dữ liệu nhân bản và bị sửa đổi, không chính xác, chúng ta c ần xây dựng các danh mục dữ liệu tập trung Hãy xem xét các báo cáo th ủ công thường dùng bởi những người quan trọng, bắt đầu từ những báo cáo quan trọng nhất Từ đó chúng ta s ẽ nhận ra rất nhiều dữ liệu cục bộ, không cập nhật, đư ợc sử dụng làm đ ầu vào cho các báo cáo Sau khi ki ểm tra, làm sạch, chúng ta có th ể tạo ra những danh mục dữ liệu tập trung Các danh mục đó sẽ giúp ngư ời dùng không ph ải xử lý thủ công mà vẫn có thông tin cập nhật

Dữ liệu cục bộ không tự nhiên mà có Ban đ ầu chúng cũng đư ợc lấy từ các

cơ sở dữ liệu tập trung nhưng sau khi lưu v ề máy tính cá nhân của mỗi người dùng thì không được cập nhật (hoặc ngược lại, được người dùng cập nhật riêng) Hoặc các danh m ục đư ợc ngư ời dùng chia sẻ cho nhau qua email, từ đó hình thành nên nhi ều phiên b ản khác nhau, r ất khó quản lý Đ ể hình thành nên các danh m ục dữ liệu tập trung, chúng ta có th ể bắt đầu bằng các danh m ục lưu trữ trên thư mục chia sẻ trên file server, các thư viện trên SharePoint r ồi tiến tới những hình thức chia sẻ dữ liệu tiên tiến hơn như ATOM feed, OData Quan trọng hơn, cần loại bỏ thói quen gửi dữ liệu qua email để tránh nguy cơ tái sinh nh ững nguồn dữ liệu phân tán, không được cập nhật

Một nguồn gốc khác c ủa dữ liệu phân tán là các cu ộc khảo sát, thu th ập dữ liệu thủ công Ngư ời dùng thư ờng tạo form thu th ập dữ liệu bằng Word hay

Excel và gửi cho nhau Cách làm này khi ến cho việc tổng hợp dữ liệu mất rất nhiều thời gian đồng thời dễ phát sinh l ỗi Trong khi không th ể phát triển ứng dụng cho tất cả các nhu cầu thu th ập dữ liệu từ người dùng cu ối, các tổ chức có thể đào tạo, hướng dẫn ngư ời dùng t ạo ra các template Excel tốt hơn và đưa lên các h ệ thống cho phép cùng so ạn thảo (co-authoring) như SharePoint hay sử dụng các hình thức khảo sát trên SharePoint, Google Survey,

Ngay cả khi thu th ập dữ liệu từ nhiều tệp Excel khác nhau, vi ệc hướng dẫn người dùng sử dụng PivotTable and PivotChart Wizard - tính năng có từ phiên bản 2007 - cũng sẽ giúp tăng tốc độ tổng hợp dữ liệu lên rất nhiều lần Các sai l ệch do lỗi soạn thảo cũng có th ể được xử lý dễ dàng, nhanh chóng hơn với công cụ Group dòng, cột Thay vì phải chỉnh sửa thủ công, người dùng có thể nhờ Excel tự động gộp các dòng, cột thành nhóm và tính tổng

Cách làm trên đây có thể tăng năng suất thu thập dữ liệu lên gấp nhiều lần nhưng vẫn chưa phải là phương án tối ưu Nếu số nguồn dữ liệu lên đến hàng chục hay hàng trăm đơn v ị vì sai sót v ẫn có thể xảy ra khi công vi ệc lặp lại mỗi tuần, mỗi tháng hay mỗi quý Vì th ế, để giảm thiểu các lỗi có thể xuất hiện, chúng ta cần thay th ế việc thu thập và xử lý dữ liệu thủ công bằng các biện pháp tự động bằng cách cài đ ặt data gateway

Trong công đoạn làm sạch số liệu, tính năng Flash Fill - có từ phiên bản Excel 2013 - giúp t ự động hóa và tăng tốc những thao tác gộp/tách dữ liệu thủ công vốn rất mất thời gian Nh ững thao tác như g ộp/tách h ọ tên, ngày tháng, các giá trị phân cách bằng khoảng trắng từ những nguồn dữ liệu bên ngoài, chuyển đổi kiểu hay thậm chí là loại bớt các dữ liệu trùng (nhưng có định dạng khác nhau) được xử lý rất khéo bằng thuật toán khớp mẫu phức

tạp của Microsoft

Sau khi thu thập và làm sạch dữ liệu, chúng ta đi t ới bước được nhiều

người chú ý nhất: Phân tích dữ liệu Quy trình phân tích dữ liệu của một người dùng Excel “điển hình” thường bao gồm các bước sau:

- Chép hay import m ột tập dữ liệu vào Excel (ch ẳng hạn như s ố liệu bán hàng)

- Bổ sung một số cột vào tập dữ liệu để giúp ích cho vi ệc phân tích, thư ờng

là bằng cách sử dụng VLOOKUP

- Tạo báo cáo tổng hợp với Pivot Table hay các công th ức (SUMIF,

COUNTIF)

Cách làm này sẽ tốn thời gian và d ễ sai sót vì ngư ời dùng thư ờng phải thực hiện nhiều thao tác thủ công

- Mở rộng vùng tham chi ếu khi b ổ sung thêm cột vào các bảng lookup (các Table trong Excel giúp gi ảm bớt gánh nặng nên ngư ời dùng c ần đư ợc

hướng dẫn để sử dụng chúng)

- Việc bổ sung thêm c ột cho bảng tham chi ếu nghĩa là ch ỉ mục cột trong các tham số phải đư ợc cập nhật

- Sao chép các công th ức VLOOKUP cho toàn b ộ tập dữ liệu mỗi khi c ập nhật dữ liệu mới

Dù có hiệu suất rất kém nhưng vi ệc sử dụng VLOOKUP v ẫn tiếp tục được duy trì Ít người để ý rằng Power Pivot đã có từ phiên bản Excel 2010, với tính năng này chúng ta có th ể tạo mối quan hệ giữa các trường dữ liệu chỉ bằng thao tác kéo - thả và qua đó lo ại trừ việc sử dụng VLOOKUP

Phân tích dữ liệu chưa ph ải là bước cuối của chu trình, chúng ta còn c ần phải phân phối các báo cáo cho nh ững bên liên quan (và đ ặc biệt là lãnh đạo) Và gửi báo cáo qua email cũng tệ hại không kém việc gửi các loại dữ liệu đầu vào qua email vì b ản thân các báo cáo có th ể được sử dụng lại Thay vì gửi báo cáo tĩnh, chúng ta c ần tạo báo cáo động và gửi liên kết trỏ tới báo cáo để ngư ời nhận có thể tự “sinh” báo cáo theo ý mu ốn, nhận được thông tin c ập nhật mà không cần chép lại tệp báo cáo mỗi lần Một vấn đề khác cũng cần được quan tâm là việc lọc dữ liệu theo từng đối tượng (ví dụ như báo cáo theo đơn vị kinh doanh, theo mảng sản phẩm dịch vụ) hay gộp báo cáo từ nhiều đơn v ị khác nhau Việc lọc, sao chép dữ liệu thủ công (mà cuối cùng cũng là nh ững thao tác c ắt - dán) rồi gửi email cho từng đơn vị cũng rất dễ dẫn đến sai sót Trong khi đó, tính năng b ảo mật mức bản ghi (Row-level security) c ủa Power BI có th ể được dùng đ ể kiểm soát khả năng truy cập dữ liệu cho từng nhóm ngư ời dùng m ột cách hiệu quả Tính năng