Quy trình kiểm tra chất lượng phần mềm Kaspersky để giảm thiểu các sự cố lỗi phần mềm nghiêm trọng

Theo Microsoft, sự cố màn hình xanh do bản cập nhật giải pháp bảo mật CrowdStrike Falcon gây ra đã ảnh hưởng đến hơn 8,5 triệu máy tính trên toàn thế giới. Sự cố này đã khiến nhiều công ty phải trả giá đắt và cũng gây ra nhiều cuộc tranh luận về cách ngăn chặn những tình huống tương tự xảy ra lần nữa.

Trước hết, không ai miễn nhiễm với lỗi; đơn giản là không thể đảm bảo hoàn toàn không có lỗi trong các hệ thống phần mềm phức tạp. Tuy nhiên, một quy trình có cấu trúc hợp lý để phát triển, thử nghiệm và cung cấp sản phẩm cùng các bản cập nhật của chúng cho thiết bị của người dùng có thể giảm thiểu đáng kể rủi ro xảy ra lỗi nghiêm trọng. Và chúng tôi đã áp dụng quy trình như vậy trong nhiều năm.

Chúng tôi cũng đã gặp phải các sự cố liên quan trực tiếp đến các bản cập nhật cho sản phẩm của mình. Nhưng lần cuối cùng chúng tôi gặp phải sự cố đáng chú ý như vậy là vào năm 2013. Sau sự cố khó chịu đó, chúng tôi đã tiến hành phân tích kỹ lưỡng các nguyên nhân gốc rễ — dẫn đến việc đại tu hoàn toàn cách tiếp cận của chúng tôi đối với việc tạo và thử nghiệm các bản cập nhật trong cả sản phẩm dành cho người dùng doanh nghiệp và gia đình. Và hệ thống chúng tôi xây dựng đã chứng minh được độ tin cậy của nó: trong 11 năm qua, chúng tôi chưa từng gặp phải một lỗi nào có quy mô tương tự.

Chúng tôi không giấu giếm các cơ chế phát hành bản cập nhật mà chúng tôi đã xây dựng và sẵn sàng chia sẻ chúng với ngành. Xét cho cùng, nếu không có sự trao đổi tự do các giải pháp và phương pháp hay nhất do các công ty khác nhau phát triển, tiến trình trong ngành an ninh mạng sẽ bị cản trở rất nhiều. Trong số các cơ chế bảo vệ phát hành bản cập nhật chính là thử nghiệm nhiều cấp, triển khai dần dần các bản cập nhật và giám sát tự động các bất thường. Chúng ta hãy cùng tìm hiểu chi tiết về chúng.

Kiểm tra nhiều cấp

Có hai loại bản cập nhật cho sản phẩm của chúng tôi — một số được sử dụng để thêm logic phát hiện mới và một số được sử dụng để thay đổi chức năng của một sản phẩm nhất định. Việc thêm các chức năng mới có khả năng gây ra nhiều rủi ro hơn, nhưng đôi khi các bản cập nhật logic cũng có thể gây ra sự cố. Do đó, chúng tôi kiểm tra cẩn thận cả hai loại bản cập nhật ở các giai đoạn khác nhau.

Kiểm tra các kết quả dương tính giả

Khi tạo và phát hành các quy tắc phát hiện (cả các quy tắc được tạo tự động và các quy tắc do các nhà phân tích viết), chúng tôi sẽ kiểm tra chúng trên cơ sở dữ liệu mở rộng về các đối tượng hợp lệ (hoặc "sạch") — tệp, trang web, kiểu hành vi, v.v. Theo cách này, các kết quả dương tính giả được xác định và lọc ra. Chúng tôi có một bộ sưu tập các đối tượng hợp lệ mở rộng và liên tục được cập nhật — cả phần mềm và tài nguyên web sạch — trên đó tất cả các quy tắc đã tạo đều được kiểm tra.

Một trong những cách bổ sung bộ sưu tập này là thông qua Chương trình danh sách cho phép của chúng tôi, cho phép các nhà phát triển phần mềm (cả khách hàng phát triển và sử dụng giải pháp của riêng họ và các nhà cung cấp độc lập) cung cấp phần mềm của họ cho chúng tôi. Điều này làm giảm số lượng kết quả dương tính giả tiềm ẩn và nguy cơ phân loại phần mềm không chính xác.

Các phương pháp khác để lấy tệp và siêu dữ liệu bao gồm trao đổi thông tin với các đối tác công nghệ, sử dụng Cổng thông tin tình báo về mối đe dọa của chúng tôi, v.v. Tổng cộng, cơ sở dữ liệu các đối tượng hợp lệ của chúng tôi chứa thông tin về khoảng 7,2 tỷ đối tượng.

Kiểm tra trên máy ảo

Nhưng thử nghiệm cập nhật không chỉ giới hạn ở việc kiểm tra chúng trên các bộ sưu tập tệp. Nếu không phát hiện thấy vấn đề nào ở giai đoạn đầu, tất cả các thành phần được cập nhật sau đó sẽ trải qua thử nghiệm tự động nhiều giai đoạn trên các máy ảo với nhiều cấu hình sản phẩm bảo mật, phần mềm và hệ điều hành khác nhau. Nhiều kịch bản khác nhau được chạy liên quan đến sản phẩm của chúng tôi và hoạt động của các cơ chế bảo mật cũng như mô phỏng các hành động thông thường của người dùng.

Đối với các kịch bản sản phẩm cụ thể, bao gồm quét toàn bộ hệ thống tệp, quy trình cài đặt bản cập nhật sản phẩm, khởi động lại sau khi cập nhật, v.v. Điều này cho phép chúng tôi đảm bảo rằng sản phẩm hoạt động bình thường sau khi cập nhật và không bị sập hoặc ảnh hưởng đến tính ổn định của hệ thống. Mỗi bản cập nhật đều trải qua quá trình kiểm tra này.

Các kịch bản của người dùng mô phỏng hành vi thông thường của con người trên máy tính — mở trình duyệt, truy cập trang web, tải xuống tệp, khởi chạy chương trình. Kiểm tra này cho phép chúng tôi đảm bảo sản phẩm không có tác động tiêu cực đến hiệu suất, tốc độ làm việc hoặc tính ổn định của máy tính.

Riêng các bản cập nhật được tự động kiểm tra khả năng tương thích với phần mềm công nghiệp (ví dụ: hệ thống SCADA). Bất kỳ tác động tiêu cực nào đến các giải pháp liên quan đến lĩnh vực này đều có thể dẫn đến việc dừng quy trình sản xuất không được chấp nhận và thiệt hại tài chính tiềm ẩn.

Kiểm soát chất lượng

Ngoài các kiểm tra nêu trên, chúng tôi còn có một nhóm kiểm soát chất lượng riêng. Không một bản cập nhật sản phẩm nào được gửi đến khách hàng của chúng tôi mà không có xác nhận về sự sẵn sàng của các chuyên gia. Nhóm này cũng điều chỉnh và liên tục cải thiện các quy trình xác minh nếu cần thiết, đồng thời theo dõi sự xuất hiện của các rủi ro vận hành có thể xảy ra.

Phát hành theo từng giai đoạn các bản cập nhật công nghệ bảo vệ

Tất nhiên, chúng tôi là những người thực tế và thừa nhận rằng toàn bộ hệ thống kiểm tra nhiều cấp độ này vẫn có thể chưa đủ. Ví dụ, một số phần mềm của bên thứ ba sẽ được cập nhật cùng lúc với phần mềm của chúng tôi và điều này có thể gây ra xung đột không lường trước được. Và nói chung, không thể dự đoán tất cả các kết hợp cấu hình của các chương trình và hệ thống khác nhau. Do đó, sau khi bản cập nhật ảnh hưởng đến chức năng của các giải pháp bảo mật đã sẵn sàng và được chấp thuận, bản cập nhật đó không được gửi đến tất cả máy tính của người dùng cùng một lúc. Thay vào đó, các bản cập nhật được phát hành theo từng giai đoạn.

Bản cập nhật sẽ trải qua quá trình thử nghiệm sơ bộ trên các máy trong mạng của chúng tôi trước khi được công bố trên các máy chủ cập nhật công khai. Nếu không phát hiện thấy sự cố nào, bản cập nhật sẽ được một số lượng rất nhỏ người dùng được chọn ngẫu nhiên nhận trước. Nếu không có vấn đề hoặc lỗi nào được biểu hiện, thì số lượng máy tính nhận được bản cập nhật sẽ tăng dần theo các khoảng thời gian nhất định, và cứ thế cho đến khi bản cập nhật khả dụng cho tất cả người dùng.

Giám sát bất thường tự động

Vậy điều gì sẽ xảy ra nếu bản cập nhật gây ra sự cố? Chúng tôi giám sát hành vi của các giải pháp đã cập nhật bằng cách sử dụng dữ liệu ẩn danh được truyền tự nguyện thông qua KSN của mình và nhanh chóng dừng phân phối bản cập nhật nếu có sự cố.

Nhưng quan trọng nhất là nhờ sự kết hợp giữa giám sát bất thường tự động và phát hành bản cập nhật theo từng giai đoạn, lỗi sẽ chỉ ảnh hưởng đến một số lượng rất nhỏ máy tính — hàng trăm chứ không phải hàng triệu hoặc thậm chí hàng nghìn máy tính.

Kiểm tra bản cập nhật ở phía máy khách

Công ty chúng tôi cung cấp khả năng kiểm tra lại các bản cập nhật đã nhận, chỉ lần này là ở phía máy khách thông qua bảng điều khiển quản lý Kaspersky Security Center.

Quản trị viên hệ thống của khách hàng có thể thiết lập một nhóm máy tính thử nghiệm riêng biệt (hoặc máy ảo) có cấu hình và bộ phần mềm phổ biến nhất cho mạng của tổ chức, sau đó tạo tác vụ để kiểm tra các bản cập nhật — chỉ định nhóm thử nghiệm này làm mục tiêu. Trong trường hợp này, tất cả các bản cập nhật đầu vào trước tiên chỉ được cài đặt trên các máy thử nghiệm, được thử nghiệm trong quá trình hoạt động và chỉ sau khi thử nghiệm, chúng mới được phân phối trên toàn bộ mạng công ty. Bạn có thể tìm thêm thông tin về cách thiết lập kiểm tra như vậy trên trang web hỗ trợ kỹ thuật của chúng tôi.

Chúng tôi phân tích kỹ lưỡng từng vấn đề liên quan đến bản cập nhật phần mềm có thể phát sinh (bao gồm cả những vấn đề được xác định trong các thử nghiệm sơ bộ), tìm hiểu lý do xảy ra sự cố và sau đó thực hiện các biện pháp để đảm bảo chúng không xảy ra nữa. Ngoài ra, chúng tôi đã triển khai thực hành chủ động xác định và đánh giá rủi ro đối với các sự cố có thể xảy ra và giải quyết chúng một cách có hệ thống. Nhờ thực hiện điều này trong suốt quá trình hoạt động của công ty, chúng tôi đã thiết lập được một hệ thống đa cấp cho phép chúng tôi giảm đáng kể rủi ro phát sinh các sự cố mới.

Hương - Theo Kaspersky Blog