Statsmodels: Phân tích hồi quy kiểu R ngay trong Python

Python đã trở thành ngôn ngữ thống trị trong lĩnh vực khoa học dữ liệu nhờ hệ sinh thái thư viện phong phú. Tuy nhiên, nhiều nhà phân tích vẫn ưa thích cú pháp công thức trực quan của R khi xây dựng các mô hình thống kê. Thư viện Statsmodels ra đời để giải quyết vấn đề này, mang sức mạnh của phân tích hồi quy kiểu R vào môi trường Python một cách liền mạch.

Statsmodels là gì và tại sao đáng tin cậy?

Statsmodels là một thư viện Python chuyên dụng cho việc thực thi các mô hình thống kê và kiểm định giả thuyết. Điểm mạnh lớn nhất của nó là khả năng xây dựng mô hình phức tạp thông qua các công thức ngắn gọn, tương tự như trong ngôn ngữ R, giúp mã nguồn trở nên dễ đọc và dễ bảo trì hơn.

Một yếu tố quan trọng tạo nên uy tín cho Statsmodels là độ chính xác. Thư viện này được kiểm tra chéo (cross-validated) cẩn thận với các phần mềm thống kê hàng đầu khác như R, Stata và SAS. Điều này đảm bảo rằng kết quả bạn nhận được từ Statsmodels có độ tin cậy cao, phù hợp cho cả nghiên cứu học thuật và phân tích chuyên nghiệp trong doanh nghiệp.

Hồi quy tuyến tính đơn giản với cú pháp R

Hồi quy tuyến tính đơn giản nhằm mục đích tìm ra mối quan hệ giữa một biến phụ thuộc (y) và một biến độc lập (x). Với Statsmodels, việc này trở nên cực kỳ đơn giản nhờ API công thức.

Đầu tiên, chúng ta cần nhập các thư viện cần thiết và tải dữ liệu. Ví dụ này sử dụng bộ dữ liệu 'tips' có sẵn trong thư viện Seaborn.

import statsmodels.formula.api as smf
import seaborn as sns
tips = sns.load_dataset('tips')

Để xây dựng mô hình dự đoán số tiền boa (tip) dựa trên tổng hóa đơn (total_bill), chúng ta sử dụng cú pháp công thức 'tip ~ total_bill'. Ở đây, dấu ngã (~) đóng vai trò tương tự dấu bằng, thể hiện sự phụ thuộc. Sau đó, chúng ta khớp mô hình với dữ liệu bằng phương thức .fit().

results = smf.ols('tip ~ total_bill', data=tips).fit()

Để xem kết quả chi tiết của mô hình, chỉ cần gọi phương thức .summary().

print(results.summary())

Mở rộng mô hình: Hồi quy đa biến và quan hệ phi tuyến

Vẻ đẹp của Statsmodels nằm ở khả năng mở rộng mô hình một cách dễ dàng. Khi muốn xem xét ảnh hưởng của nhiều biến độc lập cùng lúc, chúng ta chỉ cần thêm chúng vào công thức bằng dấu cộng (+).

Ví dụ, để xem xét cả tổng hóa đơn và kích thước bữa tiệc (size) ảnh hưởng đến tiền boa, công thức sẽ là:

results = smf.ols('tip ~ total_bill + size', data=tips).fit()

Statsmodels cũng có thể mô hình hóa các mối quan hệ phi tuyến tính, chẳng hạn như phương trình bậc hai. Bằng cách sử dụng hàm I(), chúng ta có thể thực hiện các phép toán trực tiếp trong công thức. Ví dụ, để khớp một mô hình parabol, công thức sẽ là:

results = smf.ols('y ~ x + I(x**2)', data=df).fit()

Giải mã bảng kết quả hồi quy

Kết quả từ phương thức .summary() cung cấp một bảng thông tin chi tiết về mô hình. Dưới đây là cách diễn giải một số chỉ số quan trọng:

R-squared (Hệ số xác định): Cho biết mức độ biến thiên của biến phụ thuộc được giải thích bởi các biến độc lập. Giá trị càng gần 1, mô hình càng phù hợp với dữ liệu.
Adj. R-squared: Phiên bản điều chỉnh của R-squared, hữu ích hơn trong hồi quy đa biến vì nó hiệu chỉnh cho việc thêm các biến không cần thiết.
coef (Hệ số): Cho biết mức độ thay đổi của biến phụ thuộc khi biến độc lập tương ứng thay đổi một đơn vị, trong khi các biến khác giữ nguyên. Intercept là giá trị của biến phụ thuộc khi tất cả các biến độc lập bằng 0.
std err (Sai số chuẩn): Đo lường độ chính xác của hệ số. Giá trị càng nhỏ càng tốt.
P>|t| (p-value): Cho biết ý nghĩa thống kê của từng biến. Một giá trị p-value thấp (thường < 0.05) cho thấy biến đó có ảnh hưởng đáng kể đến biến phụ thuộc.

Phân tích phương sai (ANOVA) khi biến là phân loại

Khi bạn muốn so sánh giá trị trung bình của một biến số trên nhiều nhóm của một biến phân loại, Phân tích phương sai (ANOVA) là công cụ thích hợp. Statsmodels cũng hỗ trợ ANOVA một cách trực quan.

Ví dụ, để kiểm tra xem loài chim cánh cụt (species) có phải là yếu tố dự đoán đáng kể về chiều dài mỏ (bill_length_mm) hay không, chúng ta cũng xây dựng một mô hình tuyến tính:

penguin_lm = smf.ols('bill_length_mm ~ species', data=penguins).fit()

Sau đó, đưa mô hình này vào hàm anova_lm để nhận bảng kết quả ANOVA.

results = sm.stats.anova_lm(penguin_lm)

Tương tự, ANOVA đa chiều (ví dụ, xem xét cả loài và hòn đảo sinh sống) cũng có thể được thực hiện bằng cách sử dụng dấu sao (*) trong công thức để bao gồm cả các hiệu ứng tương tác.

penguin_multi_lm = smf.ols('bill_length_mm ~ species * island', data=penguins).fit()

Sức mạnh tích hợp trong một môi trường

Với Statsmodels, các nhà khoa học dữ liệu không còn phải chuyển đổi giữa Python và R để tận dụng thế mạnh của từng ngôn ngữ. Thư viện này cung cấp một bộ công cụ mạnh mẽ, chính xác và dễ sử dụng để thực hiện các phân tích thống kê phức tạp ngay trong hệ sinh thái Python, giúp biến dữ liệu thô thành những hiểu biết sâu sắc và các quyết định kinh doanh thông minh.