Tổng quan về phương pháp nghiên cứu Topic Modeling và cách lựa chọn mô hình phù hợp

[Series Newbie NCKH P17]

Trong quá trình thực hiện các đề tài nghiên cứu khoa học hoặc khóa luận tốt nghiệp, một trong những lỗi phổ biến khi áp dụng phương pháp mô hình chủ đề (Topic Modeling) là việc lựa chọn rập khuôn mô hình LDA (Latent Dirichlet Allocation). Dù là một phương pháp quen thuộc và dễ tiếp cận, LDA chưa chắc là giải pháp tối ưu khi kho dữ liệu văn bản trở nên phức tạp (Vayansky & Kumar, 2020).

Để giúp người nghiên cứu định hướng chính xác hơn, hệ thống sơ đồ quyết định ba bước dựa trên tổng quan nghiên cứu của Vayansky và Kumar (2020) sẽ làm rõ đặc điểm dữ liệu để lựa chọn mô hình phân tích phù hợp.

1. Dữ liệu nghiên cứu có yếu tố thay đổi theo thời gian không?

Mô hình LDA truyền thống giả định các tài liệu trong kho ngữ liệu có thể hoán đổi vị trí mà không làm thay đổi kết quả phân tích (Blei et al., 2003, dẫn theo Vayansky & Kumar, 2020). Tuy nhiên, nếu đề tài yêu cầu theo dõi xu hướng lịch sử hoặc diễn biến dư luận qua các mốc thời gian, người nghiên cứu cần cân nhắc hai phương pháp sau:

• Mô hình DTM (Dynamic Topic Models): Được đề xuất bởi Blei và Lafferty (2006) nhằm theo dõi sự phát triển của các chủ đề bằng cách liên kết chuỗi mô hình theo từng mốc thời gian cụ thể như ngày, tháng hoặc năm.
• Mô hình TOT (Topics Over Time): Do Wang và McCallum (2006) xây dựng nhằm khắc phục hạn chế chia cắt thời gian rời rạc, giúp đánh giá đồng thời biến động thời gian và mức độ tương quan trực tiếp giữa các chủ đề.

2. Các chủ đề trong dữ liệu có mối tương quan với nhau không?

Bên cạnh yếu tố thời gian, LDA còn được xây dựng dựa trên giả định rằng các chủ đề hoàn toàn độc lập và không có sự tương quan lẫn nhau (Blei et al., 2003, dẫn theo Vayansky & Kumar, 2020). Khi tập dữ liệu văn bản có các mối liên hệ nội tại chặt chẽ, các mô hình thay thế phù hợp hơn bao gồm:

• Mô hình CTM (Correlated Topic Model): Được Blei và Lafferty (2006) ứng dụng dựa trên phân phối chuẩn logistic để phân tích các chủ đề tiềm ẩn có sự tương quan nội bộ trong cùng một tài liệu.
• Mô hình PAM (Pachinko Allocation Model): Phát triển bởi Li và McCallum (2006) kế thừa từ CTM, sử dụng đồ thị có hướng không tuần hoàn để biểu diễn mối quan hệ đa chiều, phân loại dữ liệu thành hệ thống siêu chủ đề và chủ đề phụ.

3. Độ dài văn bản dữ liệu có quá ngắn không?

Các mô hình mô tả chủ đề truyền thống thường hoạt động kém hiệu quả trên các định dạng văn bản ngắn do tần suất đồng xuất hiện của từ ngữ quá thấp (Hong & Davison, 2010, dẫn theo Vayansky & Kumar, 2020). Trong trường hợp này, các giải pháp dựa trên văn bản giả định (Pseudo-document) đóng vai trò tối ưu:

• Mô hình SATM (Self-Aggregating Topic Model): Được Quan và cộng sự (2015) phát triển nhằm xử lý tình trạng thưa thớt dữ liệu bằng cách giả định mỗi văn bản ngắn là một đoạn trích từ tài liệu gốc dài hơn.
• Mô hình PTM (Pseudo-document-based Topic Model): Do Zuo và cộng sự (2016) thiết lập nhằm tối ưu hóa chi phí tính toán so với SATM bằng cách kết hợp chủ đề từ nhiều văn bản ngắn riêng lẻ.

Trong nghiên cứu khoa học, việc lựa chọn phương pháp phân tích đóng vai trò quyết định tính chính xác của kết quả. Việc nắm vững đặc tính của từng mô hình giúp tối ưu hóa quy trình xử lý dữ liệu cho các đề tài định lượng và khoa học máy tính.