Thách thức về khả năng tái lập nghiên cứu

Khủng hoảng về khả năng tái lập

Công bố mới đây của nhà tâm lý học xã hội Brian Nosek (ĐH Virginia, Charlottesille) trên tạp chí Nature Human Behaviour (27/8) vừa tạo ra một cơn chấn động trong giới khoa học khi hé lộ: chỉ 62% trong 21 nghiên cứu về khoa học xã hội được công bố trên 2 tạp chí uy tín Nature và Science trong giai đoạn 2010-2015 có thể được tái lập (reproducibility – khả năng thực hiện lại nghiên cứu đã công bố). Để tái lập nghiên cứu, các nhà khoa học đã tiến hành lại thí nghiệm với cùng một giao thức như trong nghiên cứu gốc để xác minh phát hiện chính của công bố đó. Và dù đã tăng kích cỡ mẫu nghiên cứu lên gấp 5 lần so với cỡ mẫu nguyên bản – để tăng độ tin cậy của hiệu ứng, nhưng độ mạnh của hiệu ứng lại chỉ bằng 50% so với nghiên cứu gốc.

Đây không phải lần đầu tiên Brian Nosek nỗ lực kiểm tra tính khả lặp (khả năng tái lập) của các công bố – năm 2015, nhóm các nhà khoa học thuộc nhóm Cộng tác Khoa học Mở (Open Science Collaboration), do Nosek điều phối, đã thử tái lập 100 thí nghiệm công bố trên 3 tạp chí tâm lý học hàng đầu - Psychological Science, Journal of Personality and Social Psychology và Journal of Experimental Psychology: Learning, Memory and Cognition. Kết quả cho thấy, trong khi 97% kết quả nghiên cứu ban đầu có ý nghĩa về mặt thống kê thì tỷ lệ này ở các thí nghiệm tái lập chỉ là 36%. Gần nhất, năm 2016, công bố của Colin F. Camerer trên Science (Vol 351) chỉ ra 2/3 trong số 18 nghiên cứu kinh tế được công bố trên 2 tạp chí - American Economic ReviewvàQuarterly Journal of Economics từ năm 2011 đến 2014, có thể được tái lập.

Khả năng tái lập được cho là yếu tố cần thiết để xây dựng độ tin cậy của nghiên cứu, thì dường như đang có “một cơn khủng hoảng” về tính khả lặp của các nghiên cứu khoa học” – theo ý kiến của 90% trong số 1.576 nhà khoa học được Nature khảo sát vào năm 2016. 70% trong số này đã thất bại khi thử lặp lại thí nghiệm của một nhà khoa học khác, và có đến 50% thậm chí không thể tái dựng lại thí nghiệm của chính họ. Điều này đặt ra câu hỏi về tính chính xác của các nghiên cứu gốc, đặc biệt khi chúng đều được công bố trên các tạp chí khoa học hàng đầu – tương đương một dấu chứng nhận về độ chính xác, và được các nhà khoa học khác trích dẫn mà không chút hoài nghi.

Chi phí để tái lập

Khảo sát của Nature cũng tìm cách lý giải vì sao tính khả lặp của các nghiên cứu khoa học lại thấp ở mức độ đáng báo động như vậy. Một câu trả lời phổ biến là vì việc tự kiểm tra tính khả lặp tốn quá nhiều thời gian và tiền bạc. IrakliLoladze, một nhà sinh toán học (mathematical biologist) tại Đại học Khoa học tế Bryan ở Lincoln, Nebraska, ước tính rằng những nỗ lực để đảm bảo tính khả lặp có thể làm tăng thời gian của dự án lên 30%, ngay cả đối với các nghiên cứu lý thuyết của ông. Bởi Irakli phải kiểm tra tất cả các bước, từ dữ liệu thô đến các con số cuối cùng. Trong nhiều trường hợp, thời gian phải tiêu tốn thêm là gần như gấp đôi và các phòng tiết kiệm có xu hướng tiết kiệm ngân sách bằng cách lờ đi bước này. Chỉ những dự án thực sự đột phá hoặc có kết quả không như kỳ vọng, các nhà khoa học mới thực hiện tái lập thí nghiệm để đảm bảo độ tin cậy của kết quả.

Cũng trong khảo sát của Nature, hơn 60% các nhà khoa học được phỏng vấn cho rằng áp lực để có công bố và việc chỉ lựa chọn một số bằng chứng thay vì tất cả có ảnh hưởng mạnh đến khả năng tái lập thấp hiện nay. Cùng với đó, là ảnh hưởng từ việc tái lập thất bại ngay trong thí nghiệm, giám sát kém hoặc sức mạnh thống kê thấp. Một số ít cho rằng việc thay đổi thuốc thử và sử dụng các kỹ thuật chuyên biệt khó lặp lại cũng có thể gây nên tình trạng này. Áp lực từ việc chạy đua với thời gian cho các khoản tài trợ và công bố, và gánh nặng từ bộ máy quan liêu đã khiến các nhà khoa học không có đủ thời gian dành cho nghiên cứu, vì thế mà việc kiểm tra tính khả lặp dễ dàng bị bỏ qua.

Định kiến “bới lông tìm vết”

Tuy nhiên, nguyên nhân quan trọng nhất của tình trạng này là vì cộng đồng khoa học dường như chưa có một thái độ thiện cảm đối với các nghiên cứu tái lập [nghiên cứu lặp lại thử nghiệm của nghiên cứu gốc] vì cho rằng chúng được tạo ra chỉ nhằm bác bỏ nghiên cứu gốc, thậm chí là hạ thấp uy tín của tác giả nghiên cứu gốc. Một số nhà khoa học được phỏng vấn nói rằng họ đã thất bại khi muốn xuất bản một nghiên cứu tái lập vì các biên tập viên và người bình duyệt yêu cầu họ phải so sánh nghiên cứu của họ với nghiên cứu gốc. Paul Gertler của Nature đã khảo sát 11 tạp chí kinh tế hàng đầu thế giới và thấy rằng, từ năm 2011 đến nay, mới chỉ có 11 nghiên cứu tái lập [sử dụng bộ dữ liệu của nghiên cứu gốc] được công bố, và tất cả đều bác bỏ kết luận cũ. Cũng với 11 tạp chí này, Paul đã khảo sát 35 biên tập viên và đồng biên tập viên đều trả lời rằng về nguyên tắc, họ chỉ xuất bản một nghiên cứu tái lập nếu nó lật ngược lại kết quả của nghiên cứu gốc.

Một cuộc công kích cá nhân giữa những người tái lập và tác giả gốc đã diễn ra khi tổ chức Sáng kiến Quốc tế về Đánh giá Tác động (3ie) chủ động tài trợ cho việc tái lập mã phần mềm. Về cơ bản, chương trình này hoạt động như sau: 3ie lựa chọn các công bố có ảnh hưởng để tái lập và tổ chức một cuộc thi mở, trao giải thưởng trị giá 25.000 USD cho việc tái lập từng nghiên cứu. 3ie cũng cung cấp cơ hội cho các tác giả gốc xem xét và bình luận về các bản tái lập. Trong 27 nghiên cứu được lựa chọn, có 21 bản tái lập đã được hoàn thành và 7 trường hợp báo rằng họ không thể tái dựng đầy đủ kết quả của nghiên cứu gốc. Bản tái lập duy nhất được xuất bản trên tạp chí có bình duyệt là nghiên cứu tuyên bố bác bỏ kết quả của nghiên cứu gốc. Sau cuộc thi, hai phe nhà nghiên cứu gốc và bên tái lập bắt đầu có những chỉ trích nhau trước công chúng, mở đầu cho một cuộc tranh luận gay gắt được gọi là Worm Wars. Các tác giả của 5 trong số 27 nghiên cứu gốc đã viết công khai rằng các bản tái lập có chủ đích bác bỏ các kết quả của họ và đã đánh lừa công chúng.

***
Trên thực tế, các nỗ lực tái lập nghiên cứu đã cung cấp những xác minh về độ tin cậy của các kết quả nghiên cứu ban đầu, từ đó góp phần mang đến một nền khoa học chính xác hơn. Bên cạnh đó, việc các nhà khoa học khác “thực hiện lại” các thí nghiệm của mình sẽ tạo ra áp lực buộc các nhà khoa học phải chịu trách nhiệm cao hơn đối với nghiên cứu của mình – bằng việc đảm bảo rằng thử nghiệm tương tự cũng cho ra kết quả tương tự. Vì thế, việc nhân rộng các nỗ lực tái lập sẽ là bước tiến quan trọng để đưa khả năng tái lập thành yếu tố bắt buộc đối với các nghiên cứu. Nhưng điều này chỉ có thể được thực hiện khi các bên liên quan như nhà xuất bản, nhà tài trợ hành động, thông qua việc yêu cầu các tác giả công khai dữ liệu, mô hình và thông số cần thiết để phục vụ cho tái lập nghiên cứu một cách chính xác. Hiện nay, chỉ có một số ít các tạp chí khoa học uy tín yêu cầu các tác giả cung cấp các dữ liệu kiểu này trước khi xuất bản, trong khi các tạp chí hạng hai hoặc ở các lĩnh vực như xã hội học hay tâm lý học thì trường hợp như vậy rất hiếm. Người phát ngôn của Nature và Science thông báo cả 2 tạp chí đang cố gắng khuyến khích các tác giả giải thích đầy đủ hơn về các phương pháp của họ, để hỗ trợ cho việc đánh giá và tái lập. Những người tiên phong thúc đẩy nghiên cứu khả lặp đều đồng ý rằng cần hành động ngay lúc này trước khi vấn nạn về khả năng tái lập trở nên nghiêm trọng hơn và bước đầu tiên là tạo ra sự công khai và minh bạch trong khoa học.