Vai trò thứ nhất là diễn đàn chia sẻ và truyền bá thông tin khoa học, qua đó vừa duy trì vừa phát triển khoa học. Vai trò thứ hai là cung cấp chứng từ khoa học, vì những bài báo khoa học và kết quả nghiên cứu được trình bày trong đó được xem là chứng từ khoa học để phục vụ cho các chính sách công, hay trong y khoa có thể dùng làm chứng cứ cho thực hành y học. Vai trò thứ ba là người ‘gác cổng’, đảm bảo phẩm chất khoa học, không để cho những thông tin rác rưởi hay kém phẩm chất xuất hiện trên trang giấy. Và, sau cùng vai trò thứ tư là ‘lăng xê’ các nhà khoa học hoặc nhóm nghiên cứu khoa học đến cộng đồng khoa học thế giới. Với 4 vai trò này, tập san khoa học là người trung gian giữa tác giả và độc giả khoa học, và cũng là một phương tiện để duy trì sự liêm chính trong khoa học.
Trên thế giới ngày nay có hơn 100,000 tập san khoa học, và con số vẫn còn gia tăng hằng năm. Tuy nhiên, trong số này cũng có rất nhiều hạng cấp, từ ‘thượng vàng’ đến ‘hạ cám’ đều có đủ. Có những tập san thuộc hàng danh giá như Nature, Science, New England Journal of Medicine, Cell, nhưng cũng có những tập san làng nhàng (rất nhiều) và cả những tập san “dỏm” hay biên giới giữa dỏm với thật. Do đó, các nhà khoa học có trách nhiệm và kinh nghiệm thường cẩn thận chọn tập san để chuyển tải kết quả nghiên cứu. Những tiêu chí để đánh giá (và chọn tập san) thường dựa vào danh mục và một số chỉ số mang tính trắc lượng.
Tiêu chí đầu tiên là danh mục mà tập san đó được ‘kết nạp’. Trong số hơn 100 ngàn tập san, chỉ có khoảng 12 đến 20 ngàn được “công nhận”, hiểu theo nghĩa được vào danh mục nổi tiếng như Clarivate Analytics (xưa kia là ISI của Thomson) hay Scopus của tập đoàn xuất bản Elsevier. Trong số này, các tập san trong danh mục Clarivate Analytics được xem là có uy tín và tầm ảnh hưởng cao hơn các tập san trong Scopus nhưng không có trong danh sách của Clarivate Analytics. Do đó, các nhà khoa học có uy tín và thuộc các trường đại học có tiếng chỉ công bố bài báo trên các tập san trong danh mục Clarivate Analytics. Ngay cả khi đánh giá năng suất khoa học của một quốc gia, người ta cũng thường dựa vào cơ sở dữ liệu của Clarivate Analytics.
Tiêu chí thứ hai là xem tập san thuộc một hiệp hội chuyên ngành có uy tín. Đa số các tập san khoa học thuộc sự quản lí chuyên môn của các hiệp hội khoa học. Một hiệp hội chuyên ngành có thể có vài tập san khoa học. Những tập san trực thuộc hiệp hội thường được đánh giá cao hơn những tập san do các hiệp hội chuyên ngành quản lí. Nhưng cũng có trường hợp ngoại lệ, như tập san Nature không trực thuộc hiệp hội nào nhưng lại là mục tiêu đến của rất nhiều nhà khoa học.
Tiêu chí thứ ba là chỉ số ảnh hưởng (impact factor - IF) do Eugene Garfield phát triển hơn 50 năm trước. Chỉ số IF được tính bằng cách lấy số lần trích dẫn trong thời gian 2 năm chia cho số bài báo đã công bố 2 năm trước đó. Chẳng hạn như nếu năm 2000 tập san ABC công bố 100 bài báo, và 2 năm sau đó 100 bài này được trích dẫn 2000 lần, thì IF của ABC được tính là 2000 / 100 = 20. Chỉ số IF càng cao phản ảnh mức độ ảnh hưởng của tập san càng lớn.
Chỉ số IF rất khác biệt giữa các lĩnh vực khoa học, với những tập san ngành khoa học xã hội thường có IF thấp hơn các tập san khoa học tự nhiên và y sinh học. Do đó, IF chỉ có nghĩa trong mỗi chuyên ngành, chứ rất khó so sánh giữa các ngành. Tuy nhiên, đối với các tập san khoa học tổng quát như Science hay Nature thì IF được xem như là tiêu chuẩn vàng để các tập san khác so sánh.
Nhưng IF bị phê bình rất nhiều. Vấn đề lớn nhất của IF là chỉ số này chỉ phản ảnh tầm ảnh hưởng trong vòng 2 năm. Nhưng một số nghiên cứu gần đây cho thấy thời gian 2 năm có lẽ quá ngắn để đánh giá tầm ảnh hưởng; phần lớn các ngành khoa học, thời gian cần thiết để đánh giá là 5 năm. Nếu sau 5 năm mà vẫn chẳng có ai trích dẫn công trình nghiên cứu thì đó có lẽ là tín hiệu cho thấy nghiên cứu đó chẳng có ảnh hưởng gì (dĩ nhiên, không loại trừ vài trường hợp hiếm hoi có công trình đòi hỏi 20 năm sau mới được ghi nhận). Vấn đề thứ hai là IF là số trung bình, mà số trung bình thì không phản ảnh tốt số lần trích dẫn vốn không tuân theo luật phân bố chuẩn. Dù bị phê bình rất nhiều, nhưng IF vẫn được dùng rất thường xuyên trong các đại học để đánh giá tầm ảnh hưởng của một trường / viện nghiên cứu.
Tiêu chí thứ tư là chỉ số H. Chỉ số H lúc đầu được phát triển để đánh giá tầm ảnh hưởng và năng suất của một nhà khoa học. Một nhà khoa học có thể công bố nhiều bài báo, nhưng đó chỉ là lượng, phần quan trọng hơn là chất thường được đánh giá qua số lần được trích dẫn. Đa số các bài báo khoa học không được trích dẫn. Chỉ số H dung hoà giữa lượng và chất. Một người có chỉ số H = 20 có nghĩa là người đó có 20 bài báo khoa học và mỗi bài có trích dẫn 20 lần trở lên. Chỉ số H càng cao chứng tỏ uy danh của nhà khoa học càng lớn.
Sau này, người ta dùng chỉ số H để đánh giá tầm ảnh hưởng của một tập san khoa học, và xem như là một chỉ số bổ sung cho IF. Một tập san có chỉ số H càng cao thì tầm ảnh hưởng càng lớn. Chẳng hạn như trong ngành y, chỉ số H của New England Journal of Medicine (NEJM) là 862, có nghĩa là trong số hàng vạn bài báo đã được tập san công bố, có 862 bài mà mỗi bài được trích dẫn ít nhất là 862 lần. Chỉ số H của Nature là 1011. Tuy nhiên, chúng ta không thể nói Nature có tầm ảnh hưởng cao hơn NEJM vì chưa biết được số năm trích dẫn và hai tập san có hai chuyên ngành hoàn toàn khác nhau. Điều này có nghĩa là chỉ có thể dùng chỉ số H cho mỗi chuyên ngành, chứ không thể so sánh giữa các chuyên ngành.
Tiêu chí thứ năm là chỉ số Eigenfactor. Chỉ số này được phát triển để khắc phục khiếm khuyết của chỉ số IF. Khiếm khuyết lớn nhất của IF là cách tính số lần trích dẫn không xem xét đến “uy danh” của tập san trích dẫn. Để hiểu vấn đề, chúng ta thử so sánh 2 tập san như sau: tập san A công bố 50 bài, và nhận được 90 lần trích dẫn từ những tập san danh tiếng (như Science, Nature, Cell) và 10 lần trích dẫn từ những tập san từ China; tập san B cũng công bố 50 bài, và nhận được 10 lần trích dẫn từ những tập san danh tiếng, và 90 lần trích dẫn từ những tập san từ China.Theo cách tính chỉ số IF thì hai tập san trên có IF như nhau (100 / 50 = 2). Nhưng nếu nhìn kĩ, chúng ta thấy tập san A chắc phải có uy danh cao hơn tập san B, vì A được nhiều tập san danh tiếng trích dẫn hơn tập san B.
Chỉ số Eigenfactor (hay EF)vẫn dựa vào số lần trích dẫn, nhưng là số lần trích dẫn trong 5 năm (chứ không phải 2 năm như IF). Thời gian 5 năm là lí tưởng để đánh giá tầm ảnh hưởng của một công trình khoa học, nhất là trong chuyên ngành khoa học xã hội. Ngoài ra, EF còn cho trọng số của những tập san trích dẫn, và do đó, khắc phục một yếu điểm quan trọng của IF. Triết lí của EF cũng giống giống như triết lí tell me who your friends are and I will tell you who you are (có thể hiểu nôm nà là: nói cho tôi biết bạn của bạn là ai thì tôi sẽ cho biết bạn là người như thế nào). Nếu tập san công bố những bài báo được các tập san danh tiếng khác trích dẫn thì đó là một tín hiệu cho thấy tập san thuộc vào đẳng cấp cao.
Một chỉ số khác là Article Influence (AI). Chỉ số AI đo lường tầm ảnh hưởng của những bài báo trong tập san. AI được tính bằng cách lấy EF chia cho số bài báo tập san công bố và chuẩn hoá sao cho AI trung bình là 1. Nói cách khác, nếu một tập san có AI bằng 0.1 thì tập san đó có tầm ảnh hưởng thấp hơn trung bình (là 1), nhưng nếu tập san có AI 1.2 thì tầm ảnh hưởng của tập san đó cao hơn trung bình 20%. Ngày nay, chỉ số EF và AI càng ngày càng phổ biến.
***
Đánh giá tầm ảnh hưởng và uy tín của một tập san khoa học là việc làm cần thiết của giới quản lí khoa học vànhà khoa học. Đối với những người quản lí khoa học, họ muốn biết tiền tài trợ cho nghiên cứu có xứng đáng “đồng tiền bát gạo”, có đem lại hiệu quả hay không. Dĩ nhiên, “hiệu quả” ở đây có thể đo lường bằng nhiều tiêu chí. Tiêu chí đánh giá có thể là sản phẩm có thể ứng dụng ngay trong thực tế, là bằng sáng chế, hay bài báo khoa học. Phần lớn các nghiên cứu cơ bản, sản phẩm chính vẫn là những bài báo khoa học. Nhưng trong hàng vạn tập san khoa học, giới quản lí nếu không phải là người trong chuyên ngành hay thậm chí không phải là người làm khoa học thì rất khó biết tập san nào có phẩm chất cao hay thấp. Những chỉ số định tính và định lượng trên đây có thể xem như là những thước đo để đánh giá thành tựu khoa học khách quan hơn.