Bagaimana dampak ilmiah didefinisikan dan diukur?

Dampak ilmiah (impact) adalah konsep dasar dalam mengukur penelitian sekaligus sebagai acuan bagi pembuat kebijakan, administrator universitas,  lembaga pendanaan, serta lainnya. Namun, dampak ilmiah mungkin merupakan konsep yang paling sulit untuk dijelaskan dan dioperasionalkan. Contoh pengukuran dampak ilmiah yang paling populer adalah impact factor (IF) dan CiteScore. Walaupun sebenarnya pengukuran ini hanya menggambarkan sebagian dari sisi dampak ilmiah dan masih banyak mendapat kritikan.

Selama beberapa dekade terakhir, dampak ilmiah telah didefinisikan sebagai efek pada komunitas ilmiah, yang diukur melalui sitasi. Alasan sederhana untuk hal ini adalah bahwa jika satu artikel menyitasi artikel yang lain, maka hal itu menunjukkan beberapa bentuk interaksi dan keterlibatan di mana artikel yang menyitasi dibangun atas artikel-artikel yang disitasi.

Ada beberapa literatur yang membahas tentang motivasi sitasi, menunjukkan berbagai alasan mengapa orang menyitasi. Misalnya, sitasi dapat digunakan untuk memberikan latar belakang penelitian tertentu, membingkai argumen, membenarkan penggunaan metode, juga untuk memperkuat atau membantah perspektif. Karena perbedaan fungsi ini, beberapa orang berpendapat bahwa sitasi individu merupakan indikator penggunaan, bukan dampak.

Pada skala kecil, ada variabilitas yang luas dan ketidakpastian dalam interpretasi metrik sitasi. Namun, pada skala jurnal atau lembaga, informasi berharga dapat diturunkan dari sitasi ini. Sederhananya, jika kita percaya pada sifat kumulatif ilmiah (paling tidak dalam periode normal) maka sitasi agregat sangat baik dalam menggambarkan pertumbuhan keilmuan.

Setiap daftar referensi adalah pernyataan tentang lanskap pengetahuan yang digunakan dalam sebuah penelitian baru. Item-item yang terus disitasi cenderung membuat kesan atau kontribusi di lapangan. Jika sebuah karya berulang kali disitasi dalam karya ilmiah berikutnya, ia dapat dianggap memiliki efek lebih besar dari karya yang tidak pernah atau jarang disitasi.

Secara keseluruhan, sitasi dapat menunjukkan dampak kumulatif artikel pada lanskap ilmiah. Lebih jauh, sitasi dapat mengungkapkan kekuatan dampak (dari jumlah sitasi) serta sifat dampak (misalnya, pada disiplin ilmu atau negara yang menyitasi dokumen). Argumen ini lebih tepat untuk digunakan secara kumulatif daripada non-kumulatif, yang mengapa banyak hal yang harus diperhatikan ketika diterapkan untuk analisis sitasi di bidang seni dan humaniora, serta beberapa spesialisasi ilmu sosial.

Pengukuran dampak ilmiah pada ekonomi dan masyarakat telah menjadi fokus dari banyak perdebatan dan penelitian kontemporer oleh para ekonom dan sosiolog, tetapi tetap berada di pinggiran dalam hal indikator standar. Sementara beberapa orang berpendapat bahwa referensi yang dibuat untuk artikel ilmiah dalam paten adalah indikasi dampak ekonomi dari penelitian dasar, indikator ini secara teknis tetap sulit untuk dikompilasi, mendukung komponen dampak ekonomi, dan condong ke arah disiplin ilmu dengan dimensi teknologi yang kuat. Indikator yang diusulkan untuk dampak sosial termasuk sitasi karya ilmiah dalam dokumen kebijakan, surat kabar, dan buku teks.

Pertumbuhan platform media sosial seperti Twitter dan Facebook telah mengarah pada eksplorasi platform ini untuk memberikan indikasi dampak sosial langsung dari penelitian. Meskipun metrik media sosial (sering disebut altmetrik) dikatakan sebagai indikator efek penelitian terhadap stakeholder yang lebih luas, artinya masih diperdebatkan, terutama karena sifatnya yang mudah berubah. Masih harus dilihat apakah itu merupakan indikator dampak penelitian ilmiah terhadap masyarakat. Setidaknya, dalam arti yang secara tradisional digunakan oleh sosiolog dan pembuat kebijakan.

Apa yang diinginkan oleh pembuat kebijakan ilmiah adalah metrik yang dapat membedakan pekerjaan yang memiliki nilai ilmiah tinggi dari yang memiliki manfaat sosial yang lebih cepat (misalnya, inovasi kecil tentang minuman suplemen untuk meningkatkan imun) dan memberikan insentif atau penghargaan yang sama untuk keduanya. Penelitian awal menunjukkan bahwa indikator ketinggian dampak memberikan informasi hasil yang lebih tepat waktu, tetapi mungkin tidak secara radikal berbeda dari indikator sitasi. Banyak konsep lain yang sering digabungkan dengan dampak ilmiah baik dalam konstruksi maupun interpretasi indikator.

Untuk sitasi, dampak (misalnya CiteScore) sering disalahartikan sebagai kualitas. Sebagai contoh, sebuah artikel yang telah disitasi lebih dari 100 kali dapat dianggap memiliki dampak yang lebih besar pada komunitas ilmiah daripada artikel yang jarang disitasi. Namun, kita tidak dapat mengatakan bahwa artikel yang dikutip 100 kali lebih berkualitas daripada artikel yang jarang disitasi. Sebuah karya bisa mendapatkan banyak sitasi karena beberapa alasan, termasuk kontemporer atau kebaruan dan adanya utilitas untuk khalayak luas bukan sekadar kualitas.

Pemeringkatan dengan menggunakan indikator dampak tidak menyiratkan bahwa suatu entitas memiliki kualitas yang lebih baik daripada yang lain, melainkan lebih kepada bahwa pekerjaan tersebut telah menerima tingkat perhatian dan penggunaan yang relatif lebih tinggi, dan karenanya memiliki dampak yang lebih besar pada ilmu pengetahuan. Demikian pula, dalam mengukur dampak masyarakat, ada kekhawatiran yang tinggi tentang menyamakan perhatian dengan dampak.

Sebagai contoh, artikel dapat menjadi sangat populer di Twitter karena konten lucu atau menyangkut masalah yang sudah terkenal lebih dulu, tetapi tidak harus memiliki dampak sosial atau ilmiah yang abadi. Misalnya, artikel tentang cara penularan Covid-19 melalui udara yang bisa dengan cepat diperbincangkan oleh masyarakat luas, namun bisa jadi tidak memiliki dampak ilmiah yang signifikan karena belum atau tidak terkonfirmasi pada penelitian-penelitian selanjutnya. (maglearning.id)

Loading...