Satu tahun setelah Scopus dilahirkan, yaitu tepatnya pada tahun 2005 Google Scholar hadir sebagai salah satu alat untuk menemukan dan mendapatkan dokumen full-text dari publikasi ilmiah. Beberapa tahun setelah pengenalan Google Scholar (GS) ini, indikator bibliometrik ditambahkan ke platform online di tingkat individu penulis dan jurnal (meskipun sangat terbatas). Indikator indeks sitasi ini bisa kita temukan dengan mudah karena ditempatkan di samping daftar publikasi seorang penulis atau jurnal ilmiah.
Namun, algoritma yang mendasari konten sitasi Google Scholar tidak (belum) dipublikasikan dengan baik. Tidak ada rincian tentang metode atau penjelasan tentang algoritma pencarian selain catatan singkat tentang cakupan yang tersedia di situs web. Namun informasi umum yang bisa kita dapatkan biasanya berupa metadata saja. Jadi, kadang tidak perlu bukti akurat agar bisa diindeks GS.
Catatan ini menekankan bahwa Google Scholar mencakup artikel (atau dokumen), bukan jurnal. Diasumsikan bahwa GS mengambil semua metadata artikel yang ada dalam repositori institusi, jurnal ilmiah, konferensi, atau laman ilmiah lainnya.
Salah satu kelebihan Google Scholar adalah selain mengindeks karya dalam bahasa Internasional juga mengindeks artikel-artikel dalam berbagai bahasa. Misalnya, Google Scholar mulai mengindeks artikel-artikel berbahasa Rusia pada 2016. Artikel dalam bahasa Indonesia pun diindeks dengan baik.
Namun, seperti saya singgung di atas bahwa salah satu kelemahan Google Scholar adalah sering mengumpulkan artikel-artikel non-jurnal atau non-ilmiah. Misalnya, dari presentasi PowerPoint hingga bab-bab buku, pada dasarnya segala sesuatu yang mengandung unsur dokumen akademik tanpa ada seleksi yang ketat.
Meskipun tidak ada cara yang tepat untuk mengukur jumlah total dokumen yang diindeks, namun diperkirakan sudah lebih dari 250 juta dokumen, yang membuatnya menjadi indeks sitasi terbesar. Mengingat heterogenitas sumber dan indeksasi otomatisnya, metadata Google Scholar kadang tidak lengkap dan kualitasnya relatif buruk.
Afiliasi kelembagaan, bertentangan dengan WoS dan Scopus, tidak tersedia dalam platform ini. Sebaliknya, aspek bibliometrik dari sitasi Google Scholar terbatas pada metrik tingkat individu dan jurnal, karena ini adalah satu-satunya indikator yang dikumpulkan.
Platform ini menyediakan total indeks, h-indeks, dan indeks i10 (jumlah makalah yang memiliki setidaknya 10 kutipan). Setiap penulis dapat membuat profil, dan sitasi Google Scholar akan secara otomatis mengaitkan dokumen dengan masing-masing penulis. Proses pengambilan ini dilakukan secara dinamis, yang berarti bahwa catatan penulis bisa meningkat dan menurun pada hari tertentu, berdasarkan ketersediaan sumber data. Ketidakstabilan catatan mempersulit penggunaan sumber data ini untuk mengukur penelitian, membuat perbandingan, analisis diakronis, dan replikabilitas.
Setiap penulis memiliki kemampuan (akses) untuk membuat daftar publikasinya sendiri. Mereka bisa menggabungkan catatan duplikat dan menghapus catatan yang tidak akurat. Namun, relatif ada sedikit konsekuensi untuk melakukan ini, karena menggabungkan dan menghapus keduanya mengurangi produktivitas dan skor dampak (impact factors) yang terkait dengan catatan penulis. Oleh karena itu, meskipun dinamika sitasi Google Scholar membuatnya sangat menarik karena memberikan statistik sitasi paling mutakhir, ini bermasalah untuk evaluasi penelitian karena tingkat produksi dan sitasi dapat berubah setiap hari di kedua arah (berkurangnya angka dari penghapusan sumber yang dikaitkan secara tidak tepat dan penggabungan duplikasi).
Lebih lanjut, Google Scholar memiliki jumlah duplikasi dan penyertaan dokumen nonscientific yang tinggi serta karya ilmiah yang tidak tepat, karena penggunaan pengindeksan otomatis dan teknik disambiguasi penulis. Misalnya, profil sitasi Google Scholar sering menyertakan artikel yang tidak dikarang oleh penulis (homonim) dan entri terdaftar beberapa kali dengan varian nama yang berbeda. Ini sangat bermasalah, karena secara berlebihan akan meningkatkan produktivitas dan ukuran impact factor.
Melihat kelemahan dari GS ada baiknya kita sedikit melirik salah satu alat sekunder dikembangkan pada tahun 2006 untuk memberikan indikator bibliometrik canggih bagi serangkaian dokumen yang diindeks oleh GS yakni Publish or Perish. Anne Wil-Harzing yang pada waktu itu adalah bagian dari fakultas di University of Melbourne, Australia mengembangkan Publish or Perish (PoP). PoP merupakan program perangkat lunak yang menganalisis data dari Google Scholar dan membuat berbagai metrik pada data ini. Perangkat lunak ini terbatas pada 1.000 catatan, yang standarnya adalah mengambil item yang memiliki skor tertinggi kecuali ditentukan lain.
Alat ini memungkinkan pembuatan indikator yang lebih bermakna daripada hanya dengan Google Scholar. Namun, tidak ada indikator bibliometrik yang lebih maju atau analisis global, institusional, atau disipliner yang dimungkinkan dengan alat ini karena keterbatasan ukuran serta ketergantungannya pada opacity data dan algoritma Google Scholar. Selain itu, kualitas metadata melalui PoP sangat terbatas, karena beberapa nama penulis tidak disediakan, nama jurnal tidak terstandarisasi, dan informasi kelembagaan tidak tersedia.
Singkatnya, alat ini memberikan perkiraan kasar mengenai produktivitas dan dampak bagi individu atau tim penelitian kecil, tetapi memberikan sedikit tambahan dalam hal mengukur penelitian secara sistematis. Gambaran singkat dan sedikit tutorial penggunaan PoP ini sudah saya sediakan Di SINI. Semoga bermanfaat (maglearning.id).