Editöryal Not – Akademi Demir Leblebi

Bilim dünyası uzun süre kendisini güven üzerine kurulu bir cumhuriyet olarak anlattı: araştırmacılar veri üretir, dergiler bu verileri hakemlere gönderir, hakemler hataları yakalar ve yalnızca sağlam bilgi yayımlanır. Akademik hayatın en temel meşruiyet anlatılarından biri budur.

Ancak son yıllarda akademik yayıncılık ekonomisinin hızla genişlemesi bu anlatının kırılganlığını görünür hâle getirdi. Açık erişim yayıncılığı, bir yandan bilginin dolaşımını demokratikleştirme iddiası taşırken, diğer yandan yayın ücretleri etrafında büyüyen yeni bir piyasa yarattı. Bu piyasanın en temel sorusu basittir: Bir dergi gerçekten hakemlik yapıyor mu?

2013 yılında Science dergisinde yayımlanan John Bohannon’un bu ünlü araştırması, bu soruyu deneysel bir yöntemle test eder. Bohannon, kasıtlı olarak bilimsel hatalarla dolu sahte bir makale yazar ve bunu yüzlerce açık erişimli dergiye gönderir. Sonuçlar akademik yayın dünyasının en rahatsız edici gerçeklerinden birini ortaya çıkarır: birçok dergi makaleyi ciddi bir bilimsel inceleme yapmadan kabul eder.

Bu nedenle Akademi Demir Leblebi dosyasında bu metni yayımlıyoruz. Çünkü bazen bir sistemi anlamanın en iyi yolu, ona küçük ama iyi tasarlanmış bir deney yapmaktır.

Sinan Kadir Çelik

4 Temmuz günü Asmara’daki Wassee Tıp Enstitüsü’nde çalışan biyolog Ocorrafoo Cobange’in elektronik posta kutusuna iyi bir haber düştü. İki ay önce Journal of Natural Pharmaceuticals dergisine gönderdiği makale kabul edilmişti. Makale, Cobange’in bir likenden izole ettiği kimyasal bir bileşiğin kanser karşıtı özelliklerini anlatıyordu.

Oysa makalenin derhâl reddedilmesi gerekirdi. Kimya konusunda lise düzeyinin biraz üzerinde bilgiye sahip ve basit bir veri grafiğini okuyabilen herhangi bir hakem makalenin kusurlarını hemen fark edebilirdi. Deneyler o kadar hatalıydı ki sonuçların hiçbir bilimsel anlamı yoktu.

Bunu biliyorum; çünkü makaleyi ben yazdım.

Ocorrafoo Cobange diye biri yok. Wassee Tıp Enstitüsü de yok. Son on ay boyunca bu “mucize ilaç” makalesinin 304 farklı versiyonunu açık erişimli dergilere gönderdim. Dergilerin yarısından fazlası makaleyi kabul etti ve içindeki ölümcül bilimsel hataları fark etmedi. Bu deneyin sonuçları yalnızca çarpıcı bir istatistik üretmekle kalmıyor; aynı zamanda akademik yayıncılık dünyasında ortaya çıkan yeni bir “Vahşi Batı”nın haritasını da çiziyor.

Yaklaşık on yıl önce oldukça mütevazı ve idealist bir girişim olarak başlayan açık erişimli bilimsel dergiler bugün küresel bir endüstriye dönüşmüş durumda. Bu modelde gelir kaynağı okuyucu abonelikleri değil, yazarların ödediği yayın ücretleridir. Ancak bu endüstride faaliyet gösteren birçok oyuncunun kimliği belirsizdir. Dergilerin editörleri, yayınevlerinin mali yapıları ve hatta gerçek konumları çoğu zaman bilinçli biçimde gizlenir.

Science dergisinin yürüttüğü bu araştırma bu karanlık alanın bazı köşelerini aydınlatıyor. Dergi editörlerinden gelen e-postaların ham başlıklarında yer alan IP adresleri editörlerin gerçek konumlarını ele veriyor. Yayın ücretleri için gönderilen faturalar çoğu gelişmekte olan ülkelerde bulunan banka hesaplarını gösteriyor. Ve sahte makalenin kabul ya da reddedilmesi, açık erişim yayıncılığındaki hakemlik uygulamalarına dair ilk küresel fotoğrafı sunuyor.

Örneğin Journal of Natural Pharmaceuticals dergisinde güvenilir bir hakemlik süreci olması beklenebilirdi. Dergi kendisini “doğal ürünlerin farmakolojik etkileri üzerine yüksek kaliteli araştırma makalelerini yayımlayan hakemli bir dergi” olarak tanıtıyordu. Editör kurulu ve danışma kurulunda dünyanın çeşitli üniversitelerinden farmasötik bilimler profesörleri bulunuyordu.

Bu dergi, Hindistan’ın Mumbai kentinde bulunan Medknow adlı yayınevinin yayımladığı 270’ten fazla dergiden yalnızca biridir. Medknow’un internet sitesine göre her ay iki milyondan fazla makale araştırmacılar tarafından indirilmektedir. Şirket 2011 yılında Hollanda merkezli çok uluslu bilgi şirketi Wolters Kluwer tarafından satın alınmıştır.

Buna rağmen derginin editörleri sahte yazar Cobange’den yalnızca yüzeysel düzeltmeler talep etti: kaynakça formatının değiştirilmesi ve özetin biraz uzatılması. Makalenin bilimsel içeriğine ilişkin tek bir eleştiri bile yapılmadı. 51 gün sonra makale kabul edildi.

Bu durum istisna değil, normdu.

Sahte makale Sage ve Elsevier gibi büyük yayınevlerinin platformlarında yer alan dergiler tarafından da kabul edildi. Japonya’daki Kobe Üniversitesi gibi saygın akademik kurumların yayımladığı dergiler de makaleyi kabul etti. Hatta makalenin konusuyla hiçbir ilgisi olmayan bazı dergiler bile makaleyi kabul etti.

Reddeden dergiler de vardı ve onların hikâyesi de öğreticiydi. Kalite kontrolü zayıf olmakla eleştirilen bazı açık erişim dergileri en titiz hakemlik sürecini yürüttü. Örneğin PLOS ONE, makalenin deneylerinde kullanılan hayvan hücrelerinin etik onayına ilişkin belgelerin eksikliğini tespit eden tek dergi oldu. Gerekli belgelerin varlığını doğruladıktan sonra makaleyi hakemlere gönderdi ve iki hafta sonra bilimsel kalitesinin yetersiz olduğu gerekçesiyle reddetti.

Tavşan Deliğine Doğru

Bu hikâye Temmuz 2012’de başladı. Science dergisinin editörleri bana Pennsylvania Üniversitesi’nden biyolog David Roos’un gönderdiği bir e-posta dizisini iletti. Bu yazışmalar Nijerya’daki Port Harcourt Üniversitesi’nde çalışan biyolog Aline Noutcha’nın yaşadığı yayın sorunlarını anlatıyordu. Noutcha, Batı Nil virüsü gibi patojenleri taşıyan Culex quinquefasciatus sivrisineği üzerine yaptığı çalışmayı yayımlamaya çalışıyordu.

Makalesini Public Health Research adlı bir açık erişim dergisine göndermişti. Noutcha yayımlamanın ücretsiz olduğunu sanıyordu. Aynı yayınevinin başka bir dergisinde çalışan bir meslektaşı makalesini ücretsiz yayımlatmıştı. Ancak makale kabul edildikten sonra Noutcha’dan 150 dolar yayın ücreti istendi. Nijerya’da yaşadığı için ücretin %50 indirildiği söylenmişti.

Birçok gelişmekte olan ülke araştırmacısı gibi Noutcha’nın kredi kartı yoktu ve uluslararası banka transferleri hem pahalı hem karmaşıktı. Sonunda Amerika Birleşik Devletleri’nde yaşayan bir arkadaşını ikna ederek ücreti onun ödemesini sağladı; ücret bu kez 90 dolara indirildi ve makale yayımlandı.

Roos bu tür dergilerin bilimsel topluluğu “parazitleştiren” bir eğilimin parçası olduğunu söylüyordu. Bu durum ilgimi çekti ve söz konusu yayınevi olan Scientific & Academic Publishing (SAP) hakkında araştırma yapmaya başladım.

SAP’nin internet sitesine göre şirket “dünya araştırma ve akademik topluluğuna hizmet eden ve profesyonel bilimsel dernekler için en büyük yayınevlerinden biri olmayı hedefleyen” bir kuruluştur. Yaklaşık 200 dergiden oluşan bir liste yayımlıyordu. Bunlardan birini rastgele seçip daha yakından inceledim: American Journal of Polymer Science.

Dergi kendisini “makromoleküllerin hazırlanması ve özellikleri üzerine kapsamlı hakemli uluslararası araştırmaların yayımlandığı sürekli bir forum” olarak tanıtıyordu. Bu tanımın bazı bölümlerini internet arama motoruna yazdığımda metnin büyük kısmının Journal of Polymer Science adlı saygın derginin internet sitesinden kopyalandığını fark ettim.

Derginin gerçekten Amerikan olup olmadığını merak etmeye başladım. SAP’nin internet sitesine göre yayınevi Los Angeles’taydı. Ancak verilen adres yalnızca iki otoyolun kesişim noktasını gösteriyordu ve herhangi bir telefon numarası yoktu.

Derginin editörleri ve hakemleri olarak listelenen bazı kişilerle iletişime geçtim. Yanıt veren az sayıdaki kişi SAP ile neredeyse hiç ilişkileri olmadığını söyledi. Napoli’deki Polimer Kimyası ve Teknolojisi Enstitüsü’nde çalışan kimyager Maria Raimo, dört ay önce kendisine hakemlik daveti gönderildiğini anlattı. O zamana kadar yalnızca tek bir makale almıştı—öylesine kötü bir makale ki “bir şaka olduğunu düşündüm” diyordu.

Raimo bu durumu dönemin baş editörü olan ve kim olduğu bilinmeyen David Thomas adlı kişiye bildirmişti. Buna rağmen makale yayımlandı. Raimo adının editör listesinde yer almasını istemediğini bildirdi. Bir yıldan fazla zaman geçmesine rağmen makale hâlâ çevrimiçi duruyordu ve Raimo’nun adı hâlâ hakem listesinde yer alıyordu.

Aylar süren e-postaların ardından SAP’den nihayet bir yanıt aldım. Charles Duke adını kullanan biri, kırık İngilizceyle SAP’nin Kaliforniya merkezli bir Amerikan yayınevi olduğunu tekrar etti. E-posta ABD Doğu saatine göre sabah üçte gönderilmişti.

Noutcha’nın yaşadıklarını tekrarlamak için SAP dergilerinden birine kendi makalemi göndermeye karar verdim. Fakat bu karanlık yayıncılık dünyasının haritasını çıkarabilmek için deneyimi açık erişim dünyasının tamamında tekrarlamam gerekiyordu.

Hedefler

Saygın açık erişim dergilerinin listesi Directory of Open Access Journals (DOAJ) adlı dizindir. İsveç’te Lund Üniversitesi’nden kütüphaneci Lars Bjørnshauge tarafından kurulan bu dizin hızla büyümüştür; yalnızca geçen yıl yaklaşık bin yeni dergi eklenmiştir.

Planımı açıklamadan DOAJ çalışanlarına dergilerin listeye nasıl girdiğini sordum. DOAJ’den Linnéa Stenson şöyle açıkladı: Bir derginin önce internet sitesindeki form aracılığıyla önerilmesi gerekir. Eğer dergi yeterince içerik yayımlamamışsa editörlerden daha fazla içerik üretmeleri istenir. Listeye eklenmeden önce yayınevinin sağladığı bilgilere dayanarak bir inceleme yapılır.

2 Ekim 2012 tarihinde deneyime başladığımda DOAJ’da 8250 dergi bulunuyordu.

Buna karşılık dergilerin korktuğu başka bir liste daha vardır: Colorado Üniversitesi’nden kütüphaneci Jeffrey Beall tarafından hazırlanan liste. Beall bu listede “yırtıcı yayınevleri” olarak gördüğü kuruluşları teşhir eder.

Beall Mart 2012’de 59 yırtıcı açık erişim yayınevi saymıştı. Üç ay sonra bu sayı iki katına çıkmıştı ve artış DOAJ’daki büyümeyi bile geride bırakıyordu.

Deney için kapsamlı bir dergi listesi oluşturmak amacıyla DOAJ verilerini filtreledim. İngilizce yayımlanmayan ve standart açık erişim ücretleri bulunmayan dergileri çıkardım. Geriye 438 yayınevine ait 2054 dergi kaldı.

Beall’in listesinde ise 181 yayınevi bulunuyordu. İki listenin kesişimi 35 yayıneviydi; yani Beall’in “yırtıcı” olarak tanımladığı yayınevlerinin beşte biri DOAJ listesine de girmeyi başarmıştı.

Sonunda biyoloji, kimya veya tıp alanında dergisi olan yayınevlerini seçerek listeyi daralttım. Nihai hedef listesi 304 açık erişim yayınevi oldu.

Yem

Amaç, bilimsel açıdan güvenilir görünen fakat ciddi hatalar içeren bir makale üretmekti—öyle hatalar ki herhangi bir yetkin hakem bunları kolayca fark edebilmeliydi.

Makalenin temel şablonu şöyleydi:

“Liken türü Y’den elde edilen molekül X, kanser hücresi Z’nin büyümesini engeller.”

Bu değişkenleri doldurmak için moleküller, liken türleri ve kanser hücre hatlarından oluşan bir veri tabanı hazırladım ve yüzlerce farklı makale üretmek için bir bilgisayar programı yazdım.

Sahte yazarların hepsi hayalî Afrika kurumlarına bağlıydı. İsimleri çevrimiçi veri tabanlarından rastgele seçilen Afrika adlarının permütasyonlarıyla oluşturuldu.

Makalenin deneyleri kanser hücrelerinin farklı konsantrasyonlarda molekülle muamele edildiğinde daha yavaş büyüyüp büyümediğini test ediyordu. Veriler tüm makalelerde aynıydı ve sonuçlar da aynıydı: molekül kanser hücrelerinin büyümesini güçlü biçimde engelliyor ve radyoterapiye duyarlılıklarını artırıyordu.

Fakat makalede birçok açık hata vardı.

En bariz hata ilk veri grafiğindeydi. Grafik “doza bağlı etki” gösterdiğini iddia ediyordu fakat veriler tam tersini gösteriyordu. Molekül çok geniş bir konsantrasyon aralığında test edilmişti fakat etkisi her konsantrasyonda aynıydı.

Materials & Methods bölümüne bakıldığında bunun nedeni hemen anlaşılabiliyordu: molekül yüksek miktarda etanol içeren bir tamponda çözülmüştü. Kontrol grubuna aynı tampon verilmemişti. Yani gözlenen etki aslında etanolün hücreler üzerindeki toksik etkisinden ibaretti.

İkinci deney daha da sorunluydu: kontrol hücreleri radyasyona maruz bırakılmamıştı. Dolayısıyla deneyden anlamlı bir sonuç çıkarmak imkânsızdı.

Makalenin bilimsel hataları hem açık hem de “sıkıcı derecede kötü” olacak şekilde Harvard Üniversitesi’nden moleküler biyologlar tarafından özellikle ayarlandı.

Makalenin son cümlesi ise özellikle ürkütücüydü:

“Bir sonraki adımda molekül X’in hayvan ve insanlarda kansere karşı etkili olduğunu göstereceğiz.”

Sonuçlar

Science baskıya girdiğinde 157 dergi makaleyi kabul etmiş, 98 dergi reddetmişti.

Kabul süresi ortalama 40 gün, reddetme süresi ise 24 gün sürdü.

Hakemlik sürecinin gerçekten gerçekleştiği 106 dergiden %70’i makaleyi kabul etti.

Çoğu hakem değerlendirmesi yalnızca biçimsel konulara odaklanıyordu: sayfa düzeni, dil veya format.

Toplam 304 başvurudan yalnızca 36’sı makalenin bilimsel hatalarını fark eden hakem raporları üretti. Bu makalelerin 16’sı editörler tarafından yine de kabul edildi.

Son Söz

Açık erişim modelinin kendisinin suçlu olup olmadığı tartışmalıdır. Ancak bu deney açık erişim yayıncılığında hakemlik denetiminin ciddi biçimde zayıfladığını gösteriyor.

Cornell Üniversitesi’nden fizikçi Paul Ginsparg’ın söylediği gibi:

“Kalite kontrolü olmayan dergiler yıkıcıdır.”

Bilimsel topluluğun bu soruna çözüm bulması gerekiyor. Çünkü hakemlik sistemi modern bilimin temel kurumlarından biridir—ve eğer bu kurum işlemiyorsa, bilimsel bilginin güvenilirliği de tehlikeye girer.

Kaynak

Bohannon, John.
“Who’s Afraid of Peer Review?”
Science 342, no. 6154 (2013): 60–65.

Metinde Atıf Yapılan Çalışmalar

Directory of Open Access Journals (DOAJ).
Beall, Jeffrey. Predatory Publishers List.
International Committee of Medical Journal Editors (ICMJE).
World Association of Medical Editors (WAME).

Orijinal metin için bkz.:
https://www.science.org/doi/10.1126/science.342.6154.60

© Ek Dergi