İlk 500 ve Türk Üniversiteleri/2

6. Türk üniversitelerinin araştırma çıktılarını olumsuz yönde etkileyen faktörler nelerdir?
Üniversiteyi liseden veya dersaneden ayıran en önemli faktör araştırmadır. İnsanlığın dağarcığındaki bilgiyi artırmak yerine sadece bilgiyi aktarmayı kendilerine misyon edinen yüksek öğrenim kurumları üniversite olmanın sorumluluklarını tümüyle yerine getirmemektedirler, ve birçoğu düşük prestijli diplomaların yerel dağıtıcıları olmaya mahkumdurlar. Sadece araştırma üniversiteleri yüksek prestijli uluslararası çekim merkezleri haline gelebilirler ve dünyada sıralamalarda önde gelebilirler.

Araştırma üniversitesi kavramı dünyaya 1818 yılında kurulan Humboldt Üniversitesi ile gelmiştir. Neredeyse 200 yıldan beri var olan ve dünyada yüzlerce güzel örneği olan bu kurumun nasıl oluşturulacağı bellidir. Detaylarda üniversitelerin misyon ve vizyonuna bağlı farklılıkar olmakla birlikte araştırma üniversitesi olmanın temel şartları şunlardır:
•    Araştırmacı: Araştırma kapasitesi yüksek öğretim üyeleri işe alınmalıdır.
•    Zaman: Öğretim üyelerine araştırma yapabilmeleri icin gereken zaman sağlanmalıdır.
•    Mali destek: Araştırma için gereken mali bütçeler sağlanmalıdır.
•    Altyapı: Araştırma için gereken fiziksel ve kurumsal ortamlar sağlanmalıdır.
•    Insan kaynağı: Araştırma için önemli olan doktora öğrencileri ve araştırma asistanlari sağlanmalıdır.
•    Kariyer yönetimi: Öğretim üyeleri için geliştirilecek değerlendirmelerde araştırma çıktıları öne çıkarılmalıdır.
Özetle araştırma çıktısı oluşturmak için iyi araştırmacıları ise alıp onlara araştırmaya uygun şartları sağlamak ve kariyerlerini hedefler doğrultusunda yönetmek gereklidir.

Türkiye’deki devlet üniversiteleri ile vakıf üniversiteleri arasında önemli farklar bulunduğundan iki gurubu farklı şekilde ele almak gereklidir. Fakat Türk yüksek öğreniminde devlet üniversitelerinin öğrenci payının %94 civarında olması dolayısıyla devlet üniversitelerindeki uygulamalar ülkenin araştırma politikası için çok önemlidir

•    Araştırmacı: En üretken araştırmacılar en üretken araştırma üniversitelerinden çıkarlar. Araştırma çıktısını yükseltmek isteyen üniversiteler de dünyanın önde gelen araştırmacıları ile çalışarak çok iyi bir araştırma eğitimi ve disiplini almış gelecek vaadeden bu araştırmacıları kadrolarına katarlar. Türk devlet üniversitesinde öğretim üyesi maaşları ilk 100e giren üniversitelerdeki maaşlarla karşılaştırıldığında çok düşük kalmaktadırlar. Bunun tabii bir sonucu olarak devlet üniversiteleri işe alımlarda zor durumda kalmaktadır. Vakıf üniversitelerinde öğretim üyesi maaşları devlet üniversitelerindeki maaşlardan daha yüksektir. Fakat devlet üniversitelerinin tersine, vakıf üniversiteleri maaşları arasında çok ciddi farklılıklar vardır. Bunun sonucu olarak bazı vakıf üniversiteleri dünyanın en iyi üniversitelerinden mezun genç öğretim üyelerini veya önde gelen üniversitelerde çalışan akademisyenleri kadrolarına katmakta, bazıları ise devlet üniversitelerinden öğretim üyesi transferi ile kadro kurmaktadırlar.

2005-06 akademik yılında Türkiye’deki üniversite öğrencisi sayısı 2,342,898 iken, öğretim üyesi sayısı 32,739, öğretim görevlisi ve okutman sayısı ise 52,046 olmuştur. Bu rakamlara göre öğrenci/öğretim üyesi oranı 71.7, öğrenci/akademik kadro oranı ise 27.6 olarak gerçekleşmiştir. Bu rakamlar araştırma üniversitesi için gerekenlerin çok üzerindedir. Bu konuda YÖK’ün hazırladığı Türkiye’nin Yükseköğretim Stratejisi Raporunda söyle denilmektedir:
Lisans programlarındaki oran (29) da batı ülkelerindeki düzeyin çok üzerindedir. Bu oran Avusturya, Belçika, Almanya ve Hollanda da 10’un, Norveç, ABD, Finlandiya’da 15’in ve diğer Avrupa ülkelerinde 20’nin altındadır.

•    Zaman: Uluslararası standartlarda araştırma çok zaman gerektiren bir uğraşıdır. Örneğin bir akademik makale için 1,000 saatlık bir çalışma gerekebilir. Öğretim üyelerinin zamanları 3 temel aktiviteye harcanır: araştırma, eğitim, hizmet. Eğitim ve hizmete ne kadar çok zaman harcanır ise araştırmaya o kadar az zaman kalir. Birçok Türk üniversitesinde eğitim, öğretim üyelerinin zamanlarının çok ciddi bir bölümünü almakta ve araştırmaya zaman kalmamaktadır. Devlet üniversitelerinde standart ders yükü haftada 10 saattir. Fakat öğretim üyelerinin önemli bir kısmı düşük olan maaşlarını destekleyebilmek için veya kadro eksikliğinden dolayı ek ders yükünün altına girerler ve bu ders yükü 30 saate kadar çıkabilir. Düşük maaşları desteklemenin bir diğer yolu da öğretim üyesinin döner sermaye üzerinden (veya kendi girişimleri ile) dışarıya iş yapmasıdır. Bu ek gelir amaçlı aktiviteler öğretim üyesinin araştırma zamanından götürmektedir. Araştırmaya yönelik vakıf üniversitelerinde ders yükü Amerikan araştırma üniversitelerinde olduğu gibi haftada 6 saattir. Fakat öğretim üyelerinden eğitim beklentisi bu seviyelerde olan vakıf üniversitesi sayısı çok düşüktür. Diğerlerinde ders yükü haftada 30 saate kadar çıkabilmektedir.

Ders yükü konusunda YÖK’ün hazırladığı Türkiye’nin Yüksekogretim Stratejisi Raporunda şöyle denilmektedir:
Bir öğretim üyesi, haftada 8 saatten fazla ders yükü taşıması halinde, kendi bilgisini yenilemek ve araştırma ve yayın yapmak için yeterli fırsat bulamayacaktır. Öğretim elemanlarının %73’ü aşırı eğitim yükü taşımaktadır. Bu hem eğitimin kalitesini düşürmekte hem de kendi gelişmesini engellemektedir. Bu durumda üniversitelerin üç işlevinden eğitim- öğretim işlevi, diğer işlevlerine göre baskın hale gelmektedir.

Ortalama Türk akademisyeni ortalama Amerikan araştırma üniversitesi akademisyeninden çok daha fazla zamanını (yaz ayları ve “sabbatical” izinleri de hesaba katıldığında 3 misli civarında zamanı) ders vermeye ayırmakta ve araştırmaya zamanı kalmamaktadır.

•    Mali destek: Araştırma çok zaman gerektirdiği gibi ciddi mali kaynaklar da gerektiren bir aktivitedir. Türkiye'deki birçok üniversitenin bütçesi maalesef araştırmaya ciddi fonlar ayırabilecek seviyede değildir. (OECD kaynaklarına göre, 2004 yılında öğrenci basına düşen ortalama yükseköğretim harcaması OECD için $14,000 iken Türkiye için $4,500 olarak gerçekleşmiştir. Yani OECD ortalaması Türkiye'nin üç mislidir.) Dolayısıyla araştırma için üniversite dışından fon sağlanması büyük önem kazanmaktadır. Son yıllarda hem TÜBİTAK bütçesi katlanarak artmış, hem de Avrupa Birliği fonları sayesinde üniversitelere çok ciddi araştırma bütçeleri aktarılmaya başlanmıştır.  Örneğin TÜBİTAK Tarafından Üniversitelere Verilen Ar-Ge Desteği vasıtası ile yıllık harcama miktarı 2000 yılında 5.8 Milyon TL iken 9 yılda 23 kat artarak 2009 yılında 135.7 Milyon TLye çıkmıştır. Bu aktarmaların meyvelerini araştırma çıktılarında görmek mümkündür. Türkiye bilimsel yayın sıralamalarında 2000’de dünyada 26. iken 2007’de 19. luğa tırmanmıştır. Türkiyenin bilime katkısının kalıcı bir hale getirilebilmesi için bu kaynak akışının sürmesi ve hatta artması gereklidir. 

•    Altyapı: Araştırma için fiziksel (kütüphane, laboratuar, ve ekipman) ve kurumsal (araştırma ofisi) altyapı sağlanmalı, araştırma işbirliklerinin ve ortaklıklarının teşvik edildiği fiziksel ve sanal ortamlar yaratılmalıdır. Üniversitelerin araştırma destek ofisleri araştırmacıların beyin gücünü araştırma çıktılarına, topluma yararlı uygulama ve ürünlere dönüştürmede destek olmalıdır. Araştırmacıların kurumları içinde ve dışında ortaklıklara ve işbirliklerine katılabilmesi de üniversite yönetiminin teşvik etmesi, kolaylaştirici imkanlar sunması ile mümkün olur.

•    Insan kaynağı: Araştırmanın motoru lisansüstü ve doktora öğrencileridir. Maalesef ülkemizdeki lisansüstü ve doktora öğrencisi sayısı dünyadaki araştırma üniversiteleri ile kıyaslandığında çok düşük kalmaktadır. Bunun nedenleri açıktır: 
-    araştırma geleneği ve kültürü zayıf olan birçok üniversite araştırmaya yatkın lisans mezunu üretememektedir
-    lisansüstü ve doktora öğrencilerine üniversitelerin ödeyebildiği ücretler en kalifiye araştırmacıları çekebilmekte yetersiz kalmaktadır
-    Türk üniversitelerinden yüksek lisans ve doktora derecelei ile mezun olanların iş olanakları kısıtlı ve gelir beklentileri düşüktür
-    en iyi lisans mezunları en iyi lisansüstü eğitimi için yurt dışına gitmektedirler
ÖSYM sayılarına göre 1995 ile 2004 arasında Türk üniversitelerinden mezun olmuş öğrenci sayısı 2,218,289 olmuştur. Bu öğrencilerin sadece 105,341 tanesi yükseklisans, 22,644 tanesi ise doktora programlarını bitirmişlerdir (Türkiye’nin Yükseköğretim Stratejisi, Taslak Rapor, Tablo 31, YÖK, 2006). Yani yüksek lisans mezun oranı %4.8, doktora mezun oranı ise %1’dir.  Lisansüstü öğrenci sayısı bu kadar düşük olan bir ülkenin üniversitelerinin dünyada üst sıralarda olmasını beklemek fazla iyimserlik olur.

•    Kariyer yönetimi: Yüksek performans beklenen ortamlarda başarının ödüllendirilmesi, başarısızlığın da süreklilik kazanmaması için önlem alınması bir gelenektir. Devlette öğretim üyeleri memur statüsündedirler. Devlet personel rejimi tüm çalışanlarla performanslarına bakmaksızın iş güvencesi sunar ve performansı ödüllendirecek düzenlemeler getirmez. Vakıf üniversitelerinde ise öğretim üyeleri sözleşmeli personel statüsündedirler. Kontratların süresi bir yıl ile 5 yıl arasında değişir. Bu sistemin iyi çalışabilmesi için performans değerlendirme kriterlerinin ve ödüllendirme sistemlerinin detaylandırılmış ve şeffaf olması gerekmektedir. Fakat her vakıf üniversitesindeki uygulamanın bu olduğu söylenemez.

Avrupa Üniversiteler Birliğı Kurumsal Değerlendirme Programı’nin 17 Türk üniversitesini inceledikten sonra hazırlamış olduğu Türkiye’de Yükseköğretim: Eğilimler, Sorunlar, Fırsatlar raporundaTürkiye’deki araştırma faaliyetleri ve bunların önündeki engeller konusunda yukarındaki konuların bazılarına şu sözlerle değinilmiştir:
... Ancak hâlâ öğretim görevlisi ve araştırmacı sayısı yeterli olmaktan uzaktır. Hem ulusal hem de üniversite düzeyindeki stratejileri birleştiren, tutarlı ve ileriye dönük bir insan kaynakları stratejisine acilen ihtiyaç duyulmaktadır.
... incelemeyi yürütenler, pek çok üniversitenin araştırma stratejisi ya da politikası olmadığını ve (bu durumla ilişkisiz olmayan bir şekilde) araştırmalar arasında eşgüdüm sağlayan üniversite düzeyinde bir organ bulunmadığını kaydetmişlerdir. Aynı zamanda, üniversitelerin parçalı yapıları nedeniyle, disiplinler arası yeterli işbirliği olmadığını ve (ek gelir kazanmak için gerekli görülen) aşırı ders yükü ve araştırma için herhangi bir teşvik sunmayan kamu çalışanı/memur statüsü nedeniyle akademik personelin düşük motivasyona sahip olduğunu ortaya koymuşlardır.
Akademik personelin maaşları, araştırma verimliliğinin önündeki başlıca engellerden biri olarak görülebilir. Bu durum, yükseköğretimde maaşları rekabetçi bir seviyeye getirmek üzere ulusal düzeyde bir yatırım olmaksızın, bu alana tahsis edilmiş fonların büyük bir kısmının adeta heba olabileceği anlamına gelmektedir.

Türk üniversiteleri 1990 yılında endeksli dergilerde 1,094 makale yayınlamışlardı. Bu araştırma çıktısı, o yılki dünya araştırma çıktısının %0.16sını oluşturmakta idi ve Türkiye’yi dünyada 41. yapmaktaydı. 2005 yılında ise makale sayısı 15,666ya yükseldi. Dünya toplamının %1.2sını oluşturan bu sayı Türkiye’yi 19.luğa yükseltti. Buradan da görüleceği gibi, 1990 ile 2005 arasında (yani sadece 15 yıl içinde) Türk üniversitelerinin araştırma çıktısında çok ciddi bir artış yaşanmış, ve Türkiye’nin dünyadaki araştırmaya katkısı Türkiye’nin dünya GSMH’na katkısına eşit bir noktaya gelmiştir. Bu artışın kanımızca en önemli üç nedeni devletin TÜBİTAK üzerinden araştırmaya ayırdığı kaynak, doçentlik için getirilen merkezi akademik standartlar, ve özellikle vakıf üniversitelerinin kurulması ise hızlanan tersine beyin göçü olmuştur. Yani Türk üniversite sistemi, kaynaklar artırılsa ve performansı teşvik eden sistemler getirilirse araştırma çıktısını katlayarak artırabileceğini yakın geçmişte kanıtlamıştır.

7. Türkiye’de üniversite sıralaması yapılmakta mıdır?
Dünyadaki üniversite sıralamaları kadar ses getirmese de, Türkiye’de üniversite sıralaması yapılmaktadır. 

7.1 Yayın sayısı bazlı sıralamalar
Yukarıda görüldüğü gibi, dünya üzerindeki sıralamalarda en önemli kriter bilimsel yayın sayılarıdir. Yayın sayılarına göre Türk üniversitelerini sıralamak mümkündür.

7.1.1 Yükseköğretim Kurulu sitesindeki sıralamalar
Yükseköğretim Kurulu her sene endeksli dergilerde yayınlanan makaleleri baz alarak iki sıralama yapmaktadır:
-    toplam makale sayısına göre sıralama
-    öğretim üyesi başına düşen makale sayısına göre sıralama
Bu sıralamalara YÖK sitesinden (http://www.yok.gov.tr/) “istatistikler” menüsünden ulaşılabilir. 

Toplam makale sayısına göre sıralamada iki nokta göze çarpmaktadır:
-    Sıralamadaki üniversiteler ülkedeki en büyük üniversitelerdir. Ülkede en çok akademisyen çalıştıran 10 üniversitenin 8 tanesi ilk 10a girmiştir. Çok akademisyeni olan üniversiteden çok yayın beklenir.
-    Ülkenin önde gelen iki teknik üniversitesi hariç ilk 10daki üniversitelerin hepsinde tıp fakültesi vardır. Tıp fakülteleri akademik yayın konusunda çok üretken fakültelerdir.

Öğretim üyesi başına düşen makale sayısına göre sıralamanın da fazla anlamlı olduğu söylenemez. Birinci sıralamanın aksine, bu sıralama küçük üniversiteleri öne çıkarmaktadır, ve bu sıralamada bir tek akademisyeni olan bir üniversitenin 2 yayın ile en üst sıraya oturması mümkündür.

İki sıralamada da sorunlar vardır, fakat başka hiçbir bilgiye başvurmadan, bu iki sıralamayı kullanarak ikisinden de daha az eleştirilecek bir sıralama oluşturulabilir.  Hem yayın sayıları, hem de yayın/akademisyen sayıları en yüksek degerlerine bolunerek normalize edildikten sonra bu iki kritere değişik ağırlıklar vererek üniversiteleri sıralamak mumkundur.  100 akademisyenden daha küçük kadrolü üniversiteleri daha kuruluş döneminde olduklarından sıralamanın dışında bırakarak, ve ağırlık olarak da her iki kriter için de 0.5 kullanıldığında aşağıdaki “ilk 10” tablosu ortaya çıkmaktadır:

Tablo 3: Toplam yayın sayısı ve öğretim üyesi başına düşen yayın sayısını (2008) birlikte değerlendiren ilk 10 sıralaması (en az 100 öğretim üyesi olan üniversiteler)

 

7.1.2 TÜBİTAK sitesindeki sıralamalar
Türkiye Bilimsel Yayın ve Atıf Göstergeleri’ne TÜBİTAK-ULAKBIM Cahit Arf Bilgi Merkezinden ulaşılabilir (http://www.ulakbim.gov.tr/cabim/yayin/tbyg_1981-2006/).  Bu site kullanılarak, üniversitelerin 1981-2006 döneminde bütün bilim dallarında (veya 24 ana bilim dalınının her birinde) yaptıkları yıllık yayın ve aldıkları atıf sayısına göre, veya beşer yıllık dönemlerdeki performanslarına göre sıralama yapmak mümkündür.

Tablo 4:2002-2006 yılları için bütün bilim dallarındaki yayın sayısına göre ilk 10

 

Tablo 5: 2002-2006 yılları için bütün bilim dallarındaki yayınların etki değerine göre ilk 10 (etki değeri = atıf sayısı/yayın sayısı)
 

Tablo 4 ile Tablo 5 arasındaki fark çarpıcıdir. Yayın sayısı sıralamasında devlet üniversitelerine kıyasla çok daha küçük olan vakıf üniversitelerinden hiçbirisi ilk 10a girememiş iken, etki değeri sıralamasında ilk 3 vakıf üniversitelerinin olmuştur. Devlet üniversitelerinde tayin ve terfi için herhangi bir dergide yayın yeterli iken, araştırma misyonu olan vakıf üniversitelerinde tayin ve terfi için etki değeri yüksek yayınların aranıyor olması, bu farklılığın bir açıklaması olabilir. Hem yayın sayısı hem de etki değeri sıralamasında, sıralamaların en sonunda gelen 10 üniversitenin içinde 6 vakıf üniversitesinin olması da vakıf üniversiteleri arasındaki büyük farklılıkları ortaya koyan bir göstergedir.

7.2 Araştırma Proje Desteği Sıralamaları
Üniversitelerdeki araştırma aktivitesinin ölçütlerinden birisi de üniversitenin yurt içindeki ve dışındaki kaynaklardan almış olduğu araştırma desteğidir. TÜBİTAK sitesinde hem TÜBİTAK hem de Avrupa Birliği tarafından desteklenen projeler ile ilgili bilgiler bulunmaktadır.

Tablo 6: 2009 yılında TÜBİTAK Akademik Ar-Ge Desteklerinden En Fazla Yararlanan On Üniversite (http://www.tubitak.gov.tr/tubitak_content_files/ARDEB/ARDEB10.pdf)

 

Görüleceği gibi bu sıralamaya giren 10 üniversitenin araştırma desteği 6 yıl gibi kısa bir süre içerisinde toplam 10 misli artmıştır. Hem 2003de hem de 2009da listenin başında ODTÜ yer almaktadır.

Avrupa Birliği 7. Çevre Programında Türk üniversiteleri hatırı sayılır destek bulmuşlardır.  Bu programdaki toplam proje sayısı en yüksek 10 üniversite aşağıdadır.

Tablo 7: Avrupa Birliği 7. Çevre Programında toplam proje sayısı en yüksek 10 üniversite (http://www.tubitak.gov.tr/tubitak_content_files/BTYPD/istatistikler/39.pdf)
 

TÜBİTAK destek sıralamasında olduğu gibi 7. Çevre sıralamasında da ODTÜ birincidir. Bu tablonun ilginç bir yanı da, devlet üniversitelerine kıyasla çok küçük olan Sabancı ve Koç Üniversitelerinin ikinci ve üçüncü sırayı almış olmaları, ve ilk altıda 3 vakıf üniversitesinin bulunmasıdır.

7.3 Ödül Sıralamaları
Üniversite öğretim üyelerinin akademik bilinirliklerini ve başarı seviyelerini ölçmenin bir diğer göstergesi de öğretim üyelerinin almış olduğu ödüllerdir. Ülkemizdeki en saygın ödüller TÜBA (Türkiye Bilimler Akademisı) ve TÜBİTAK (Türkiye Bilimsel ve Teknolojik Araştırma Kurumu) ödülleridir.

Tablo 8: 2001-2010 Arası TÜBA (Türkiye Bilimler Akademisi) Tarafından Verilen GEBİP* Ödüllerinin Üniversitelere Göre Dağılımı – İlk 10
 

*GEBİP, uluslararası nitelikte bilimsel çalışmalarıyla öne çıkan genç bilim insanlarını araştırmalarında ve kendi araştırma gruplarını geliştirmede desteklemek ve ülkemizdeki genç bilim insanlarını üstün başarılı araştırmalara özendirmek amacıyla oluşturulmuştur.

Tablo 9: 2004-2009 Arasında Verilmiş Olan TÜBİTAK Teşvik Ödüllerinin* Üniversitelere Göre Dağılımı – İlk 10

* Teşvik ödülleri bilimsel araştırmalarıyla bilime gelecekte evrensel düzeyde katkılarda bulunabilecek potansiyele sahip olduğunu kanıtlamış genç araştırmacılara (ödülün verildiği yılın ilk gününde 40 yaşını geçmemiş) verilmektedir

Koç Üniversitesi almış olduğu toplam 43 GEBİP ve Teşvik ödülü ile bu kategorinin lideridir. Toplam 15 ödülün üzerinde kazanmış olan diğer üniversiteler sırasıyla Boğaziçi (31), Bilkent (30), Hacettepe (25), Sabancı (21), ODTÜ (20), ve ITU’dür (16).

7.4 Prof. Ural Akbulut Sıralaması
Yukarıda sözü edilen sıralamaların tümü tek kriter üzerinden yapılmış sıralamalardır. Türkiye’deki ilk (ve tek) çok kriterli sıralama Prof. Dr. Ural Akbulut tarafından yapılmıştır (http://www.uralakbulut.com.tr/). “Nerede olduğumuzu bilmeden gitmek istediğimiz yere ulaşamayız.” diyerek yola çıkan Prof. Akbulut deneyimli bir danışma kurulu ile birlikte Türk üniversitelerini sıralamak için 9 kriterli bir sistem geliştirmiş ve bu sistemin ilk sonuçları Milliyet gazetesinde 5 Ocak 2010 tarihinde yayınlanmıştır. Kriterler ve verilerin alındığı kaynaklar şunlardır:
1.    Toplam yayın sayısı (araştırma)-YÖK (2007 yılı için yayınlandı)
2.    Kişi başına düşen yayın sayısı (araştırma)- YÖK (2007 yılı için yayınlandı)
3.    2000-2008 arasında çıkan yayınlara 2008’de yapılmış toplam atıf sayısı (araştırma)-ISI
4.    2000-2008 arasında çıkan yayınlara 2008’de yapılmış kişi başına düşen atıf sayısı (araştırma)-ISI ve YÖK
5.    2000-2008 arası yapılan toplam yayın, konferans ve atıf sayısı (araştırma)-Google Scholar (GS)
6.    2000-2008 arasında öğretim üyesi başına düşen yayın, tebliğ ve atıf sayısı (araştırma) -GS ve YÖK
7.    Toplam doktora öğrenci sayısı (eğitim-araştırma)-ÖSYM
8.    Doktora öğrencilerinin toplam öğrenciye oranı (eğitim-araştırma)- ÖSYM
9.    Öğretim üyesi başına düşen öğreci sayısı (eğitim)-YÖK ve ÖSYM
Bu kriterlerin amacı toplam çıktı ile kişi başına çıktı arasında bir denge kurabilmektir. Örneğin birinci kriter toplam yayın sayısıdır ve büyük kuruluşları öne çıkarır. Fakat ikinci kriter kişi başına düşen yayın sayısıdır ve üretkenliği en yüksek olan kuruluşları öne çıkarır. Aynı denge 7. ve 8. kriterler ile de kurulmaktadır. 5. ve 6. kriterler ilk iki kritere benzemekle birklikte hem zamana yayılmış kriterlerdir, hem de konferans tebliglerini de içerdiklerinden daha kapsamlı bir ölçüt oluşturmaktadırlar.

Bu sıralamanın ilginç bir yanı da üniversitelerin aşağıdaki gibi 3 boyutta guruplandırılıp her gurubun kendi içinde sıralanmış olmasıdır:
•    2000’den önce kurulmuş olanlar, 2000’den sonra kurulmuş olanlar
•    Tıp Fakültesi olanlar, tıp fakültesi olmayanlar
•    Devlet üniversiteleri, vakıf üniversiteleri
Dolayısıyla, bütün üniversitelerin 9 kriterin herhangi birisine göre sıralanması mümkün iken, örneğin sadece 2000’den sonra kurulmuş ve tıp fakültesi olmayan devlet üniversitelerinin sıralamasını incelemek de mümkün olmaktadır.

Bu sıralama sistemi çok etraflı bir sistem olmakla birlikte çok yüksek miktarda veri toplamayı ve bunları temizlemeyi ve doğrulamayı gerektirmektedir. Özellikle atıf verilerini doğru olarak toplamak çeşitli nedenlerden dolayı oldukça zordur. Dolayısıyla kullanılan verilerin üniversiteler tarafından kontrol edilip mükemmelleştirilmesi yoğun bir işbirliği gerektirecek ve çok zaman alacaktır. 

Bu sistemin bir eksikliği yayın ve atıf sayılarının alanlar bazında normalize edilmemesidir. Yani sosyal bilimlerdeki bir makale ve atıf ile tıptaki bir makale ve atıf aynı şekilde değerlendirilmektedir. Fakat bu iki alan arasında makale ve atıf üretme açısından çok ciddi farklar vardır. Ocak 2010’da yayınlanan “2000 yılından önce kurulan üniversiteler genel sıralaması”ndaki ilk 10 Tablo 10’da verilmiştir.

Tablo 10: 2000 yılından önce kurulan üniversiteler genel sıralaması -- ilk 10
 

Bu sıralamada iki vakıf üniversitesinin ilk onda olduğu dikkat çekmektedir.  Bunun yanında aynı sıralamada son sekiz üniversitenin hepsinin vakıf üniversiteleri olması da Türkiye’de vakıf üniversiteleri arasındaki derin uçurumun bir göstergesidir.