IREG Observatory on Academic Ranking and Excellence (in short: IREG Observatory) is an international institutional non-profit association of ranking organizations, universities and other bodies interested in university rankings and academic excellence. Its purpose is strengthening of public awareness and understanding of range of issues related to university rankings and academic excellence. The experience acquired by a group of rankers and ranking analysts, who met first in 2002, led to creation of an International Ranking Expert Group (IREG). In 2009 this informal group was transformed into IREG Observatory as a non-profit organization. It is registered in Brussels, Belgium, and its Secretariat is located in Warsaw, Poland.

Executive Committee

Waldemar Siwinski

President of IREG Observatory and Academic Ranking and Excellence

Founder of Perspektywy Education Foundation (Poland)

Gero Federkeil

Vice President

Head of International Rankings at CHE Centre for Higher Education, Managing Director of U-Multirank (Germany)

Ying Cheng

CEO & Co-Founder at Shanghai Ranking Consultancy (China)

Robert James Morse

Director of Data Research for U.S. News & World Report (USA)

Burkitbayev Mukhambetkali

Professor at Al Farabi University in Almaty (Kazakhstan)

Birte Hornemann

Director of Aalborg University’s office of Quality Assurance and Ranking. (Denmark)

Gyorgy Fabri

Professor at Eötvös Loránd University (Hungary)

Habib M. Fardoun

Excellence Consulting for Education, Spain

Luiz Claudio Costa

Former President of IREG Observatory (Brazil)

(non-voting member of Executive Committee)

Kazimierz Bilanow

Managing Director

HONORARY MEMBERS

Andrzej Kozminski, Co-founder of IREG Observatory and President of Kozminski University (Poland)
Robert J. Morse, Director of Data Research for U.S. News & World Report (USA)

Jan Sadlak, former IREG Observatory President (2009-2018) (Poland)

Jamie P. Merisotis, President of the Lumina Foundation and former Director of Institute for Higher Education Policy (USA)

Detlef Müller-Böling, former Director of the Centre of Higher Education Development (Germany)

Prof. Liu Nian Cai, Director of the Center for World-Class Universities and the Dean of Graduate School of Education, Shanghai Jiao Tong University (China)

Klaus Hüfner, Honorary President of WFUNA, Honorary Member of the UNESCO World Heritage Sites Germany and of the German Commission for UNESCO (Germany)

Isidro F. Aguillo, Head of Webometrics (Spain)

A BRIEF HISTORY

Uzbekistan, Tashkent, IREG 2023: Rankings and University International Exposure

Warsaw, Poland, IREG 2022 Conference: Academic rankings at the corossroads (organized by University of Warsaw and IREG Observatory)

Jeddah, Saudi Arabia, IREG 2021 Conference: Effects of Rankings on Community and Society (organized online by King Abdulaziz University and IREG Observatory)

Beijing, China, IREG 2020 Conference: University rankings in the time of uncertainty (organized online by Beijing University of Technology and IREG Observatory)

Bologna, Italy, IREG 2019 Conference: Rankings: A Challenge to Higher Education? (organized by University of Bologna and IREG Observatory)

Hasselt, Belgium, 2018, IREG-9 Conference: Ranking and Accreditation – two roads to the same goal? (organized by Hasselt University and IREG Observatory)

Doha, Qatar, 2017, IREG Forum: Excellence as the University Driving Force (organized by Qatar University and IREG Observatory)

Lisbon, Portugal, 2016, IREG-8 Conference: University Rankings and International Academic Relations – a Bridging Tool or a Hindrance? (organized by Universidade NOVA de Lisboa and IREG Observatory)

Aalborg, Denmark, 2015, IREG Forum: Rankings by Subject – Inclusive Approach to University Performance (organized by Aalborg University and IREG Observatory)

London, 2014, IREG-7 Conference Employability and Academic Rankings – Reflections and Impacts, (organized by QS Quacquarelli Symonds and IREG Observatory, London, United Kingom -14-16 May 2014)

Warsaw, 2013, IREG Forum on Ranking Methodologies (Organized by IREG Observatory and Perspektywy Education Foundation – 16-17 May 2013)

Taipei, 2012, IREG-6 Conference Academic Rankings and Advancement of Higher Education: Lessons from Asia and other Regions (organized by IREG Observatory and Higher Education Evaluation & Accreditation Council of Taiwan HEEACT).

Bratislava, 2011, IREG Forum on National Rankings (organized by IREG Observatory in collaboration with ARRA – Slovak Academic Ranking and Rating Agency).

Maribor, 2010, Academicus Event Mapping of Academic Excellence in the Context of Quality Assurance (organized by University of Maribor in collaboration with IREG Observatory).

Berlin, 2010, IREG-5 Conference Academic Rankings: From Popularity to Reliability and Relevance (organized by IREG Observatory and CHE-Centre for Higher Education Development with the support of the German Federal Ministry of Research and Higher Education).

Warsaw, 2010, 1st General Assembly of IREG Observatory and a round table debate on: What should be done to improve standing of humanities and social sciences in academic rankings?e

Brussels, 2009, IREG Observatory on Academic Ranking and Excellence established and registered in Brussels under the Belgian law as an international association not-for-profit.

Astana, 2009, IREG-4 Conference International and National Academic Ranking: Commonalities and Differences (organized with the support of UNESCO-CEPES and the Ministry of Education and Science of Kazakhstan).

Warsaw, 2008, International Education Conference – Special Session on Rankings (following the session members of IREG group met to initiated a procedure leading to creation of an international organization)

Shanghai, 2007, IREG-3 Conference (organized with the support of UNESCO-CEPES and Jiao Tong University)

Berlin, 2006, IREG-2 Conference (organized with the support of UNESCO-CEPES and the CHE-Centre of Higher Education Development). The Conference adopted The Berlin Principles on Ranking of Higher Education Institutions.

Washington DC, 2004, IREG-1 Conference (organized with the support of UNECSO-CEPES and the Institute for Higher Education Policy)

Warsaw, 2002, IREG-0 Conference International Ranking Expert Group (IREG) emerged as a joint initiative of the UNESCO European Centre for Higher Education (UNESCO-CEPES) and a group of international ranking experts concerned with the quality of academic ranking.

BERLIN PRINCIPLES

Le classement des établissements et des programmes d’enseignement supérieur est un phénomène mondial. L’exercice de classement est utile à bien des égards : il  répond aux demandes des consommateurs de disposer d’informations facilement interprétables concernant la position des établissements d’enseignement supérieur ; il stimule la compétition entre ceux-ci; il fournit une partie des critères d’allocation de fonds; et il aide à différencier les types d’établissements ainsi que les programmes et disciplines. De plus, une fois correctement compris et interprété, il contribue à la définition de la « qualité » des établissements d’enseignement supérieur dans un pays donné, en complétant le travail rigoureux effectué dans le cadre des évaluations de la qualité et des expertises effectuées par des agences d’accréditation publiques et indépendantes. C’est pourquoi les classements des établissements d’enseignement supérieur sont devenus l’un des éléments de responsabilisation et d’assurance qualité au niveau national ; c’est pourquoi ils sont susceptibles de se développer dans de nombreux pays.  De ce fait, il est important que ceux qui établissent des classements se sentent responsables de la qualité de leur processus de collecte des données, de la méthodologie utilisée, et de la diffusion des résultats.

Dans cette perspective, un Groupe d’experts internationaux en classements – IREG [International Ranking Expert Group] a été fondé en 2004 par le Centre européen pour l’enseignement supérieur de l’UNESCO (UNESCO-CEPES) de Bucarest et l’Institute for Higher Education Policy de Washington, D.C. C’est à partir de cette initiative que s’est tenue la deuxième réunion de l’IREG (Berlin, les 18-20 mai 2006) afin de formuler un ensemble de principes concernant la qualité et les bonnes pratiques dans les classements des établissements d’enseignement supérieur – appelés les Principes de Berlin sur le classement des établissements d’enseignement supérieur.

On espère que cette initiative établisse un cadre pour l’élaboration et la dissémination des classements – qu’ils aient une portée nationale, régionale ou mondiale – afin de contribuer à un processus d’amélioration et de sophistication continues des méthodologies employées pour établir ces classements. Du fait de l’hétérogénéité des méthodologies des classements, ces principes de bonnes pratiques au niveau des classements seront utiles pour le développement et l’évaluation du processus de classement.

Les classements devraient :

A) Buts et objectifs des classements

1. Etre l’une des nombreuses approches de l’évaluation des ressources, des processus  et des résultats de l’enseignement supérieur. Les classements peuvent offrir des informations comparatives et une meilleure compréhension de l’enseignement supérieur, mais ne devraient pas être la méthode principale utilisée pour évaluer ce qu’est, et ce que fait, l’enseignement supérieur. Les classements offrent une perspective basée sur le marché qui peut seulement compléter le travail effectué par le gouvernement, les autorités responsables de l’accréditation, et les agences d’expertise indépendantes.

2. Etre explicites quant à leur objectif et à leurs publics cibles. Les classements doivent être conçus en tenant compte de leur objectif. Les indicateurs élaborés pour atteindre un certain objectif ou pour informer un certain public cible peuvent ne pas être adéquats pour d’autres objectifs ou publics cibles.

3. Reconnaître la diversité des établissements et prendre en considération leurs différentes missions et objectifs. Par exemple, les critères de qualité pour les établissements axés sur la recherche, sont tout à fait différents de ceux qui sont pertinents pour les établissements qui assurent un plus large accès à des communautés défavorisées. Les établissements qui sont classés et les experts qui sont à la base du processus de classement doivent être fréquemment consultés.

4. Etre clairs quant à la gamme de sources d’information employées dans les classements et des informations rendues accessibles par chaque source. La pertinence des résultats des classements dépend des publics qui reçoivent les informations et des sources de ces informations (bases de données, étudiants, enseignants ou employeurs). Une bonne pratique serait de combiner les différentes perspectives fournies par ces sources afin d’obtenir une image plus complète de chaque établissement d’enseignement supérieur inclus dans un classement donné.

5. Indiquer les contextes linguistiques, culturels, économiques et historiques des systèmes d’enseignement qui font l’objet de classements. Les classements internationaux devraient être particulièrement attentifs à toute possibilité de biais et être précis sur leurs objectifs. Les Etats ou les systèmes ne partagent pas tous les mêmes valeurs et croyances concernant ce qui constitue la « qualité » dans les établissements tertiaires, et les systèmes de classement ne devraient pas être conçus dans le but d’imposer des comparaisons inadéquates.

B) Création et pondération des indicateurs

6. Etre transparents quant à la méthodologie employée pour la création de classements. Le choix des méthodes employées pour élaborer les classements devrait être clair et sans équivoque. Cette transparence devrait inclure le calcul des indicateurs ainsi que l’origine des données.

7. Choisir les indicateurs en fonction de leur pertinence et de leur validité. Le choix des données devrait se baser sur la reconnaissance de la capacité de chaque critère à représenter la qualité et les atouts académiques et institutionnels, et non pas sur la disponibilité des données. Les raisons justifiant la prise en compte de chaque type de mesures ainsi que ce qu’elles sont censées représenter doivent être explicités.

8. Mesurer de préférence, et dans la mesure du possible les résultats plutôt que les ressources. Les données concernant les ressources sont pertinentes parce qu’elles reflètent la situation générale d’un établissement donné et sont plus fréquemment disponibles. L’analyse des résultats offre une évaluation plus correcte de la position et/ou de la qualité d’un établissement ou d’un programme donné. Les producteurs de classements devraient s’assurer qu’un juste équilibre est atteint. 

9. Mettre en évidence les poids assignés aux différents indicateurs (si employés) et limiter leurs changements. Les changements de poids font que les utilisateurs ont du mal à discerner si le statut d’un établissement ou d’un programme a changé dans la cadre des classements à cause d’une différence inhérente ou du fait d’un changement méthodologique.

 C) Collecte et traitement des données

10. Accorder une attention sévère aux standards éthiques et aux recommandations concernant les bonnes pratiques formulées dans ces Principes. Afin d’assurer la crédibilité de chaque classement, les personnes responsables de la collecte et de l’utilisation des données, ainsi que des visites sur place, devraient être aussi objectifs et impartiaux que possible.

11. Utiliser des données auditées et vérifiables chaque fois que cela est possible. Ces données présentent plusieurs avantages, comme le fait qu’elles ont été acceptées par les établissements et qu’elles sont comparables et compatibles entre établissements.

12. Inclure des données qui sont collectées par des procédures appropriées de conformes à la collecte scientifique de données. Les données rassemblées à partir d’un groupe non-représentatif ou incomplet d’étudiants, d’enseignants ou d’autres parties pourraient ne pas représenter un établissement ou un programme, et devraient être exclues.

13. Appliquer des critères d’assurance qualité aux processus mêmes de classement. Ces processus devraient tenir compte des techniques d’évaluation des établissements et mettre à profit ces connaissances pour évaluer les classements eux-mêmes. Les classements devraient être des systèmes d’apprentissage capables d’utiliser ces connaissances pour améliorer leur méthodologie.

14. Appliquer des critères organisationnels qui accroissent la crédibilité des classements. Cela peut comprendre des groupes à vocation de conseil, ou de surveillance, de préférence à participation internationale.

D) Présentation des résultats des classements

15. Offrir aux consommateurs une compréhension claire de l’ensemble des facteurs employés pour la construction d’un classement, ainsi que le choix de la manière dont les classements doivent être présentés. Ainsi, les utilisateurs des classements pourront mieux comprendre les indicateurs utilisés dans le classement d’établissements ou de programmes. De plus, ils devraient avoir la possibilité de faire leurs propres choix quant au poids accordés à ces indicateurs.

16. Etre compilés d’une manière qui élimine ou réduise le nombre d’erreurs au niveau des données d’origine, et être organisés et publiés d’une manière qui permette la correction des erreurs et des fautes potentielles. Les établissements et le public devraient être informés au sujet des erreurs apparues durant le processus.

Berlin, le 20 mai 2006

Rankingi szkół wyższych i programów studiów są zjawiskiem globalnym. Służą wielu celom: są reakcją na potrzebę posiadania dającej się łatwo interpretować informacji na temat pozycji wyższych uczelni; pobudzają konkurencję miedzy nimi; dają pewne argumenty do przyznawania funduszów; sprzyjają rozróżnianiu różnych rodzajów uczelni, różnych programów i dyscyplin naukowych. Ponadto, jeśli rankingi są właściwie rozumiane i interpretowane, przyczyniają się do określenia “jakości” szkół wyższych w poszczególnych państwach, stanowiąc uzupełnienie wytężonej pracy prowadzonej przez publiczne i niezależne agencje akredytujące w zakresie oceny i kontroli jakości. Z tego powodu rankingi szkół wyższych w poszczególnych państwach należą do grupy procesów i działań zapewniających odpowiedzialność i wysoką jakość kształcenia. Stąd, w coraz większej liczbie państw będą powstawały nowe rankingi. Przy utrzymywaniu się tego trendu, ważne jest, aby instytucje przygotowujące rankingi były odpowiedzialne za wysoką jakość pracy w zakresie zbierania danych, metodologii i upowszechniania.

W związku z powyższym, w 2004 r. Europejskie Centrum Szkolnictwa Wyższego UNESCO (UNESCO-CEPES) w Bukareszcie oraz Instytut Polityki Szkolnictwa Wyższego w Waszyngtonie, DC, powołało Międzynarodową Grupę Ekspercką ds. Rankingów (International Ranking Expert Group – IREG). To właśnie z ich inicjatywy zwołano drugie spotkanie IREG (Berlin 18-20 maja, 2006) w celu rozważenia zasad zapewniających wysoką jakość i stosowanie modelowych rozwiązań w rankingach wyższych uczelni – tj. Berlińskich Zasad dot. Rankingów Szkół Wyższych.

Można się spodziewać, iż dzięki tej inicjatywie stworzono ramy służące wypracowaniu i upowszechnianiu rankingów – niezależnie od ich zasięgu: krajowego, regionalnego czy globalnego – które ostatecznie doprowadzą do wypracowania systemu ciągłego ulepszania i doskonalenia metodologii stosowanej przy przeprowadzaniu rankingów. Przy tak dużej różnorodności stosowanych metodologii, zasady określające modelowe rozwiązania w układaniu rankingów okażą się pożyteczne w ich udoskonalaniu i ocenie.

A) Cele i zadania rankingów

1. Rankingi powinny być jedną z kilku różnych metod służących ocenie stanów wyjściowych, procesów i wyników. Rankingi mogą stanowić źródło informacji porównawczej i lepszego rozeznania w sprawach wykształcenia wyższego, ale nie powinny być główną metodą oceny tego czym jest wykształcenie wyższe i czemu ma służyć. Rankingi dają perspektywę rynkową, która może być uzupełnieniem działań rządu, władz akredytujących i niezależnych agencji kontrolnych.

2. Powinny w sposób jasny przedstawiać cele i potencjalnych adresatów. Układając rankingi należy zwracać należytą uwagę na ich cel. Podawanie wskaźników z myślą o osiągnięciu określonego celu lub poinformowania jednej grupy odbiorców może być niewystarczające dla innych celów lub innych grup docelowych.

3. Powinny odzwierciedlać różnorodny charakter uczelni, uwzględniając różne misje i cele, jakie im przyświecają. Miary jakości służące ocenie np. uczelni o profilu badawczym będą wyglądały zupełnie inaczej niż dla uczelni, które są szeroko dostępne dla środowisk o ograniczonym dostępie do usług i zasobów. Zespoły opracowujące rankingi powinny się często konsultować zarówno z klasyfikowanymi uczelniami, jak i ekspertami, którzy stanowią źródło informacji w procesie tworzenia rankingu.

4. Powinny w sposób jasny przedstawić zakres źródeł informacji służących opracowaniu rankingów oraz rodzaj informacji, jakie każde źródło generuje. Rola i znaczenie wyników list rankingowych zależy od odbiorców otrzymujących informacje i źródeł tych informacji (bazy danych, studenci, profesorowie, pracownicy). Modelowym rozwiązaniem byłoby połączenie różnych punktów widzenia prezentowanych przez te źródła informacji aż do uzyskania bardziej wszechstronnego poglądu na temat każdej wyższej uczelni umieszczonej w rankingu.

5. Powinny określić językowe, kulturowe, gospodarcze i historyczne ramy systemu szkolnictwa wyższego, którego ranking ma dotyczyć. Międzynarodowe rankingi szczególnie powinny wystrzegać się ewentualnych uprzedzeń i bardzo precyzyjnie określać swój cel. Nie wszystkie państwa czy systemy podzielają te same wartości czy przekonanie o tym, co stanowi “wysoką jakość” w szkolnictwie trzeciego szczebla, a systemy rankingowe nie powinny być tworzone w celu wymuszania tego typu porównań.

B) Projektowanie i ważenie wskaźników

6. Przestrzeganie transparentności w zakresie metodologii stosowanej podczas tworzenia rankingów. Metody zastosowane do sporządzania rankingów powinny być jasne i jednoznaczne. Transparentność powinna dotyczyć również obliczania wskaźników i źródeł danych.

7. Wskaźniki powinny być dobierane zgodnie z ich znaczeniem i adekwatnością. W doborze danych nie należy kierować się ich dostępnością, lecz przydatnością każdego pomiaru do informowania o jakości kształcenia, zaletach naukowych i instytucjonalnych uczelni. Należy jasno powiedzieć, dlaczego ranking został sporządzony w oparciu o dane pomiary i o czym pomiary te mają świadczyć.

8. O ile to możliwe, należy mierzyć efekty a nie sytuację wyjściową. Dane dotyczące stanów wyjściowych mają duże znaczenie, gdyż odzwierciedlają ogólny stan danej uczelni i łatwiej je ustalić. Mierzenie efektów stanowi bardziej precyzyjną ocenę pozycji i jakości danej uczelni czy jej programu, zatem osoby ustalające rankingi powinny zadbać o odpowiednią równowagę pomiędzy efektami a stanem wyjściowym.

9. Wagi przypisywane różnym wskaźnikom (jeśli są w ogóle stosowane) należy wyraźnie wyszczególnić i ograniczać zmiany, jakim mają podlegać. Różnicowanie  wag utrudnia odbiorcom rozeznanie się czy zmiana pozycji w rankingu danej uczelni lub jej programu wynika z wewnętrznej zmiany jakiej uczelnia lub program podlegały, czy ze zmiany metodologii.

C) Zbieranie i przetwarzanie danych

10. Należytą uwagę należy zwracać na normy etyczne i zalecenia zawarte w modelowych rozwiązaniach określonych w Zasadach. Aby zapewnić wiarygodność każdego rankingu, osoby odpowiedzialne za zbieranie i wykorzystanie danych, oraz przeprowadzające wizyty na miejscu powinny być w najwyższym stopniu obiektywne i bezstronne.

11. O ile to możliwe, należy używać sprawdzonych i sprawdzalnych danych. Wśród zalet takiego podejścia wymienia się to, iż tego typu dane są porównywalne, kompatybilne i akceptowane przez wszystkie uczelnie.

12. Uwzględniać należy tylko takie dane, które zostały zebrane według procedur właściwych dla naukowego zbierania danych. Dane uzyskane od nie reprezentatywnej, lub nierzetelnie dobranej podgrupy studentów, kadry lub innych źródeł mogą niedokładnie przedstawiać uczelnię lub jej program i powinny być wykluczone.

13. Do samego procesu tworzenia rankingu powinno się stosować procedury służące zapewnieniu jakości. Procedury te winny uwzględniać specjalistyczną wiedzę stosowaną do oceny uczelni i używać tej wiedzy do oceny samego rankingu. Rankingi powinny być systemami uczenia się, które nieustannie wykorzystują specjalistyczną wiedzę do opracowywania metodologii.

14. Należy stosować rozwiązania organizacyjne zwiększające wiarygodność rankingów. Do nich zaliczyć można ciała doradcze lub nawet nadzorujące, najlepiej z udziałem uczestników z innych państw.

D) Przedstawianie wyników rankingów

15. Należy jasno wytłumaczyć wszystkie uwarunkowania towarzyszące tworzeniu rankingów i zaproponować odbiorcom różne możliwości prezentacji rankingów. Dzięki temu osoby zainteresowane będą bardziej świadome tego, jakie wskaźniki zostały wykorzystane do uplasowania danej uczelni czy programu w rankingu. Ponadto, odbiorcy powinni mieć okazję do decydowania o tym, w jaki sposób powinno się te wskaźniki ważyć.

16. Rankingi powinny być opracowywane w sposób, który wyeliminuje lub ograniczy błędy w danych początkowych i powinny być tak zorganizowane i opublikowane, aby błędy i niedociągnięcia można było korygować. O powstałych błędach należy poinformować uczelnie jak i społeczeństwo.

Berlin, 20 maja, 2006 r.

Ранжирование высших учебных заведений, составление таблиц лиг и отдельных программ обучения ВУЗов –  явление глобального характера. Они служат многим целям: удовлетворяют потребность потребителей образовательных услуг в легко интерпретируемую информацию о вузе;  стимулируют конкуренцию между учебными заведениями; дают рациональную мотивацию для вложения инвестиций; помогают сделать выбор между различными ВУЗами, программами, дисциплинами. Кроме того, при условии правильного понимания и интерпретации, рейтинги содействуют определению «качества» высших учебных заведений в каждой конкретной стране, дополняя строгий научный подход к оценке качества, выполняемой государственными органами и независимыми аккредитационными агентствами. Вот почему ранжирование ВУЗов стало неотъемлемой частью общего плана работ по национальной оценке и процессов обеспечения качества образования. Вот почему все больше и больше стран присоединяется к этой работе. Учитывая данную тенденцию, важно, чтобы организации, разрабатывающие рейтинги и таблицы лиг, отвечали за качество своих данных, методологию  и распространение информации.

Принимая во внимание вышеизложенное, в 2004 году Европейским центром по высшему образованию ЮНЕСКО (UNESCO-CEPES, г. Бухарест, Румыния) и Институтом политики в области высшего образования (г. Вашингтон, США) была создана международная экспертная группа по ранжированию (IREG). В рамках этой же инициативы на второй конференции IREG-2 (Берлин, 18-20 мая 2006 г.) было подписано соглашение о принятии принципов качества и надлежащей практики при ранжировании ВУЗов – Берлинские принципы ранжирования высших учебных заведений.

Целью данной инициативы стало создание основной схемы разработки и распространения рейтингов независимо от того, являются ли они национальными, региональными или глобальными, что в конечном счете должно привести к созданию системы непрерывного совершенствования методологии проведения ранжирования. Поскольку методологии проведения рейтингов весьма разнородны, данные принципы надлежащего ранжирования будут полезны для их совершенствования и оценки.

Рейтинги и таблицы лиг должны:

А) Цели и задачи ранжирования:
1.    Быть одним из ряда многообразных подходов к оценке затрат на высшее образование, процессов и результатов сферы высшего образования. Ранжирование служит средством получения информации для сравнения и лучшего понимания высшего образования; они не должны быть основным методом оценки высшего образования. Ранжирование обеспечивает перспективу с точки зрения рыночной экономики, дополняя работу, проводимую государством, аккредитационными органами и независимыми агентствами по оценке качества.
2.    Ясно представлять задачи и целевую аудиторию. Ранжирование должно осуществляться в строгом соответствии с задачами. Индикаторы, разработанные для определенной задачи или целевой аудитории, не пригодны в иных случаях.
3.    Признавать разнообразие учебных заведений и принимать во внимание различие их миссий и задач. Оценка качества исследовательских университетов в корне отличается от оценки вузов, дающих массовое высшее образование, ориентированных на определенный регион. Следует постоянно проводить консультации как с вузами, так и с экспертами, проводящими ранжирование.
4.    Обеспечить ясность спектра источников, которые представляют информацию для ранжирования, и индикаторов, полученных на основе каждого из ресурсов. Актуальность результатов ранжирования зависит от того, на какую аудиторию оно рассчитано и от источников информации (базы данных, студенты, преподаватели, работодатели). В идеале следовало бы комбинировать всю информацию, поступающую из разных источников, каждый из которых имеет собственную перспективу обзора. В результате мы получили бы более полную и законченную информацию о вузе, включаемом в рейтинг.
5.    Учитывать лингвистический, культурный, экономический и исторический контекст системы высшего образования, проходящей ранжирование. Особенно следует учитывать все, даже косвенные факторы при сопоставлении международных рейтингов и четко определять их цели и задачи. Не все страны и системы образования единодушны в своих взглядах на то, что представляет из себя «качество» обучения в вузах, и рейтинги не предназначены для того, чтобы нагнетать такого рода сравнения.

В) Разработка индикаторов и их весов

6.    Обеспечивать прозрачность используемой методологии составления рейтинга. Выбор методов, используемых в ходе ранжирования, должен быть ясным и однозначным. Прозрачность должна охватывать как подсчет индикаторов, так и источники данных.
7.    Выбирать индикаторы  соответственно их релевантности и валидности. Выбор данных должен быть основан не на их доступности, а на показателях, способных отображать качество, а также академические и институциональные сильные стороны. Должно быть понятно, почему Вы включили именно эти показатели и что они отображают.
8.    Отдавать предпочтение по возможности показателям достигнутых результатов, а не исходным ресурсам. Исходные ресурсы представляют важность, поскольку дают общее представление об учебном заведении и зачастую более доступны. Показатели достигнутых результатов обеспечивают более точную оценку состояния и/или качества учебного заведения или программы, и составители рейтингов должны обеспечить надлежащий баланс индикаторов.
9.    Четко определять методы оценки различных индикаторов и по возможности ограничить изменения в них. Перемены в методах оценки вводят в заблуждение всех, кто пользуется рейтингами. Им трудно понять, в чем лежит причина того, что статус вуза или программы в ранжировании изменился – связано ли это с самим вузом или вызвано переменами в методологии проведения ранжирования.

С) Сбор и обработка данных
10.    Обращать должное внимание на этические стандарты и рекомендации надлежащей практики, сформулированные в данных Принципах. Чтобы рейтинги пользовались доверием, лица, ответственные за сбор и обработку данных и их проверку в ходе посещения вуза, должны сохранять объективность и беспристрастность.
11.    Использовать по возможности проверенные и уточненные данные. Такие данные имеют ряд преимуществ, включая и тот факт, что вузы уже знакомы с ними, и они поддаются сравнению.
12.    Использовать данные, собранные в соответствии с установленной процедурой,  применимые к сбору информации в рамках научных исследований. Данные, собранные от ограниченного количества студентов, преподавателей и иных сторон, являются нерепрезентативными качества образования и их следует исключить.
13.    Применять меры по обеспечению качества к самим процессам ранжирования. Данные процессы должны учитывать опыт, полученный в ходе оценки ВУЗов, и использовать его для оценки самого рейтинга. Рейтинги должны стать обучающими системами, постоянно использующими опыт для разработки методологии.
14.    Применять организационные методы, повышающие достоверность ранжирования. В число этих мероприятий необходимо включить создание органов, оказывающих методическую помощь и даже контроль, предпочтительно, чтобы они работали с участием международных экспертов.

D) Презентация результатов ранжирования
15.    Обеспечить потребителей ясным пониманием всех факторов, задействованных при составлении рейтинга, и предложить им выбор формы презентации результатов рейтингов. Таким образом, пользователи рейтингов будут лучше понимать, почему те или иные индикаторы используются при ранжировании ВУЗов или программ, и иметь возможность принять собственное решение о том, какой удельный вес должны иметь различные индикаторы.
16.    Результаты ранжирования должны быть составлены и опубликованы таким образом, чтобы исключить или минимизировать ошибки в представляемых данных, а также обеспечивать возможность исправления допущенных ошибок. Если ошибки допущены, то ВУЗы и общественность должны быть информированы о них незамедлительно.

Берлин, 20 мая 2006 г.

(Berlin, 20. Mai 2006)Rankings und “League tables” von Hochschulen sind ein globales Phänomen geworden. Sie folgen unterschiedlichen Zielsetzungen: Sie erfüllen den Bedarf von Konsumenten nach einfach aufbereiteter Information über Hochschulen; sie stimulieren den Wettbewerb unter Hochschulen; sie bieten Anhaltspunkte für die Verteilung von Mitteln und sie helfen, zwischen verschiedenen Typen von Hochschule sowie zwischen Studiengängen und Disziplinen zu unterscheiden. Zusätzlich könne sie, wenn sie richtig genutzt und interpretiert werden, auch zur Definition von „Qualität“ von Hochschulen beitragen und somit eine wichtige Ergänzung der Qualitätssicherung sein ,wie sie von staatlichen und unabhängigen Agenturen durchgeführt wird.

Dies hat dazu beigetragen, dass Rankings in vielen Ländern ein Teil des Systems der Qualitätsbewertung von Hochschulen geworden sind. Es ist zu erwarten, dass in einer wachsenden Zahl von Ländern Hochschulrankings entstehen. Mit Blick auf diese Entwicklung ist es wichtig, dass sich diejenigen, die Rankings erstellen, selbst der Verantwortung für die Qualität der Rankings bewusst sind – mit Blick auf Datenerhebung, Methodik und Verbreitung der Ranking-Ergebnisse.

Vor diesem Hintergrund wurde 2004 vom UNESCO European Centre for Higher Education (UNESCO-CEPERS) und vom Institue for Higher Education Policy in Washington, DC die „International Ranking Expert Group (UREG) gegründet. Im Rahmen dieser Initiative wurden während des zweiten Treffens von IREG (vom 18. Bis 20.Mai 2006 in Berlin) eine Sammlung von Prinzipien für gute Ranking-Praxis vorgestellt – die the Berlin Principles on Ranking of Higher Education Institutions.

Es ist zu erwarten, dass diese Initiative einen Rahmen hat für die weitere Entwicklung von Rankings – seien sie national, regional oder global – geschaffen hat, der letztlich zu einer kontinuierlichen Verbesserung und Verfeinerung der Methoden von Hochschulrankings führt.
Angesichts der Unterschiedlichkeit der Methoden von Rankings, werden die hier vorgestellten Prinzipien für die Verbesserung und für die Bewertung von Rankings nützlich sein.

Hochschulrankings sollten:

A) Ziele und Funktionen von Rankings
1.    eines unter mehreren Instrumenten zur Bewertung der Inputs, Prozesse und Outputs von Hochschulen sein. Rankings können vergleichende Informationen über Hochschulen bereitstellen und zu einem verbesserten Verständnis von tertiärer Bildung beitragen, sollten aber nicht die dominierende Methode zur Bewertung von Hochschulen sein. Rankings liefern eine markt-orientierte Perspektive, die die Arbeit von Regierungen, Akkreditierungseinrichtungen und unabhängiger Evaluations-Agenturen ergänzen können.
2.    ihre Zielsetzung und Zielgruppen klar benennen. Rankings müssen mit Blick auf ihre Zielsetzung konzipiert werden. Indikatoren, die entwickelt wurden, um eine bestimmte Zielsetzung zu verfolgen bzw. Informationen für eine spezifische Zielgruppe zu liefern, sind für andere Zielsetzungen und Zielgruppen möglicherweise inadäquat. 
3.    die Heterogenität von Hochschulen anerkennen und die Unterschiedlichkeit der Ziele und Profile von Hochschulen berücksichtigen. Qualitätsindikatoren für forschungsorientierte Hochschulen sind andere als für Hochschulen, die einen breiten Bildungszugang im regionalen Kontext gewährleisten wollen. Der Sachverstand der gerankten Institutionen und von Experten sollte in die Konzeption von Rankings eingebunden werden.
4.    ihre Datenquellen klar herausstellen und deren Aussagefähigkeit thematisieren. Die Relevanz von Ranking-Ergebnissen hängt von ihrer Zielgruppe und ihren Datenquellen (z.B. statistische Datenbestände, Umfragen unter Studierenden, Professoren, Arbeitgeben). Gute Praxis zeichnet sich durch die Kombination verschiedener Perspektiven aus, um ein vielschichtigeres Bild der komplexen Leistungen von Hochschulen zeichnen zu können. .
5.    den sprachlichen, kulturellen, ökonomischen und historischen Kontext der Hochschulsysteme spezifizieren, die sie umfassen. Insbesondere internationale Rankings sollten sich möglicher Verzerrungen bewusst sein. Nicht alle Hochschulsysteme teilen die selben Werte und Vorstellungen hinsichtlich der Bestimmung von „Qualität“ tertiärer Bildung. .

B) Konzeption und Gewichtung von Indikatoren
6.    ihre Methodik transparent machen. Die Methodik sollte klar und unwidersprüchlich sein. Die TRansparenz soll sich auf die Berechnung der Indikatoren ebenso wie auf den Ursprung der Daten beziehen. Be transparent regarding the methodology used for creating the rankings.
7.    ihre Indikatoren nach Kriterien der Relevanz und Validität auswählen. Die Auswahl der Daten sollte an ihrer Aussagefähigkeit hinsichtlich der Leistung von Hochschulen orientiert sein, nicht allein an der Verfügbarkeit von Daten. Rankings sollten klar heraus stellen, warum Indikatorne einbezogen sind und wofür sie stehen sollen.
8.    soweit wie möglich Output-Größen messen. Input-Indikatoren sind wichtig, insofern sie die allgemeinen (Studien-)Bedingungen von Hochschulen widerspiegeln und meist besser verfügbar sind. Ouput-Indikatoren können jedoch einen besseren Einblick in die Leistungsfähigkeit von Institutionen und Studiengängen bieten; die Anbieter von Rankings sollten auf eine ausgewogene Balance zwischen Input- und Output-Indikatoren achten..
9.   – soweit sie ihre Indikatoren gewichten – deren Gewichte transparent machen und Veränderungen der Gewichtungen minimieren. Veränderungen in der Gewichtung der Indikatoren erschweren den Nutzern die Interpretation von Veränderungen in Ranking-Ergebnissen; sie machen es schwer, zu erkennen, ob Veränderungen auf wirkliche Veränderungen an den Hochschulen oder auf eine veränderte Methodik zurückzuführen sind.

C) Erhebung und Aufbereitung der Daten
10.    ethische Standrads und die hier entwickelten Prinzipien beachten. Um die Glaubwürdigkeit von Rankings zu gewährleisten, sollten diejenigen, die die Daten für Hochschulrankings erheben, so unabhängig und neutral wie möglich sein.
11.    so weit wie möglich bestätigte und verifizierbare Daten nutzen. Solche Daten haben eine Reihe von Vorteilen, so z.B. die Tatsache, dass sie von den einbezogenen Institutionen anerkannt sind und dass sie wirklich vergleichbar sind.
12.    sollten nur Daten zu Grunde legen, die nach den Standards wissenschaftlicher Datenerhebung gewonnen worden sind. Daten aus nicht-repräsentativen oder verzerrten Stichproben von Studierenden, Lehrenden oder andren Grundgesamtheiten sollten nicht verwendet werden. Include data that are collected with proper procedures for scientific data collection.
13.    sollten selbst Mechanismen und Verfahren zur Qualitätssicherung anwenden. Hierzu zählt die Expertise aus Evaluationen im Hochschulbereich; diese sollte genutzt werden, die Rankings selbst zu evaluieren. Rankings sollten als lernende Systeme konzipiert sein, die ihre Methodik kontinuierlich unter Einschluss externern Sachverstandes.
14.    sollten organisatorische Maßnahmen ergreifen, die ihre Glaubwürdigkeit erhöhen. Hierzu können z.B. beratende Beiräte und Steuerungsgruppen gehören; vorzugsweise mit internationaler Beteiligung.

D) Veröffentlichung von Ranking-Ergbnissen
15.    sollten für die Nutzer alle Faktoren transparent machen, die zur Enstehuing des Rankings beigetragen haben und ihnen die mehrere Möglichkeit geben, die Ergebnisse zu nutzen. Zudem sollten die Nutzer die Möglichkeit haben, eigene Entscheidungen hinsichtlöich der Relevanz und Gewichtung von Indikatoren zu treffen.
16.    sollten in einer Weise erstellt werden, die die Häufigkeit von Fehlern in den Daten auf ein Minimum reduziert; sie sollten in einer Weise publiziert werden, dass Fehler korrigiert werden können. Hochschulen und Öffentlichkeit sollten über Fehler informiert werden.

مبادئ برلين عن تصنيفات مؤسسات التعليم العالي

أصبح تصنيف الجامعات وجداول تقييم مؤسسات التعليم العالي وبرامجها الأكاديمية ظاهرة عالميةً، وذلك لأنها تخدم أغراضا كثيرة: فهي تلبي رغبات المهتمين وطلاب العلم بالحصول على معلومات دقيقة لمعرفة مكانة وتصنيف مؤسسات التعليم العالي، بل وتحفز المنافسة فيما بينها، وتوفر بعض الأسس المنطقية لتخصيص ميزانياتها، وتساعد على التفريق بين المؤسسات والبرامج الأكاديمية والتخصصات المختلفة، وبالإضافة إلى ذلك، تساهم في تعريف “نوعية” ​​مؤسسات التعليم العالي في بلد معين على المستوى المحلي والإقليمي والعالمي، وتساهم في استكمال العمل الذي يجرى في سياق تقييم الجودة وحسن الأداء بما يرقي بالمؤسسات الى الاعتماد من قبل هيئات الإعتماد الوطنية والمستقلة. وبهذا أصبحت تصنيفات مؤسسات التعليم العالي جزءا من إطار المساءلة الوطنية وعمليات ضمان الجودة في أي دولة. ومن المرجح أن تشهد الدول ظهور المزيد من التصنيفات الجديدة والمطورة في المستقبل. ونظرا لهذا التوجه، فمن المهم أن تتحمل الجهات التي تنتج تصنيفات وجداول التقييم مسؤوليات الجودة في جمع البيانات والمنهجية ومخرجات التصنيفات.

في ضوء ما سبق، تم تأسيس فريق خبراء التصنيف العالمي (IREG) في عام 2004م من قبل مركز اليونسكو الأوروبي للتعليم العالي في بوخارست (UNESCO-CEPES) ومعهد سياسات التعليم العالي في العاصمة واشنطن. ونتج عن هذه المبادرة انعقاد الاجتماع الثاني لفريق الخبراء في برلين (18-20 مايو ، 2006م) للنظر في مجموعة من معايير الجودة والممارسات المثلى في تصنيفات مؤسسات التعليم العالي، عرفت بمبادئ برلين عن تصنيفات مؤسسات التعليم العالي.

ومن المتوقع أن هذه المبادرة وضعت إطارا لبلورة ونشر تصنيفات (محلية أو إقليمية أو عالمية) من شأنها أن تؤدي في نهاية المطاف إلى استنباط نظاماً أمثل ومعياراً أدق للتحسين المستمروالتقنية الفاعلة وصقل المنهجيات المستخدمة لاجراء التصنيفات. ونظراً لما تعانيه منهجيات وآليات التصنيف الحالية من عدم تجانس وشتات، فإن مبادئ ومعايير الجودة للممارسات المثلى في تصنيفات مؤسسات التعليم العالي، والتي تمخضت عن اجتماع برلين ستكون مفيدة في تحسين وجودة مخرجات التصنيفات.

فالمبادئ والمعايير التي يجب أن تكون عليها التصنيفات وجداول الترتيب هي:

أ) أغراض وأهداف التصنيفات.

1- أن يكون التصنيف واحداً من جملة سبل مختلفة لتقييم مدخلات وعمليات ومخرجات المؤسسة المعنية بالتعليم العالي. ويمكن أن يوفر التصنيف من خلاله معلومات تمكن من المقارنة بين المؤسسة ونظيراتها وتحسين الفهم للتعليم العالي، ولكن لا ينبغى أن يكون التصنيف هو الوسيلة الرئيسية لتقييم التعليم العالي وكيف ينبغي أن يكون. ويوفر التصنيف منظورا قائما على احتياجات سوق العمل ليكون مكملا لعمل الحكومة وجهات الاعتماد ووكالات التقييم المستقلة.

2- شفافية أهداف التصنيف وجهاتها المستهدفة. يجب أن تكون التصنيفات مصممة لتتناسب مع الغرض منها. فالمؤشرات المصممة لتلبية هدف معين أو لإبلاغ فريق محدد هدفا محددا قد لا تكون كافية أو مناسبة لأهداف مختلفة أو لفئات مستهدفة أخرى.

3- الاعتراف بتنوع المؤسسات الأكاديمية والأخذ في الإعتبار الإختلافات في رسالة كل منها والهدف الذي أنشئت من أجله. فعلى سبيل المثال، إن معايير الجودة للمؤسسات الموجهة نحو اجراء البحث العلمي يجب أن تختلف تماماً عن تلك التي تتناسب مع المؤسسات التي توفر قاعدة تعليمية في المجتمعات الفقيرة. وينبغي استشارة المؤسسات التي يتم تصنيفها من قبل خبراء التصنيف بإستمرار.

4- الافصاح بوضوح عن مصادر المعلومات التي يتم تصنيف المؤسسة استناداً اليها والرسالة التي ينشدها كل مصدر من هذه المصادر. فأهمية نتائج التصنيف تعتمد على الجهات التي تتلقى المعلومات ومصادر تلك المعلومات (مثل قواعد البيانات والطلاب والأساتذة وأرباب العمل). والممارسات المثلى تكون في الجمع بين وجهات النظر المختلفة التي تقدمها تلك المصادر من أجل الحصول على رؤية أكثر تكاملا عن كل مؤسسة للتعليم العالي مدرجة في التصنيف.

5- تشخيص واحترام السياقات اللغوية والثقافية والاقتصادية والتاريخية للنظم التعليمية المزمع تصنيف مؤسساتها التعليمية. فالتصنيفات الدولية على وجه الخصوص يجب أن تكون على دراية كاملة بإحتمالات التحيز في النتائج وان تكون دقيقة في الهدف من إجراءها. فلا تشترك كل الأمم أو الأنظمة التعليمية في نفس القيم والمفاهيم حول مصطلح “الجودة” في مؤسسات تعليمها العالي، وأنظمة التصنيف لايجب أن تفرض مثل هذه المقارنات.

ب) تصميم وترجيح مؤشرات القياس.

6- الشفافية المطلقة حول المنهجية المتبعة لإنشاء التصنيف العالمي. فعند اختيار الأساليب المستخدمة في إعداد التصنيف العالمي ينبغي أن تكون واضحة لا لبس فيها. وينبغي أن تشمل هذه الشفافية حساب المؤشرات وكذلك مصدر هذه البيانات والمعلومات.

7- اختيار المؤشرات وفقا لأهميتها وصلاحيتها. اختيار البيانات يجب أن يرتكز على قدرة كل معيار على قياس القوة والجودة الأكاديمية والمؤسسية، وليس على سهولة الحصول على البيانات. ويلزم الوضوح حول أسباب تضمين تلك البيانات في التصنيف وماذا تمثل.

8- قياس المخرجات بالمفاضلة مع المدخلات كلما أمكن ذلك. البيانات المدخلة يجب أن تكون ذات صلة لأنها تعبر عن الحالة العامة لمؤسسة معينة وتتوفر على نحو أكثر تواترا. قياس المخرجات يقدم تقييم أكثر دقة عن مكانة و/أو نوعية مؤسسة معينة أو برنامج محدد، ويجب على القائمين على التصنيف ضمان تحقيق التوازن المناسب.

9- ثبات الأوزان المخصصة للمؤشرات المختلفة (في حال استخدامها) والحد من تغييرها.
فالتغيير في أوزان المؤشرات يجعل من الصعب للمهتمين التمييز ما اذا كان ترتيب المؤسسة أو البرنامج قد تغير في التصنيف بسبب اختلاف أساسي متأصل فيها أو بسبب تغيير في منهجية التصنيف ذاته.

ج) جمع ومعالجة البيانات.

10- الاهتمام بالمعايير الأخلاقية و توصيات الممارسات الجيدة في بلورة مبادئ التصنيف. من أجل ضمان مصداقية كل تصنيف ينبغي أن يكون المسؤولين عن جمع واستخدام البيانات والقائمين بالزيارات في مواقع المؤسسات التعليمية موضوعيون ومحايدون قدر الإمكان.

11- استخدام البيانات المدققة والتي يمكن التحقق منها كلما أمكن ذلك. فهذه البيانات لها العديد من المزايا، بما في ذلك الجزم بأنها معتمدة من قبل المؤسسات وأنها قابلة للمقارنة ومتوافقة عبر المؤسسات المختلفة.

12- اضافة البيانات التي تم جمعها بإتخاذ الإجراءات المناسبة لجمع البيانات العلمية. فالبيانات التي تم جمعها من مجموعة فرعية أو من عدد من الطلاب وأعضاء هيئة التدريس، أو من أطراف أخرى خارج المؤسسة قد لاتمثل كامل المؤسسة أو البرنامج و ينبغي استبعادها من التصنيف.

13- تطبيق التدابير اللازمة لضمان الجودة في عمليات التصنيف ذاتها. ينبغي لهذه العمليات أن تأخذ في الحسبان الخبرات التي يتم تطبيقها لتقييم المؤسسات واستخدام هذه المعرفة لتقييم التصنيف نفسه. فينبغي أن تكون التصنيفات وبشكل مستمر نظم للتعلم والاستفادة من هذه الخبرة لتطوير منهجية التصنيف.

14- تطبيق التدابير التنظيمية التي تعزز مصداقية التصنيف. ويمكن أن تشمل هذه التدابير الهيئات الاستشارية أو حتى الإشرافية، ويفضل مع بعض المشاركة الدولية .

د) عرض نتائج التصنيف.

15- تزويد المعنيين بشرح واضح لجميع العوامل المستخدمة في وضع التصنيف، وتوفير خيارات لكيفية عرض نتائج التصنيف. بهذه الطريقة فإن لدى مستخدمي التصنيفات فهم أفضل للمؤشرات التي يتم استخدامها لتصنيف المؤسسات أو البرامج. بالإضافة إلى ذلك يتيح لهم الفرصة لاتخاذ قراراتهم الخاصة حول الكيفية التي يتم فيها وزن هذه المؤشرات .

16- تجميع النتائج بطريقة تلغي أو تقلل الأخطاء في البيانات الأصلية، وتنظيم ونشر النتائج بطريقة يمكن بها تصحيح الأخطاء والعيوب في حال حدوثها. وينبغي إبلاغ المؤسسات والرأي العام حول الأخطاء التي حدثت.

Rankings e tabelas de classificação das instituições de ensino superior (IES) e de programas de ensino são um fenômeno global. Os rankings servem diversos propósitos: respondem a demandas dos consumidores por informações facilmente interpretáveis sobre a situação das instituições de ensino superior, estimulam a competição entre elas; proporcionam um tipo de princípio lógico para alocação de verbas, [e] ajudam a diferenciar tipos de instituição, programas e disciplinas. Além disso, quando corretamente entendidos e interpretados, contribuem para a definição de “qualidade” das instituições de ensino superior em um determinado país, complementando o trabalho rigoroso conduzido no contexto de avaliação e revisão de qualidade feito por agências de credenciamento públicas e independentes. É por isso que rankings de instituições de ensino superior e os processos de garantia de qualidade passaram a fazer parte do quadro de responsabilidades de cada pais, e por isso cada vez mais países investem no desenvolvimento de rankings. Dada esta tendência, é importante que quem produz rankings se responsabilize pela qualidade na coleta de informações, na metodologia e na sua disseminação.

É por isso que o International Ranking Expert Group (IREG) foi fundado em 2004 pelo Centro Europeu de Educação Superior (UNESCO-CEPES) em Bucareste e pelo Instituto de Política de Educação Superior, em Washington, DC. Por causa desta iniciativa foi convocada a segunda reunião do IREG (Berlim, de 18 a 20 de maio de 2006) para considerar um conjunto de princípios de qualidade e boas práticas em elaboração de rankings IES – os Princípios de Berlim para rankings de Instituições de Educação Superior.

Espera-se com esta iniciativa ter estabelecido um quadro para a elaboração e divulgação dos rankings – sejam eles nacionais, regionais ou de âmbito mundial – que, finalmente, vai levar a um sistema de melhoria contínua e aperfeiçoamento das metodologias utilizadas para realizar estas classificações. Dada a heterogeneidade de metodologias de rankings, estes princípios de boas práticas de classificação serão úteis para a melhoria e avaliação de rankings.

Rankings e tabelas classificativas devem:

A) Objetivos e Metas dos Rankings

1. Ser uma entre várias, diferentes abordagens para a avaliação do ensino superior. Rankings podem fornecer informações comparativas e uma melhor compreensão do ensino superior, mas não devem ser o principal método para avaliar uma instituição de ensino superior. Rankings fornecem uma perspetiva baseada no mercado que pode complementar o trabalho do governo, das instituições de acreditação e das agências de avaliação independentes.
2. Ser claros quanto ao propósito e ao público ao qual estão dirigidos. Os indicadores utilizados para atender um objetivo específico ou para informar um público-alvo podem não ser adequados para diferentes fins, ou grupos-alvo.
3. Reconhecer a diversidade das instituições e levar em conta diferentes missões e objetivos. Medidas de qualidade para as instituições voltadas para a pesquisa, por exemplo, são bastante diferentes daqueles que são apropriados para as instituições que oferecem amplo acesso às comunidades carentes. As instituições que estão sendo classificadas e os peritos que assistem ao processo de classificação devem ser consultados frequentemente.
4. Ser claros sobre as fontes de informação e o seu significado. A relevância dos resultados de classificação depende do público que recebe as informações e as fontes dessas informações (tais como bases de dados, os alunos, professores, entidades empregadoras). Uma boa prática seria combinar diferentes perspetivas fornecidas por essas fontes, a fim de obter uma visão mais completa de cada instituição de ensino superior incluída no ranking.
5. Especificar os contextos linguístico, cultural, econômico e histórico do sistema avaliado. Rankings internacionais, em particular, devem estar atentos à possibilidade de viés e ser precisos na determinação do seu objetivo. Nem todas as nações ou sistemas compartilham os mesmos valores e crenças sobre o que constitui a “qualidade” em instituições de ensino superior, e os sistemas de classificação não devem ser concebidos para forçar essas comparações.

B) Escolha e o peso dos indicadores

6. Deve haver transparência da metodologia. A escolha dos métodos usados para preparar rankings deve ser clara e inequívoca. Esta transparência deve incluir o cálculo dos indicadores, bem como a origem dos dados.
7. Escolha de indicadores de acordo com sua relevância e validade. A escolha dos dados deve ser baseada no reconhecimento da capacidade de cada medida para representar a qualidade acadêmica e forças institucionais, e não sobre disponibilidade de dados. Seja claro sobre o porquê de as medidas foram incluídos eo que eles pretendem representar.
8. Preferência por mensurar resultados. Os dados sobre os insumos são relevantes, pois refletem a condição geral de um determinado estabelecimento e são mais freqüentemente disponíveis. Medidas de resultados fornecem uma avaliação mais precisa da posição e / ou a qualidade de uma determinada instituição ou programa. Os compiladores de rankings devem garantir que um equilíbrio adequado é alcançado.
9. Destaque para os pesos atribuídos aos indicadores (se usados) e limitação das mudanças feitas neles. Mudanças nos pesos tornam difícil para os consumidores a entender se a posição do programa ou da instituição mudou no ranking devido a uma diferença inerente ou devido a uma mudança metodológica.

C) Coleta e processamento de informações

10. Deve-se respeitar os padrões éticos e as recomendações de boas práticas destes Princípios. A fim de assegurar a credibilidade de cada ranking, os responsáveis pela coleta e uso de dados e realização de visitas in loco devem ser os mais objetivos e imparciais possível.
11. Usar informações auditáveis e verificáveis sempre que possível. Tais dados têm várias vantagens, incluindo o fato de que foram aceites por instituições e que são comparáveis e compatíveis entre as instituições.
12. Incluir informações obtidas conforme os procedimentos adequados à coleta científica de dados. Os dados coletados a partir de um subconjunto não representativo ou distorcido de estudantes, professores ou outras partes podem não representar uma instituição ou programa e devem ser excluídos.
13. Aplicar medidas de garantia de qualidade aos processos do próprio ranking. Os processos utilizados para avaliar as instituições devem ser usados para avaliar o próprio ranking. Rankings devem ser continuamente sistematizados para desenvolver uma melhor metodologia.
14. Aplicar medidas organizacionais para aprimorar a credibilidade. Estas medidas podem incluir órgãos consultivos ou mesmo de supervisão, de preferência com alguma participação internacional.

D) Apresentação dos Resultados no ranking

15. O ranking deve proporcionar aos consumidores uma compreensão clara de todos os fatores usados na sua elaboração e oferecer escolhas na forma de apresentação. Dessa forma, os usuários dos rankings terão uma melhor compreensão dos indicadores que são utilizados para classificar as instituições ou programas. Além disso, devem ter uma oportunidade de tomar suas próprias decisões sobre como esses indicadores devem ser ponderados.
16. Ser compilado de modo a eliminar ou reduzir erros nos dados originais e ser organizado e apresentado de forma tal que erros e falhas possam ser corrigidos. As instituições e o público deve ser informado sobre os erros que ocorreram.

Berlin, 20 de maio de 2006