IREG Observatory on Academic Ranking and Excellence (in short: IREG Observatory) is an international institutional non-profit association of ranking organizations, universities and other bodies interested in university rankings and academic excellence. Its purpose is strengthening of public awareness and understanding of range of issues related to university rankings and academic excellence. The experience acquired by a group of rankers and ranking analysts, who met first in 2002, led to creation of an International Ranking Expert Group (IREG). In 2009 this informal group was transformed into IREG Observatory as a non-profit organization. It is registered in Brussels, Belgium, and its Secretariat is located in Warsaw, Poland.

Executive Committee

Luiz Claudio Costa

President of IREG Observatory and Academic Ranking and Excellence

Former Acting Minister of Education and Vice-Minister of Education, Federal Government of Brazil, Former Rector of Federal University of Viçosa. Former President of the National Institute of Educational Studies and Research Anísio Teixeira (INEP), Brazil. Former Vice President of the PISA (Program for International Student Assessment) of OECD.

Prof. Luiz Costa, born 1958, PhD from the Reading University (UK) currently serves as Academic Vice Rector of IESB University, Brazil.

He published more than 300 scientific papers nationally and internationally and advised over 60 Doctor’s and Master’s theses, and scientific researches papers. Besides that, he was a member of the Brazilian National Council for Education (CNE), President of the Brazilian Society of Agricultural Meteorology.

Keynote speaker and participants at important international conferences on higher education and rankings.

He was leader of the research team on Climate Change and Agriculture of the World Meteorological organization (WMO), from 2006 to 2010. Reviewer of the 5threport of IPCC (UN). Coordinator of the Committee for Climate Change and Agriculture of the National Institute for Research and Technology on Climate Change (CNP), from 2008 to present.

Waldemar Siwinski

Vice President

Waldemar Siwinski, founder and president of the Polish Education Foundation “Perspektywy”. WS has considerable experience as author of professional rankings. He prepared over 70 rankings of universities, business schools and secondary schools in Poland.

WS has extensive and rich media background as writer, journalist and manager. WS served as president of the Polish Press Agency (PAP). WS was bureau member of the European Alliance of News Agencies (EANA); board member of the European PressPhoto Agency (EPA); member of the International Press Institute. He was also Chairman of the Conference of Polish Media. As President of Perspektywy Foundation WS is active in Academic Cooperation Association (ACA).

In his earlier journalistic career WS was editor-in-chief of a student weekly magazine “ITD”, deputy editor-in-chief of a large circulation daily newspaper “Sztandar Mlodych“, he was the founder of the “Bajtek“, the first magazine on computers in Poland. WS is an author of several books including a documentary book on “Chernobyl” nuclear disaster. WS founded and headed for several years “Perspektywy Press“, a publishing and marketing company specializing in education.

WS graduated from the Faculty of Electronics of the Warsaw University of Technology; he also studied at the postgraduate School of Diplomacy in Warsaw. WS has received several awards and state distinctions.

In October 2009, WS was elected Vice President of the IREG Observatory on Academic Ranking and Excellence.

Mirko degli Esposti

Executive Committee Member

Mr. Degli Esposti is Full Professor at the Department of Computer Science and Engineering, Deputy Rector Alma Mater Studiorum Università di Bologna, Dean of Biblioteca Universitaria di Bologna, Head of Service for the health and safety of people in the workplace, President of the Alma Mater Foundation and Delegate for Rankings.

Mr. Degli Esposti is also a member of the QS Intelligence Unit Advisory Board, National Coordinator for Italy for the UI GreenMetric Network, and coordinator of a working group on Academic rankings at the Conference of Italian University Rectors, CRUI.

Habib M. Fardoun

Executive Committee Member

Prof. Habib M. Fardoun is a Full-Professor at King Abdulaziz University (KAU), and currently occupy the position of director of KAU Observatory Center for Academic Standards and Excellence, he has a PhD in Model-Based Approach for the Development of Quality Higher Educational Environments (2011), and Master in Aptitude for Teaching (2008), and Master in Advanced Computer Technologies (2007), by the University of Castilla-La Mancha, Spain.

Prof. Habib M. Fardoun is a Full-Professor at King Abdulaziz University (KAU), and currently occupy the position of director of KAU Observatory Center for Academic Standards and Excellence, he has a PhD in Model-Based Approach for the Development of Quality Higher Educational Environments (2011), and Master in Aptitude for Teaching (2008), and Master in Advanced Computer Technologies (2007), by the University of Castilla-La Mancha, Spain. With several years of experience on effective solutions for the improvement of universities rankings, Habib has diversified his work along many areas that are key factors in the improvement of the overall academic and research reputation, as building methodologies to identify the best effective international research collaboration, for quality publications. And, gained the experience of the creation of long/short-terms strategic plans and management towards excellence.

Dmitry Grishankov

Executive Committee Member

Mr. Grishankov is the General Director of International Group of rating agencies “Expert RA” and the science editor of «Expert» magazine. He is leading the development of university ratings in Russia and CIS as well as ratings of the companies, banks and regions.

Mr. Grishankov is the General Director of International Group of rating agencies “Expert RA” and the science editor of «Expert» magazine. He is leading the development of university ratings in Russia and CIS as well as ratings of the companies, banks and regions. He serves as an expert for the Central Bank of Russian Federation and several ministries.

He is a graduate of the Moscow Aviation Institute and author of more than three hundred publications.

Birte Hornemann

Executive Committee Member

Birte Hornemann, director of Aalborg University’s office of Quality Assurance and Ranking. Ms Hornemann has worked at Aalborg University since 1996. She has been responsible for accreditation, quality control, budget planning and evaluation at the Faculty of Engineering and Science.

Birte Hornemann, director of Aalborg University’s office of Quality Assurance and Ranking.

Ms Hornemann has worked at Aalborg University since 1996. She has been responsible for accreditation, quality control, budget planning and evaluation at the Faculty of Engineering and Science. In cooperation with the deans, she has coordinated the development of new study programmes, including political and networking initiatives e.g. in connection with this, she was responsible for the planning and accreditation of the newly founded Faculty of Medicine.

Before joining Aalborg University she had been Principal at Aalborg Technical A-Level College.

Ms Hornemann holds an MSc in Electrical Engineering and a B.Com. Organisation/Management.

Nian Cai LIU

Executive Committee Member

Professor Nian Cai LIU took his undergraduate study in chemistry at Lanzhou University of China. He obtained his doctoral degree in polymer science and engineering from Queen’s University at Kingston, Canada.

Professor Nian Cai LIU took his undergraduate study in chemistry at Lanzhou University of China. He obtained his doctoral degree in polymer science and engineering from Queen’s University at Kingston, Canada. He moved to the field of educational research in 1999, before which he was a professor in polymer science and engineering.

Prof. LIU is currently the Director of the Center for World-Class Universities and the Dean of Graduate School of Education at Shanghai Jiao Tong University. His current research interests include world-class universities and research universities, university evaluation and academic ranking, research evaluation and science policy, globalization and internationalization.

Prof. LIU has published extensively in both Chinese and English. His latest books include “How World-Class Universities Affect Global Higher Education: Influences and Responses” and “Paths to a World-Class University: Lessons from Practices and Experiences”. The Academic Ranking of World Universities, an online publication of his group (http://www.ShanghaiRanking.com), has attracted attentions from all over the world.

Prof. LIU has been enthusiastic in professional services. He is on the editorial/advisory boards of several international journals including Scientometrics, Research Evaluation.

Robert James Morse

Executive Committee Member

Robert Morse is the Director of Data Research for U.S. News & World Report. He is in charge of producing the America’s Best Colleges, the America’s Best Graduate Schools and America’s Best High Schools rankings all of which are published annually by U.S. News & World Report. He takes the lead role in survey design, ranking methodology changes and higher education research.

Birte Hornemann, director of Aalborg University’s office of Quality Assurance and Ranking.

Ms Hornemann has worked at Aalborg University since 1996. She has been responsible for accreditation, quality control, budget planning and evaluation at the Faculty of Engineering and Science. In cooperation with the deans, she has coordinated the development of new study programmes, including political and networking initiatives e.g. in connection with this, she was responsible for the planning and accreditation of the newly founded Faculty of Medicine.

Before joining Aalborg University she had been Principal at Aalborg Technical A-Level College.

Ms Hornemann holds an MSc in Electrical Engineering and a B.Com. Organisation/Management.

Ben Sowter

Executive Committee Member

Ben spent two years working for the UK national office of international student charity, AIESEC, for which he was ultimately elected National President. Ben leads the QS Intelligence Unit who are fully responsible for the operational management of all major QS research projects including the QS Top MBA Applicant and Recruiter Research, the QS World University Rankings® and the QS Asian University Rankings.

Ben spent two years working for the UK national office of international student charity, AIESEC, for which he was ultimately elected National President. Ben leads the QS Intelligence Unit who are fully responsible for the operational management of all major QS research projects including the QS Top MBA Applicant and Recruiter Research, the QS World University Rankings® and the QS Asian University Rankings.

Ben has travelled to over 40 countries and spoken on his research in over 20. He has personally visited over 35 of the world’s top 100 universities amongst countless others and is also a regular speaker on the conference circuit.

Jan Sadlak

Non-voting Member of Executive Committee 

Jan Sadlak, former IREG Observatory President (2009-2018), is internationally recognized and highly cited scholar in higher education and science, with particular interest in issues of policy development and practices related to system level and institutional reforms, evaluation and quality assurance, role of higher education in social and economic development.

Jan Sadlak, former IREG Observatory President (2009-2018), is internationally recognized and highly cited scholar in higher education and science, with particular interest in issues of policy development and practices related to system level and institutional reforms, evaluation and quality assurance, role of higher education in social and economic development. In recent years his interest has been focused on strategic and system level developments of higher education and research in the context of globalization as well as evaluation of academic performance, in particular accreditation, benchmarking and academic rankings.

Kazimierz Bilanow

Managing Director

Educated in Poland (PhD, Poznan University) and USA (MCL, Columbia University). Fulbright Scholar. Correspondent for Polish and international press in Scandinavia, USA and Canada; lecturer at the New School, New York and the International College, Elsinore, Denmark. International and Commercial Director, Polish Press Agency.

HONORARY MEMBERS

Isidro F. Aguillo, Head of Webometrics (Spain)

Robert J. Morse, Director of Data Research for U.S. News & World Report (USA)

Jan Sadlak, former IREG Observatory President (2009-2018) (Poland)

Jamie P. Merisotis, President of the Lumina Foundation and former Director of Institute for Higher Education Policy (USA)

Detlef Müller-Böling, former Director of the Centre of Higher Education Development (Germany)

Prof. Liu Nian Cai, Director of the Center for World-Class Universities and the Dean of Graduate School of Education, Shanghai Jiao Tong University (China)

Klaus Hüfner, Honorary President of WFUNA, Honorary Member of the UNESCO World Heritage Sites Germany and of the German Commission for UNESCO (Germany)

A BRIEF HISTORY

Bologna, Italy, IREG 2019 Conference: Rankings: A Challenge to Higher Education? (organized by University of Bologna and IREG Observatory)

Hasselt, Belgium, 2018, IREG-9 Conference: Ranking and Accreditation – two roads to the same goal? (organized by Hasselt University and IREG Observatory)

Doha, Qatar, 2017, IREG Forum: Excellence as the University Driving Force (organized by Qatar University and IREG Observatory)

Lisbon, Portugal, 2016, IREG-8 Conference: University Rankings and International Academic Relations – a Bridging Tool or a Hindrance? (organized by Universidade NOVA de Lisboa and IREG Observatory)

Aalborg, Denmark, 2015, IREG Forum: Rankings by Subject – Inclusive Approach to University Performance (organized by Aalborg University and IREG Observatory)

London, 2014, IREG-7 Conference Employability and Academic Rankings – Reflections and Impacts, (organized by QS Quacquarelli Symonds and IREG Observatory, London, United Kingom -14-16 May 2014)

Warsaw, 2013, IREG Forum on Ranking Methodologies (Organized by IREG Observatory and Perspektywy Education Foundation – 16-17 May 2013)

Taipei, 2012, IREG-6 Conference Academic Rankings and Advancement of Higher Education: Lessons from Asia and other Regions (organized by IREG Observatory and Higher Education Evaluation & Accreditation Council of Taiwan HEEACT).

Bratislava, 2011, IREG Forum on National Rankings (organized by IREG Observatory in collaboration with ARRA – Slovak Academic Ranking and Rating Agency).

Maribor, 2010, Academicus Event Mapping of Academic Excellence in the Context of Quality Assurance (organized by University of Maribor in collaboration with IREG Observatory).

Berlin, 2010, IREG-5 Conference Academic Rankings: From Popularity to Reliability and Relevance (organized by IREG Observatory and CHE-Centre for Higher Education Development with the support of the German Federal Ministry of Research and Higher Education).

Warsaw, 2010, 1st General Assembly of IREG Observatory and a round table debate on: What should be done to improve standing of humanities and social sciences in academic rankings?

Brussels, 2009, IREG Observatory on Academic Ranking and Excellence established and registered in Brussels under the Belgian law as an international association not-for-profit.

Astana, 2009, IREG-4 Conference International and National Academic Ranking: Commonalities and Differences (organized with the support of UNESCO-CEPES and the Ministry of Education and Science of Kazakhstan).

Warsaw, 2008, International Education Conference – Special Session on Rankings (following the session members of IREG group met to initiated a procedure leading to creation of an international organization)

Shanghai, 2007, IREG-3 Conference (organized with the support of UNESCO-CEPES and Jiao Tong University)

Berlin, 2006, IREG-2 Conference (organized with the support of UNESCO-CEPES and the CHE-Centre of Higher Education Development). The Conference adopted The Berlin Principles on Ranking of Higher Education Institutions.

Washington DC, 2004, IREG-1 Conference (organized with the support of UNECSO-CEPES and the Institute for Higher Education Policy)

Warsaw, 2002, IREG-0 Conference International Ranking Expert Group (IREG) emerged as a joint initiative of the UNESCO European Centre for Higher Education (UNESCO-CEPES) and a group of international ranking experts concerned with the quality of academic ranking.

BERLIN PRINCIPLES

Le classement des établissements et des programmes d’enseignement supérieur est un phénomène mondial. L’exercice de classement est utile à bien des égards : il  répond aux demandes des consommateurs de disposer d’informations facilement interprétables concernant la position des établissements d’enseignement supérieur ; il stimule la compétition entre ceux-ci; il fournit une partie des critères d’allocation de fonds; et il aide à différencier les types d’établissements ainsi que les programmes et disciplines. De plus, une fois correctement compris et interprété, il contribue à la définition de la « qualité » des établissements d’enseignement supérieur dans un pays donné, en complétant le travail rigoureux effectué dans le cadre des évaluations de la qualité et des expertises effectuées par des agences d’accréditation publiques et indépendantes. C’est pourquoi les classements des établissements d’enseignement supérieur sont devenus l’un des éléments de responsabilisation et d’assurance qualité au niveau national ; c’est pourquoi ils sont susceptibles de se développer dans de nombreux pays.  De ce fait, il est important que ceux qui établissent des classements se sentent responsables de la qualité de leur processus de collecte des données, de la méthodologie utilisée, et de la diffusion des résultats.

Dans cette perspective, un Groupe d’experts internationaux en classements – IREG [International Ranking Expert Group] a été fondé en 2004 par le Centre européen pour l’enseignement supérieur de l’UNESCO (UNESCO-CEPES) de Bucarest et l’Institute for Higher Education Policy de Washington, D.C. C’est à partir de cette initiative que s’est tenue la deuxième réunion de l’IREG (Berlin, les 18-20 mai 2006) afin de formuler un ensemble de principes concernant la qualité et les bonnes pratiques dans les classements des établissements d’enseignement supérieur – appelés les Principes de Berlin sur le classement des établissements d’enseignement supérieur.

On espère que cette initiative établisse un cadre pour l’élaboration et la dissémination des classements – qu’ils aient une portée nationale, régionale ou mondiale – afin de contribuer à un processus d’amélioration et de sophistication continues des méthodologies employées pour établir ces classements. Du fait de l’hétérogénéité des méthodologies des classements, ces principes de bonnes pratiques au niveau des classements seront utiles pour le développement et l’évaluation du processus de classement.

Les classements devraient :

A) Buts et objectifs des classements

1. Etre l’une des nombreuses approches de l’évaluation des ressources, des processus  et des résultats de l’enseignement supérieur. Les classements peuvent offrir des informations comparatives et une meilleure compréhension de l’enseignement supérieur, mais ne devraient pas être la méthode principale utilisée pour évaluer ce qu’est, et ce que fait, l’enseignement supérieur. Les classements offrent une perspective basée sur le marché qui peut seulement compléter le travail effectué par le gouvernement, les autorités responsables de l’accréditation, et les agences d’expertise indépendantes.

2. Etre explicites quant à leur objectif et à leurs publics cibles. Les classements doivent être conçus en tenant compte de leur objectif. Les indicateurs élaborés pour atteindre un certain objectif ou pour informer un certain public cible peuvent ne pas être adéquats pour d’autres objectifs ou publics cibles.

3. Reconnaître la diversité des établissements et prendre en considération leurs différentes missions et objectifs. Par exemple, les critères de qualité pour les établissements axés sur la recherche, sont tout à fait différents de ceux qui sont pertinents pour les établissements qui assurent un plus large accès à des communautés défavorisées. Les établissements qui sont classés et les experts qui sont à la base du processus de classement doivent être fréquemment consultés.

4. Etre clairs quant à la gamme de sources d’information employées dans les classements et des informations rendues accessibles par chaque source. La pertinence des résultats des classements dépend des publics qui reçoivent les informations et des sources de ces informations (bases de données, étudiants, enseignants ou employeurs). Une bonne pratique serait de combiner les différentes perspectives fournies par ces sources afin d’obtenir une image plus complète de chaque établissement d’enseignement supérieur inclus dans un classement donné.

5. Indiquer les contextes linguistiques, culturels, économiques et historiques des systèmes d’enseignement qui font l’objet de classements. Les classements internationaux devraient être particulièrement attentifs à toute possibilité de biais et être précis sur leurs objectifs. Les Etats ou les systèmes ne partagent pas tous les mêmes valeurs et croyances concernant ce qui constitue la « qualité » dans les établissements tertiaires, et les systèmes de classement ne devraient pas être conçus dans le but d’imposer des comparaisons inadéquates.

B) Création et pondération des indicateurs

6. Etre transparents quant à la méthodologie employée pour la création de classements. Le choix des méthodes employées pour élaborer les classements devrait être clair et sans équivoque. Cette transparence devrait inclure le calcul des indicateurs ainsi que l’origine des données.

7. Choisir les indicateurs en fonction de leur pertinence et de leur validité. Le choix des données devrait se baser sur la reconnaissance de la capacité de chaque critère à représenter la qualité et les atouts académiques et institutionnels, et non pas sur la disponibilité des données. Les raisons justifiant la prise en compte de chaque type de mesures ainsi que ce qu’elles sont censées représenter doivent être explicités.

8. Mesurer de préférence, et dans la mesure du possible les résultats plutôt que les ressources. Les données concernant les ressources sont pertinentes parce qu’elles reflètent la situation générale d’un établissement donné et sont plus fréquemment disponibles. L’analyse des résultats offre une évaluation plus correcte de la position et/ou de la qualité d’un établissement ou d’un programme donné. Les producteurs de classements devraient s’assurer qu’un juste équilibre est atteint. 

9. Mettre en évidence les poids assignés aux différents indicateurs (si employés) et limiter leurs changements. Les changements de poids font que les utilisateurs ont du mal à discerner si le statut d’un établissement ou d’un programme a changé dans la cadre des classements à cause d’une différence inhérente ou du fait d’un changement méthodologique.

 C) Collecte et traitement des données

10. Accorder une attention sévère aux standards éthiques et aux recommandations concernant les bonnes pratiques formulées dans ces Principes. Afin d’assurer la crédibilité de chaque classement, les personnes responsables de la collecte et de l’utilisation des données, ainsi que des visites sur place, devraient être aussi objectifs et impartiaux que possible.

11. Utiliser des données auditées et vérifiables chaque fois que cela est possible. Ces données présentent plusieurs avantages, comme le fait qu’elles ont été acceptées par les établissements et qu’elles sont comparables et compatibles entre établissements.

12. Inclure des données qui sont collectées par des procédures appropriées de conformes à la collecte scientifique de données. Les données rassemblées à partir d’un groupe non-représentatif ou incomplet d’étudiants, d’enseignants ou d’autres parties pourraient ne pas représenter un établissement ou un programme, et devraient être exclues.

13. Appliquer des critères d’assurance qualité aux processus mêmes de classement. Ces processus devraient tenir compte des techniques d’évaluation des établissements et mettre à profit ces connaissances pour évaluer les classements eux-mêmes. Les classements devraient être des systèmes d’apprentissage capables d’utiliser ces connaissances pour améliorer leur méthodologie.

14. Appliquer des critères organisationnels qui accroissent la crédibilité des classements. Cela peut comprendre des groupes à vocation de conseil, ou de surveillance, de préférence à participation internationale.

D) Présentation des résultats des classements

15. Offrir aux consommateurs une compréhension claire de l’ensemble des facteurs employés pour la construction d’un classement, ainsi que le choix de la manière dont les classements doivent être présentés. Ainsi, les utilisateurs des classements pourront mieux comprendre les indicateurs utilisés dans le classement d’établissements ou de programmes. De plus, ils devraient avoir la possibilité de faire leurs propres choix quant au poids accordés à ces indicateurs.

16. Etre compilés d’une manière qui élimine ou réduise le nombre d’erreurs au niveau des données d’origine, et être organisés et publiés d’une manière qui permette la correction des erreurs et des fautes potentielles. Les établissements et le public devraient être informés au sujet des erreurs apparues durant le processus.

Berlin, le 20 mai 2006

Rankingi szkół wyższych i programów studiów są zjawiskiem globalnym. Służą wielu celom: są reakcją na potrzebę posiadania dającej się łatwo interpretować informacji na temat pozycji wyższych uczelni; pobudzają konkurencję miedzy nimi; dają pewne argumenty do przyznawania funduszów; sprzyjają rozróżnianiu różnych rodzajów uczelni, różnych programów i dyscyplin naukowych. Ponadto, jeśli rankingi są właściwie rozumiane i interpretowane, przyczyniają się do określenia “jakości” szkół wyższych w poszczególnych państwach, stanowiąc uzupełnienie wytężonej pracy prowadzonej przez publiczne i niezależne agencje akredytujące w zakresie oceny i kontroli jakości. Z tego powodu rankingi szkół wyższych w poszczególnych państwach należą do grupy procesów i działań zapewniających odpowiedzialność i wysoką jakość kształcenia. Stąd, w coraz większej liczbie państw będą powstawały nowe rankingi. Przy utrzymywaniu się tego trendu, ważne jest, aby instytucje przygotowujące rankingi były odpowiedzialne za wysoką jakość pracy w zakresie zbierania danych, metodologii i upowszechniania.

W związku z powyższym, w 2004 r. Europejskie Centrum Szkolnictwa Wyższego UNESCO (UNESCO-CEPES) w Bukareszcie oraz Instytut Polityki Szkolnictwa Wyższego w Waszyngtonie, DC, powołało Międzynarodową Grupę Ekspercką ds. Rankingów (International Ranking Expert Group – IREG). To właśnie z ich inicjatywy zwołano drugie spotkanie IREG (Berlin 18-20 maja, 2006) w celu rozważenia zasad zapewniających wysoką jakość i stosowanie modelowych rozwiązań w rankingach wyższych uczelni – tj. Berlińskich Zasad dot. Rankingów Szkół Wyższych.

Można się spodziewać, iż dzięki tej inicjatywie stworzono ramy służące wypracowaniu i upowszechnianiu rankingów – niezależnie od ich zasięgu: krajowego, regionalnego czy globalnego – które ostatecznie doprowadzą do wypracowania systemu ciągłego ulepszania i doskonalenia metodologii stosowanej przy przeprowadzaniu rankingów. Przy tak dużej różnorodności stosowanych metodologii, zasady określające modelowe rozwiązania w układaniu rankingów okażą się pożyteczne w ich udoskonalaniu i ocenie.

A) Cele i zadania rankingów

1. Rankingi powinny być jedną z kilku różnych metod służących ocenie stanów wyjściowych, procesów i wyników. Rankingi mogą stanowić źródło informacji porównawczej i lepszego rozeznania w sprawach wykształcenia wyższego, ale nie powinny być główną metodą oceny tego czym jest wykształcenie wyższe i czemu ma służyć. Rankingi dają perspektywę rynkową, która może być uzupełnieniem działań rządu, władz akredytujących i niezależnych agencji kontrolnych.

2. Powinny w sposób jasny przedstawiać cele i potencjalnych adresatów. Układając rankingi należy zwracać należytą uwagę na ich cel. Podawanie wskaźników z myślą o osiągnięciu określonego celu lub poinformowania jednej grupy odbiorców może być niewystarczające dla innych celów lub innych grup docelowych.

3. Powinny odzwierciedlać różnorodny charakter uczelni, uwzględniając różne misje i cele, jakie im przyświecają. Miary jakości służące ocenie np. uczelni o profilu badawczym będą wyglądały zupełnie inaczej niż dla uczelni, które są szeroko dostępne dla środowisk o ograniczonym dostępie do usług i zasobów. Zespoły opracowujące rankingi powinny się często konsultować zarówno z klasyfikowanymi uczelniami, jak i ekspertami, którzy stanowią źródło informacji w procesie tworzenia rankingu.

4. Powinny w sposób jasny przedstawić zakres źródeł informacji służących opracowaniu rankingów oraz rodzaj informacji, jakie każde źródło generuje. Rola i znaczenie wyników list rankingowych zależy od odbiorców otrzymujących informacje i źródeł tych informacji (bazy danych, studenci, profesorowie, pracownicy). Modelowym rozwiązaniem byłoby połączenie różnych punktów widzenia prezentowanych przez te źródła informacji aż do uzyskania bardziej wszechstronnego poglądu na temat każdej wyższej uczelni umieszczonej w rankingu.

5. Powinny określić językowe, kulturowe, gospodarcze i historyczne ramy systemu szkolnictwa wyższego, którego ranking ma dotyczyć. Międzynarodowe rankingi szczególnie powinny wystrzegać się ewentualnych uprzedzeń i bardzo precyzyjnie określać swój cel. Nie wszystkie państwa czy systemy podzielają te same wartości czy przekonanie o tym, co stanowi “wysoką jakość” w szkolnictwie trzeciego szczebla, a systemy rankingowe nie powinny być tworzone w celu wymuszania tego typu porównań.

B) Projektowanie i ważenie wskaźników

6. Przestrzeganie transparentności w zakresie metodologii stosowanej podczas tworzenia rankingów. Metody zastosowane do sporządzania rankingów powinny być jasne i jednoznaczne. Transparentność powinna dotyczyć również obliczania wskaźników i źródeł danych.

7. Wskaźniki powinny być dobierane zgodnie z ich znaczeniem i adekwatnością. W doborze danych nie należy kierować się ich dostępnością, lecz przydatnością każdego pomiaru do informowania o jakości kształcenia, zaletach naukowych i instytucjonalnych uczelni. Należy jasno powiedzieć, dlaczego ranking został sporządzony w oparciu o dane pomiary i o czym pomiary te mają świadczyć.

8. O ile to możliwe, należy mierzyć efekty a nie sytuację wyjściową. Dane dotyczące stanów wyjściowych mają duże znaczenie, gdyż odzwierciedlają ogólny stan danej uczelni i łatwiej je ustalić. Mierzenie efektów stanowi bardziej precyzyjną ocenę pozycji i jakości danej uczelni czy jej programu, zatem osoby ustalające rankingi powinny zadbać o odpowiednią równowagę pomiędzy efektami a stanem wyjściowym.

9. Wagi przypisywane różnym wskaźnikom (jeśli są w ogóle stosowane) należy wyraźnie wyszczególnić i ograniczać zmiany, jakim mają podlegać. Różnicowanie  wag utrudnia odbiorcom rozeznanie się czy zmiana pozycji w rankingu danej uczelni lub jej programu wynika z wewnętrznej zmiany jakiej uczelnia lub program podlegały, czy ze zmiany metodologii.

C) Zbieranie i przetwarzanie danych

10. Należytą uwagę należy zwracać na normy etyczne i zalecenia zawarte w modelowych rozwiązaniach określonych w Zasadach. Aby zapewnić wiarygodność każdego rankingu, osoby odpowiedzialne za zbieranie i wykorzystanie danych, oraz przeprowadzające wizyty na miejscu powinny być w najwyższym stopniu obiektywne i bezstronne.

11. O ile to możliwe, należy używać sprawdzonych i sprawdzalnych danych. Wśród zalet takiego podejścia wymienia się to, iż tego typu dane są porównywalne, kompatybilne i akceptowane przez wszystkie uczelnie.

12. Uwzględniać należy tylko takie dane, które zostały zebrane według procedur właściwych dla naukowego zbierania danych. Dane uzyskane od nie reprezentatywnej, lub nierzetelnie dobranej podgrupy studentów, kadry lub innych źródeł mogą niedokładnie przedstawiać uczelnię lub jej program i powinny być wykluczone.

13. Do samego procesu tworzenia rankingu powinno się stosować procedury służące zapewnieniu jakości. Procedury te winny uwzględniać specjalistyczną wiedzę stosowaną do oceny uczelni i używać tej wiedzy do oceny samego rankingu. Rankingi powinny być systemami uczenia się, które nieustannie wykorzystują specjalistyczną wiedzę do opracowywania metodologii.

14. Należy stosować rozwiązania organizacyjne zwiększające wiarygodność rankingów. Do nich zaliczyć można ciała doradcze lub nawet nadzorujące, najlepiej z udziałem uczestników z innych państw.

D) Przedstawianie wyników rankingów

15. Należy jasno wytłumaczyć wszystkie uwarunkowania towarzyszące tworzeniu rankingów i zaproponować odbiorcom różne możliwości prezentacji rankingów. Dzięki temu osoby zainteresowane będą bardziej świadome tego, jakie wskaźniki zostały wykorzystane do uplasowania danej uczelni czy programu w rankingu. Ponadto, odbiorcy powinni mieć okazję do decydowania o tym, w jaki sposób powinno się te wskaźniki ważyć.

16. Rankingi powinny być opracowywane w sposób, który wyeliminuje lub ograniczy błędy w danych początkowych i powinny być tak zorganizowane i opublikowane, aby błędy i niedociągnięcia można było korygować. O powstałych błędach należy poinformować uczelnie jak i społeczeństwo.

Berlin, 20 maja, 2006 r.

Ранжирование высших учебных заведений, составление таблиц лиг и отдельных программ обучения ВУЗов –  явление глобального характера. Они служат многим целям: удовлетворяют потребность потребителей образовательных услуг в легко интерпретируемую информацию о вузе;  стимулируют конкуренцию между учебными заведениями; дают рациональную мотивацию для вложения инвестиций; помогают сделать выбор между различными ВУЗами, программами, дисциплинами. Кроме того, при условии правильного понимания и интерпретации, рейтинги содействуют определению «качества» высших учебных заведений в каждой конкретной стране, дополняя строгий научный подход к оценке качества, выполняемой государственными органами и независимыми аккредитационными агентствами. Вот почему ранжирование ВУЗов стало неотъемлемой частью общего плана работ по национальной оценке и процессов обеспечения качества образования. Вот почему все больше и больше стран присоединяется к этой работе. Учитывая данную тенденцию, важно, чтобы организации, разрабатывающие рейтинги и таблицы лиг, отвечали за качество своих данных, методологию  и распространение информации.

Принимая во внимание вышеизложенное, в 2004 году Европейским центром по высшему образованию ЮНЕСКО (UNESCO-CEPES, г. Бухарест, Румыния) и Институтом политики в области высшего образования (г. Вашингтон, США) была создана международная экспертная группа по ранжированию (IREG). В рамках этой же инициативы на второй конференции IREG-2 (Берлин, 18-20 мая 2006 г.) было подписано соглашение о принятии принципов качества и надлежащей практики при ранжировании ВУЗов – Берлинские принципы ранжирования высших учебных заведений.

Целью данной инициативы стало создание основной схемы разработки и распространения рейтингов независимо от того, являются ли они национальными, региональными или глобальными, что в конечном счете должно привести к созданию системы непрерывного совершенствования методологии проведения ранжирования. Поскольку методологии проведения рейтингов весьма разнородны, данные принципы надлежащего ранжирования будут полезны для их совершенствования и оценки.

Рейтинги и таблицы лиг должны:

А) Цели и задачи ранжирования:
1.    Быть одним из ряда многообразных подходов к оценке затрат на высшее образование, процессов и результатов сферы высшего образования. Ранжирование служит средством получения информации для сравнения и лучшего понимания высшего образования; они не должны быть основным методом оценки высшего образования. Ранжирование обеспечивает перспективу с точки зрения рыночной экономики, дополняя работу, проводимую государством, аккредитационными органами и независимыми агентствами по оценке качества.
2.    Ясно представлять задачи и целевую аудиторию. Ранжирование должно осуществляться в строгом соответствии с задачами. Индикаторы, разработанные для определенной задачи или целевой аудитории, не пригодны в иных случаях.
3.    Признавать разнообразие учебных заведений и принимать во внимание различие их миссий и задач. Оценка качества исследовательских университетов в корне отличается от оценки вузов, дающих массовое высшее образование, ориентированных на определенный регион. Следует постоянно проводить консультации как с вузами, так и с экспертами, проводящими ранжирование.
4.    Обеспечить ясность спектра источников, которые представляют информацию для ранжирования, и индикаторов, полученных на основе каждого из ресурсов. Актуальность результатов ранжирования зависит от того, на какую аудиторию оно рассчитано и от источников информации (базы данных, студенты, преподаватели, работодатели). В идеале следовало бы комбинировать всю информацию, поступающую из разных источников, каждый из которых имеет собственную перспективу обзора. В результате мы получили бы более полную и законченную информацию о вузе, включаемом в рейтинг.
5.    Учитывать лингвистический, культурный, экономический и исторический контекст системы высшего образования, проходящей ранжирование. Особенно следует учитывать все, даже косвенные факторы при сопоставлении международных рейтингов и четко определять их цели и задачи. Не все страны и системы образования единодушны в своих взглядах на то, что представляет из себя «качество» обучения в вузах, и рейтинги не предназначены для того, чтобы нагнетать такого рода сравнения.

В) Разработка индикаторов и их весов

6.    Обеспечивать прозрачность используемой методологии составления рейтинга. Выбор методов, используемых в ходе ранжирования, должен быть ясным и однозначным. Прозрачность должна охватывать как подсчет индикаторов, так и источники данных.
7.    Выбирать индикаторы  соответственно их релевантности и валидности. Выбор данных должен быть основан не на их доступности, а на показателях, способных отображать качество, а также академические и институциональные сильные стороны. Должно быть понятно, почему Вы включили именно эти показатели и что они отображают.
8.    Отдавать предпочтение по возможности показателям достигнутых результатов, а не исходным ресурсам. Исходные ресурсы представляют важность, поскольку дают общее представление об учебном заведении и зачастую более доступны. Показатели достигнутых результатов обеспечивают более точную оценку состояния и/или качества учебного заведения или программы, и составители рейтингов должны обеспечить надлежащий баланс индикаторов.
9.    Четко определять методы оценки различных индикаторов и по возможности ограничить изменения в них. Перемены в методах оценки вводят в заблуждение всех, кто пользуется рейтингами. Им трудно понять, в чем лежит причина того, что статус вуза или программы в ранжировании изменился – связано ли это с самим вузом или вызвано переменами в методологии проведения ранжирования.

С) Сбор и обработка данных
10.    Обращать должное внимание на этические стандарты и рекомендации надлежащей практики, сформулированные в данных Принципах. Чтобы рейтинги пользовались доверием, лица, ответственные за сбор и обработку данных и их проверку в ходе посещения вуза, должны сохранять объективность и беспристрастность.
11.    Использовать по возможности проверенные и уточненные данные. Такие данные имеют ряд преимуществ, включая и тот факт, что вузы уже знакомы с ними, и они поддаются сравнению.
12.    Использовать данные, собранные в соответствии с установленной процедурой,  применимые к сбору информации в рамках научных исследований. Данные, собранные от ограниченного количества студентов, преподавателей и иных сторон, являются нерепрезентативными качества образования и их следует исключить.
13.    Применять меры по обеспечению качества к самим процессам ранжирования. Данные процессы должны учитывать опыт, полученный в ходе оценки ВУЗов, и использовать его для оценки самого рейтинга. Рейтинги должны стать обучающими системами, постоянно использующими опыт для разработки методологии.
14.    Применять организационные методы, повышающие достоверность ранжирования. В число этих мероприятий необходимо включить создание органов, оказывающих методическую помощь и даже контроль, предпочтительно, чтобы они работали с участием международных экспертов.

D) Презентация результатов ранжирования
15.    Обеспечить потребителей ясным пониманием всех факторов, задействованных при составлении рейтинга, и предложить им выбор формы презентации результатов рейтингов. Таким образом, пользователи рейтингов будут лучше понимать, почему те или иные индикаторы используются при ранжировании ВУЗов или программ, и иметь возможность принять собственное решение о том, какой удельный вес должны иметь различные индикаторы.
16.    Результаты ранжирования должны быть составлены и опубликованы таким образом, чтобы исключить или минимизировать ошибки в представляемых данных, а также обеспечивать возможность исправления допущенных ошибок. Если ошибки допущены, то ВУЗы и общественность должны быть информированы о них незамедлительно.

Берлин, 20 мая 2006 г.

(Berlin, 20. Mai 2006)Rankings und “League tables” von Hochschulen sind ein globales Phänomen geworden. Sie folgen unterschiedlichen Zielsetzungen: Sie erfüllen den Bedarf von Konsumenten nach einfach aufbereiteter Information über Hochschulen; sie stimulieren den Wettbewerb unter Hochschulen; sie bieten Anhaltspunkte für die Verteilung von Mitteln und sie helfen, zwischen verschiedenen Typen von Hochschule sowie zwischen Studiengängen und Disziplinen zu unterscheiden. Zusätzlich könne sie, wenn sie richtig genutzt und interpretiert werden, auch zur Definition von „Qualität“ von Hochschulen beitragen und somit eine wichtige Ergänzung der Qualitätssicherung sein ,wie sie von staatlichen und unabhängigen Agenturen durchgeführt wird.

Dies hat dazu beigetragen, dass Rankings in vielen Ländern ein Teil des Systems der Qualitätsbewertung von Hochschulen geworden sind. Es ist zu erwarten, dass in einer wachsenden Zahl von Ländern Hochschulrankings entstehen. Mit Blick auf diese Entwicklung ist es wichtig, dass sich diejenigen, die Rankings erstellen, selbst der Verantwortung für die Qualität der Rankings bewusst sind – mit Blick auf Datenerhebung, Methodik und Verbreitung der Ranking-Ergebnisse.

Vor diesem Hintergrund wurde 2004 vom UNESCO European Centre for Higher Education (UNESCO-CEPERS) und vom Institue for Higher Education Policy in Washington, DC die „International Ranking Expert Group (UREG) gegründet. Im Rahmen dieser Initiative wurden während des zweiten Treffens von IREG (vom 18. Bis 20.Mai 2006 in Berlin) eine Sammlung von Prinzipien für gute Ranking-Praxis vorgestellt – die the Berlin Principles on Ranking of Higher Education Institutions.

Es ist zu erwarten, dass diese Initiative einen Rahmen hat für die weitere Entwicklung von Rankings – seien sie national, regional oder global – geschaffen hat, der letztlich zu einer kontinuierlichen Verbesserung und Verfeinerung der Methoden von Hochschulrankings führt.
Angesichts der Unterschiedlichkeit der Methoden von Rankings, werden die hier vorgestellten Prinzipien für die Verbesserung und für die Bewertung von Rankings nützlich sein.

Hochschulrankings sollten:

A) Ziele und Funktionen von Rankings
1.    eines unter mehreren Instrumenten zur Bewertung der Inputs, Prozesse und Outputs von Hochschulen sein. Rankings können vergleichende Informationen über Hochschulen bereitstellen und zu einem verbesserten Verständnis von tertiärer Bildung beitragen, sollten aber nicht die dominierende Methode zur Bewertung von Hochschulen sein. Rankings liefern eine markt-orientierte Perspektive, die die Arbeit von Regierungen, Akkreditierungseinrichtungen und unabhängiger Evaluations-Agenturen ergänzen können.
2.    ihre Zielsetzung und Zielgruppen klar benennen. Rankings müssen mit Blick auf ihre Zielsetzung konzipiert werden. Indikatoren, die entwickelt wurden, um eine bestimmte Zielsetzung zu verfolgen bzw. Informationen für eine spezifische Zielgruppe zu liefern, sind für andere Zielsetzungen und Zielgruppen möglicherweise inadäquat. 
3.    die Heterogenität von Hochschulen anerkennen und die Unterschiedlichkeit der Ziele und Profile von Hochschulen berücksichtigen. Qualitätsindikatoren für forschungsorientierte Hochschulen sind andere als für Hochschulen, die einen breiten Bildungszugang im regionalen Kontext gewährleisten wollen. Der Sachverstand der gerankten Institutionen und von Experten sollte in die Konzeption von Rankings eingebunden werden.
4.    ihre Datenquellen klar herausstellen und deren Aussagefähigkeit thematisieren. Die Relevanz von Ranking-Ergebnissen hängt von ihrer Zielgruppe und ihren Datenquellen (z.B. statistische Datenbestände, Umfragen unter Studierenden, Professoren, Arbeitgeben). Gute Praxis zeichnet sich durch die Kombination verschiedener Perspektiven aus, um ein vielschichtigeres Bild der komplexen Leistungen von Hochschulen zeichnen zu können. .
5.    den sprachlichen, kulturellen, ökonomischen und historischen Kontext der Hochschulsysteme spezifizieren, die sie umfassen. Insbesondere internationale Rankings sollten sich möglicher Verzerrungen bewusst sein. Nicht alle Hochschulsysteme teilen die selben Werte und Vorstellungen hinsichtlich der Bestimmung von „Qualität“ tertiärer Bildung. .

B) Konzeption und Gewichtung von Indikatoren
6.    ihre Methodik transparent machen. Die Methodik sollte klar und unwidersprüchlich sein. Die TRansparenz soll sich auf die Berechnung der Indikatoren ebenso wie auf den Ursprung der Daten beziehen. Be transparent regarding the methodology used for creating the rankings.
7.    ihre Indikatoren nach Kriterien der Relevanz und Validität auswählen. Die Auswahl der Daten sollte an ihrer Aussagefähigkeit hinsichtlich der Leistung von Hochschulen orientiert sein, nicht allein an der Verfügbarkeit von Daten. Rankings sollten klar heraus stellen, warum Indikatorne einbezogen sind und wofür sie stehen sollen.
8.    soweit wie möglich Output-Größen messen. Input-Indikatoren sind wichtig, insofern sie die allgemeinen (Studien-)Bedingungen von Hochschulen widerspiegeln und meist besser verfügbar sind. Ouput-Indikatoren können jedoch einen besseren Einblick in die Leistungsfähigkeit von Institutionen und Studiengängen bieten; die Anbieter von Rankings sollten auf eine ausgewogene Balance zwischen Input- und Output-Indikatoren achten..
9.   – soweit sie ihre Indikatoren gewichten – deren Gewichte transparent machen und Veränderungen der Gewichtungen minimieren. Veränderungen in der Gewichtung der Indikatoren erschweren den Nutzern die Interpretation von Veränderungen in Ranking-Ergebnissen; sie machen es schwer, zu erkennen, ob Veränderungen auf wirkliche Veränderungen an den Hochschulen oder auf eine veränderte Methodik zurückzuführen sind.

C) Erhebung und Aufbereitung der Daten
10.    ethische Standrads und die hier entwickelten Prinzipien beachten. Um die Glaubwürdigkeit von Rankings zu gewährleisten, sollten diejenigen, die die Daten für Hochschulrankings erheben, so unabhängig und neutral wie möglich sein.
11.    so weit wie möglich bestätigte und verifizierbare Daten nutzen. Solche Daten haben eine Reihe von Vorteilen, so z.B. die Tatsache, dass sie von den einbezogenen Institutionen anerkannt sind und dass sie wirklich vergleichbar sind.
12.    sollten nur Daten zu Grunde legen, die nach den Standards wissenschaftlicher Datenerhebung gewonnen worden sind. Daten aus nicht-repräsentativen oder verzerrten Stichproben von Studierenden, Lehrenden oder andren Grundgesamtheiten sollten nicht verwendet werden. Include data that are collected with proper procedures for scientific data collection.
13.    sollten selbst Mechanismen und Verfahren zur Qualitätssicherung anwenden. Hierzu zählt die Expertise aus Evaluationen im Hochschulbereich; diese sollte genutzt werden, die Rankings selbst zu evaluieren. Rankings sollten als lernende Systeme konzipiert sein, die ihre Methodik kontinuierlich unter Einschluss externern Sachverstandes.
14.    sollten organisatorische Maßnahmen ergreifen, die ihre Glaubwürdigkeit erhöhen. Hierzu können z.B. beratende Beiräte und Steuerungsgruppen gehören; vorzugsweise mit internationaler Beteiligung.

D) Veröffentlichung von Ranking-Ergbnissen
15.    sollten für die Nutzer alle Faktoren transparent machen, die zur Enstehuing des Rankings beigetragen haben und ihnen die mehrere Möglichkeit geben, die Ergebnisse zu nutzen. Zudem sollten die Nutzer die Möglichkeit haben, eigene Entscheidungen hinsichtlöich der Relevanz und Gewichtung von Indikatoren zu treffen.
16.    sollten in einer Weise erstellt werden, die die Häufigkeit von Fehlern in den Daten auf ein Minimum reduziert; sie sollten in einer Weise publiziert werden, dass Fehler korrigiert werden können. Hochschulen und Öffentlichkeit sollten über Fehler informiert werden.

مبادئ برلين عن تصنيفات مؤسسات التعليم العالي

أصبح تصنيف الجامعات وجداول تقييم مؤسسات التعليم العالي وبرامجها الأكاديمية ظاهرة عالميةً، وذلك لأنها تخدم أغراضا كثيرة: فهي تلبي رغبات المهتمين وطلاب العلم بالحصول على معلومات دقيقة لمعرفة مكانة وتصنيف مؤسسات التعليم العالي، بل وتحفز المنافسة فيما بينها، وتوفر بعض الأسس المنطقية لتخصيص ميزانياتها، وتساعد على التفريق بين المؤسسات والبرامج الأكاديمية والتخصصات المختلفة، وبالإضافة إلى ذلك، تساهم في تعريف “نوعية” ​​مؤسسات التعليم العالي في بلد معين على المستوى المحلي والإقليمي والعالمي، وتساهم في استكمال العمل الذي يجرى في سياق تقييم الجودة وحسن الأداء بما يرقي بالمؤسسات الى الاعتماد من قبل هيئات الإعتماد الوطنية والمستقلة. وبهذا أصبحت تصنيفات مؤسسات التعليم العالي جزءا من إطار المساءلة الوطنية وعمليات ضمان الجودة في أي دولة. ومن المرجح أن تشهد الدول ظهور المزيد من التصنيفات الجديدة والمطورة في المستقبل. ونظرا لهذا التوجه، فمن المهم أن تتحمل الجهات التي تنتج تصنيفات وجداول التقييم مسؤوليات الجودة في جمع البيانات والمنهجية ومخرجات التصنيفات.

في ضوء ما سبق، تم تأسيس فريق خبراء التصنيف العالمي (IREG) في عام 2004م من قبل مركز اليونسكو الأوروبي للتعليم العالي في بوخارست (UNESCO-CEPES) ومعهد سياسات التعليم العالي في العاصمة واشنطن. ونتج عن هذه المبادرة انعقاد الاجتماع الثاني لفريق الخبراء في برلين (18-20 مايو ، 2006م) للنظر في مجموعة من معايير الجودة والممارسات المثلى في تصنيفات مؤسسات التعليم العالي، عرفت بمبادئ برلين عن تصنيفات مؤسسات التعليم العالي.

ومن المتوقع أن هذه المبادرة وضعت إطارا لبلورة ونشر تصنيفات (محلية أو إقليمية أو عالمية) من شأنها أن تؤدي في نهاية المطاف إلى استنباط نظاماً أمثل ومعياراً أدق للتحسين المستمروالتقنية الفاعلة وصقل المنهجيات المستخدمة لاجراء التصنيفات. ونظراً لما تعانيه منهجيات وآليات التصنيف الحالية من عدم تجانس وشتات، فإن مبادئ ومعايير الجودة للممارسات المثلى في تصنيفات مؤسسات التعليم العالي، والتي تمخضت عن اجتماع برلين ستكون مفيدة في تحسين وجودة مخرجات التصنيفات.

فالمبادئ والمعايير التي يجب أن تكون عليها التصنيفات وجداول الترتيب هي:

أ) أغراض وأهداف التصنيفات.

1- أن يكون التصنيف واحداً من جملة سبل مختلفة لتقييم مدخلات وعمليات ومخرجات المؤسسة المعنية بالتعليم العالي. ويمكن أن يوفر التصنيف من خلاله معلومات تمكن من المقارنة بين المؤسسة ونظيراتها وتحسين الفهم للتعليم العالي، ولكن لا ينبغى أن يكون التصنيف هو الوسيلة الرئيسية لتقييم التعليم العالي وكيف ينبغي أن يكون. ويوفر التصنيف منظورا قائما على احتياجات سوق العمل ليكون مكملا لعمل الحكومة وجهات الاعتماد ووكالات التقييم المستقلة.

2- شفافية أهداف التصنيف وجهاتها المستهدفة. يجب أن تكون التصنيفات مصممة لتتناسب مع الغرض منها. فالمؤشرات المصممة لتلبية هدف معين أو لإبلاغ فريق محدد هدفا محددا قد لا تكون كافية أو مناسبة لأهداف مختلفة أو لفئات مستهدفة أخرى.

3- الاعتراف بتنوع المؤسسات الأكاديمية والأخذ في الإعتبار الإختلافات في رسالة كل منها والهدف الذي أنشئت من أجله. فعلى سبيل المثال، إن معايير الجودة للمؤسسات الموجهة نحو اجراء البحث العلمي يجب أن تختلف تماماً عن تلك التي تتناسب مع المؤسسات التي توفر قاعدة تعليمية في المجتمعات الفقيرة. وينبغي استشارة المؤسسات التي يتم تصنيفها من قبل خبراء التصنيف بإستمرار.

4- الافصاح بوضوح عن مصادر المعلومات التي يتم تصنيف المؤسسة استناداً اليها والرسالة التي ينشدها كل مصدر من هذه المصادر. فأهمية نتائج التصنيف تعتمد على الجهات التي تتلقى المعلومات ومصادر تلك المعلومات (مثل قواعد البيانات والطلاب والأساتذة وأرباب العمل). والممارسات المثلى تكون في الجمع بين وجهات النظر المختلفة التي تقدمها تلك المصادر من أجل الحصول على رؤية أكثر تكاملا عن كل مؤسسة للتعليم العالي مدرجة في التصنيف.

5- تشخيص واحترام السياقات اللغوية والثقافية والاقتصادية والتاريخية للنظم التعليمية المزمع تصنيف مؤسساتها التعليمية. فالتصنيفات الدولية على وجه الخصوص يجب أن تكون على دراية كاملة بإحتمالات التحيز في النتائج وان تكون دقيقة في الهدف من إجراءها. فلا تشترك كل الأمم أو الأنظمة التعليمية في نفس القيم والمفاهيم حول مصطلح “الجودة” في مؤسسات تعليمها العالي، وأنظمة التصنيف لايجب أن تفرض مثل هذه المقارنات.

ب) تصميم وترجيح مؤشرات القياس.

6- الشفافية المطلقة حول المنهجية المتبعة لإنشاء التصنيف العالمي. فعند اختيار الأساليب المستخدمة في إعداد التصنيف العالمي ينبغي أن تكون واضحة لا لبس فيها. وينبغي أن تشمل هذه الشفافية حساب المؤشرات وكذلك مصدر هذه البيانات والمعلومات.

7- اختيار المؤشرات وفقا لأهميتها وصلاحيتها. اختيار البيانات يجب أن يرتكز على قدرة كل معيار على قياس القوة والجودة الأكاديمية والمؤسسية، وليس على سهولة الحصول على البيانات. ويلزم الوضوح حول أسباب تضمين تلك البيانات في التصنيف وماذا تمثل.

8- قياس المخرجات بالمفاضلة مع المدخلات كلما أمكن ذلك. البيانات المدخلة يجب أن تكون ذات صلة لأنها تعبر عن الحالة العامة لمؤسسة معينة وتتوفر على نحو أكثر تواترا. قياس المخرجات يقدم تقييم أكثر دقة عن مكانة و/أو نوعية مؤسسة معينة أو برنامج محدد، ويجب على القائمين على التصنيف ضمان تحقيق التوازن المناسب.

9- ثبات الأوزان المخصصة للمؤشرات المختلفة (في حال استخدامها) والحد من تغييرها.
فالتغيير في أوزان المؤشرات يجعل من الصعب للمهتمين التمييز ما اذا كان ترتيب المؤسسة أو البرنامج قد تغير في التصنيف بسبب اختلاف أساسي متأصل فيها أو بسبب تغيير في منهجية التصنيف ذاته.

ج) جمع ومعالجة البيانات.

10- الاهتمام بالمعايير الأخلاقية و توصيات الممارسات الجيدة في بلورة مبادئ التصنيف. من أجل ضمان مصداقية كل تصنيف ينبغي أن يكون المسؤولين عن جمع واستخدام البيانات والقائمين بالزيارات في مواقع المؤسسات التعليمية موضوعيون ومحايدون قدر الإمكان.

11- استخدام البيانات المدققة والتي يمكن التحقق منها كلما أمكن ذلك. فهذه البيانات لها العديد من المزايا، بما في ذلك الجزم بأنها معتمدة من قبل المؤسسات وأنها قابلة للمقارنة ومتوافقة عبر المؤسسات المختلفة.

12- اضافة البيانات التي تم جمعها بإتخاذ الإجراءات المناسبة لجمع البيانات العلمية. فالبيانات التي تم جمعها من مجموعة فرعية أو من عدد من الطلاب وأعضاء هيئة التدريس، أو من أطراف أخرى خارج المؤسسة قد لاتمثل كامل المؤسسة أو البرنامج و ينبغي استبعادها من التصنيف.

13- تطبيق التدابير اللازمة لضمان الجودة في عمليات التصنيف ذاتها. ينبغي لهذه العمليات أن تأخذ في الحسبان الخبرات التي يتم تطبيقها لتقييم المؤسسات واستخدام هذه المعرفة لتقييم التصنيف نفسه. فينبغي أن تكون التصنيفات وبشكل مستمر نظم للتعلم والاستفادة من هذه الخبرة لتطوير منهجية التصنيف.

14- تطبيق التدابير التنظيمية التي تعزز مصداقية التصنيف. ويمكن أن تشمل هذه التدابير الهيئات الاستشارية أو حتى الإشرافية، ويفضل مع بعض المشاركة الدولية .

د) عرض نتائج التصنيف.

15- تزويد المعنيين بشرح واضح لجميع العوامل المستخدمة في وضع التصنيف، وتوفير خيارات لكيفية عرض نتائج التصنيف. بهذه الطريقة فإن لدى مستخدمي التصنيفات فهم أفضل للمؤشرات التي يتم استخدامها لتصنيف المؤسسات أو البرامج. بالإضافة إلى ذلك يتيح لهم الفرصة لاتخاذ قراراتهم الخاصة حول الكيفية التي يتم فيها وزن هذه المؤشرات .

16- تجميع النتائج بطريقة تلغي أو تقلل الأخطاء في البيانات الأصلية، وتنظيم ونشر النتائج بطريقة يمكن بها تصحيح الأخطاء والعيوب في حال حدوثها. وينبغي إبلاغ المؤسسات والرأي العام حول الأخطاء التي حدثت.

Rankings e tabelas de classificação das instituições de ensino superior (IES) e de programas de ensino são um fenômeno global. Os rankings servem diversos propósitos: respondem a demandas dos consumidores por informações facilmente interpretáveis sobre a situação das instituições de ensino superior, estimulam a competição entre elas; proporcionam um tipo de princípio lógico para alocação de verbas, [e] ajudam a diferenciar tipos de instituição, programas e disciplinas. Além disso, quando corretamente entendidos e interpretados, contribuem para a definição de “qualidade” das instituições de ensino superior em um determinado país, complementando o trabalho rigoroso conduzido no contexto de avaliação e revisão de qualidade feito por agências de credenciamento públicas e independentes. É por isso que rankings de instituições de ensino superior e os processos de garantia de qualidade passaram a fazer parte do quadro de responsabilidades de cada pais, e por isso cada vez mais países investem no desenvolvimento de rankings. Dada esta tendência, é importante que quem produz rankings se responsabilize pela qualidade na coleta de informações, na metodologia e na sua disseminação.

É por isso que o International Ranking Expert Group (IREG) foi fundado em 2004 pelo Centro Europeu de Educação Superior (UNESCO-CEPES) em Bucareste e pelo Instituto de Política de Educação Superior, em Washington, DC. Por causa desta iniciativa foi convocada a segunda reunião do IREG (Berlim, de 18 a 20 de maio de 2006) para considerar um conjunto de princípios de qualidade e boas práticas em elaboração de rankings IES – os Princípios de Berlim para rankings de Instituições de Educação Superior.

Espera-se com esta iniciativa ter estabelecido um quadro para a elaboração e divulgação dos rankings – sejam eles nacionais, regionais ou de âmbito mundial – que, finalmente, vai levar a um sistema de melhoria contínua e aperfeiçoamento das metodologias utilizadas para realizar estas classificações. Dada a heterogeneidade de metodologias de rankings, estes princípios de boas práticas de classificação serão úteis para a melhoria e avaliação de rankings.

Rankings e tabelas classificativas devem:

A) Objetivos e Metas dos Rankings

1. Ser uma entre várias, diferentes abordagens para a avaliação do ensino superior. Rankings podem fornecer informações comparativas e uma melhor compreensão do ensino superior, mas não devem ser o principal método para avaliar uma instituição de ensino superior. Rankings fornecem uma perspetiva baseada no mercado que pode complementar o trabalho do governo, das instituições de acreditação e das agências de avaliação independentes.
2. Ser claros quanto ao propósito e ao público ao qual estão dirigidos. Os indicadores utilizados para atender um objetivo específico ou para informar um público-alvo podem não ser adequados para diferentes fins, ou grupos-alvo.
3. Reconhecer a diversidade das instituições e levar em conta diferentes missões e objetivos. Medidas de qualidade para as instituições voltadas para a pesquisa, por exemplo, são bastante diferentes daqueles que são apropriados para as instituições que oferecem amplo acesso às comunidades carentes. As instituições que estão sendo classificadas e os peritos que assistem ao processo de classificação devem ser consultados frequentemente.
4. Ser claros sobre as fontes de informação e o seu significado. A relevância dos resultados de classificação depende do público que recebe as informações e as fontes dessas informações (tais como bases de dados, os alunos, professores, entidades empregadoras). Uma boa prática seria combinar diferentes perspetivas fornecidas por essas fontes, a fim de obter uma visão mais completa de cada instituição de ensino superior incluída no ranking.
5. Especificar os contextos linguístico, cultural, econômico e histórico do sistema avaliado. Rankings internacionais, em particular, devem estar atentos à possibilidade de viés e ser precisos na determinação do seu objetivo. Nem todas as nações ou sistemas compartilham os mesmos valores e crenças sobre o que constitui a “qualidade” em instituições de ensino superior, e os sistemas de classificação não devem ser concebidos para forçar essas comparações.

B) Escolha e o peso dos indicadores

6. Deve haver transparência da metodologia. A escolha dos métodos usados para preparar rankings deve ser clara e inequívoca. Esta transparência deve incluir o cálculo dos indicadores, bem como a origem dos dados.
7. Escolha de indicadores de acordo com sua relevância e validade. A escolha dos dados deve ser baseada no reconhecimento da capacidade de cada medida para representar a qualidade acadêmica e forças institucionais, e não sobre disponibilidade de dados. Seja claro sobre o porquê de as medidas foram incluídos eo que eles pretendem representar.
8. Preferência por mensurar resultados. Os dados sobre os insumos são relevantes, pois refletem a condição geral de um determinado estabelecimento e são mais freqüentemente disponíveis. Medidas de resultados fornecem uma avaliação mais precisa da posição e / ou a qualidade de uma determinada instituição ou programa. Os compiladores de rankings devem garantir que um equilíbrio adequado é alcançado.
9. Destaque para os pesos atribuídos aos indicadores (se usados) e limitação das mudanças feitas neles. Mudanças nos pesos tornam difícil para os consumidores a entender se a posição do programa ou da instituição mudou no ranking devido a uma diferença inerente ou devido a uma mudança metodológica.

C) Coleta e processamento de informações

10. Deve-se respeitar os padrões éticos e as recomendações de boas práticas destes Princípios. A fim de assegurar a credibilidade de cada ranking, os responsáveis pela coleta e uso de dados e realização de visitas in loco devem ser os mais objetivos e imparciais possível.
11. Usar informações auditáveis e verificáveis sempre que possível. Tais dados têm várias vantagens, incluindo o fato de que foram aceites por instituições e que são comparáveis e compatíveis entre as instituições.
12. Incluir informações obtidas conforme os procedimentos adequados à coleta científica de dados. Os dados coletados a partir de um subconjunto não representativo ou distorcido de estudantes, professores ou outras partes podem não representar uma instituição ou programa e devem ser excluídos.
13. Aplicar medidas de garantia de qualidade aos processos do próprio ranking. Os processos utilizados para avaliar as instituições devem ser usados para avaliar o próprio ranking. Rankings devem ser continuamente sistematizados para desenvolver uma melhor metodologia.
14. Aplicar medidas organizacionais para aprimorar a credibilidade. Estas medidas podem incluir órgãos consultivos ou mesmo de supervisão, de preferência com alguma participação internacional.

D) Apresentação dos Resultados no ranking

15. O ranking deve proporcionar aos consumidores uma compreensão clara de todos os fatores usados na sua elaboração e oferecer escolhas na forma de apresentação. Dessa forma, os usuários dos rankings terão uma melhor compreensão dos indicadores que são utilizados para classificar as instituições ou programas. Além disso, devem ter uma oportunidade de tomar suas próprias decisões sobre como esses indicadores devem ser ponderados.
16. Ser compilado de modo a eliminar ou reduzir erros nos dados originais e ser organizado e apresentado de forma tal que erros e falhas possam ser corrigidos. As instituições e o público deve ser informado sobre os erros que ocorreram.

Berlin, 20 de maio de 2006