IREG Approved

IREG Observatory has developed the IREG Seal of Approval Process enabling a ranking organization to apply to IREG Observatory for an independent review. Ranking organizations found to be meeting the detailed IREG Observatory criteria for ranking organizations are awarded the IREG Seal of Approval “IREG Approved”.

Rankings that passed the IREG Ranking Seal of Approval Process and received IREG Approved certificate:

National rankings:

Perspektywy University Ranking (Poland)

CHE University Ranking (Germany)

Russian University Ranking (Russian Federation)

International rankings

QS World University Rankings

QS University Rankings Asia

QS University Rankings Latin America

National ranking of higher educational institutions of the Republic of Kazakhstan

In response to substantial worldwide growth in higher education rankings, the International Ranking Expert Group (IREG) published a document describing best practices for rankings. “The Berlin Principles on Ranking Higher Education Institutions” quickly became the widely accepted standard for making judgments about quality of rankings and ranking organizations. In 2009, IREG incorporated as the “IREG Observatory on Academic Ranking and Excellence” (IREG Observatory).

As rankings and interest in them continued to grow, it was increasingly clear that rankings in much of the world were becoming important assessment tools used to make judgments about quality and in some cases determining state funding levels. With increased stakes, there was increased need for an independent group like IREG Observatory to develop a process to certify that a given ranking agency was in compliance not only with the with the Berlin Principles, but with additional quality criteria.

This designation “IREG Approved” has proven to be a useful way for rankings organizations to demonstrate quality and as a guide for users of rankings including students, parents, government agencies, and others.

How To Apply

IREG SEAL OF APPROVAL

Process

The IREG Executive Board has appointed a Seal of Approval Committee made up of leading ranking experts from around the world. Applicants for the Seal of Approval submit a detailed self-report to the committee describing how they comply with IREG Observatory standards and how they measure up to twenty detailed criteria around issues like methodology and transparency.

After careful review, the Seal of Approval Committee makes a decision as to whether the applicant is qualified to use the “IREG Approved” seal. It may grant use of the Seal of Approval after its initial review, or it may ask for further dialogue with the applicant, or it may deny Seal of Approval status pending changes in practice.

After receiving the completed application, the Committee will make every effort to inform the applicant of questions or issues as quickly as possible so that a final decision can be reached in a timely manner.

The Seal of Approval has been conceived as a public responsibility initiative. Therefore, the fee for applicants is set periodically by the Executive Committee based on cost of the service to IREG Observatory. Fees for organizations which are not IREG Observatory Members are set at 50% higher than for member organizations. For information about current fees contact the IREG Observatory Secretariat at the address below.

Ranking organizations interested in applying for the Seal of Approval should send a letter of interest to: secretariat@ireg-observatory.org

and a hard copy to: IREG Observatory, rue Washington 40, 1050 Brussels, Belgium

Guidelines for Writing the Self-Report

The self-report is designed not only to enable the Seal of Approval Committee to make a judgment about the applicant, but to help the applicant go through a process of self -assessment. There is no required length. The basic requirement of the report is that it explain how the applying ranking organization addresses each of the criteria necessary for approval. What follows is a suggested structure for the report and a list of the required criteria. The Berlin Principles, which form the basis for the criteria, is also appended. Applicants requiring assistance in preparing the self-report are invited to contact the IREG Observatory Secretariat.

Structure of the self-report

The IREG Ranking Seal of Approval Criteria

The criteria refer to five dimensions of rankings: first, the definition of their purpose, target groups and their basic approach, second, their methodology, including selection of indicators, methods of data collection and calculation of indicators, third, the publication and presentation of their results, fourth, aspects of transparency and responsiveness of the ranking and the ranking organization and, last, aspects of internal quality assurance processes and instruments within the ranking .

2.1. Criteria on Purpose, Target Groups, Basic Approach

The method of evaluation called “ranking” refers to a method which allows a comparison and ordering of higher education institutions and their activities. Within this general framework rankings can differ in their purpose and aims, their main target audiences and their basic approach.

Criterion 1: The purpose of the ranking and the (main) target groups should be made explicit.
Criterion 2:: Rankings should recognize the diversity of institutions and take the different missions and goals of institutions into account. The ranking has to be explicit about the type/profile of institutions which are included and those which are not.
Criterion 3:: Rankings should specify the linguistic, cultural, economic, and historical contexts of the educational systems being ranked. International rankings should adopt indicators with sufficient comparability across various national systems of higher education.

2.2. Criteria on Methodology

The methodology has to correspond to the purpose and basic approach of the ranking. Rankings have to meet standards of collecting and processing statistical data.

Criterion 4:: Rankings should choose indicators according to their relevance and validity. Rankings should be clear about why measures were included and what they are meant to represent.
Criterion 5:: Good ranking practice would be to combine the different perspectives provided by the sources in order to get a more complete view of each higher education institution.
Criterion 6:: Rankings should measure outcomes in preference to inputs whenever possible. Measures of outcomes provide a more accurate assessment of the standing and/or quality of a given institution or program, and compilers of rankings should ensure that an appropriate balance is achieved.
Criterion 7:: Rankings have to be transparent regarding the methodology used. The choice of methods used to prepare rankings should be clear and unambiguous.
Ranking must provide clear definitions for each indicator as well as the underlying data sources and the calculation of indicators from raw data. The methodology has to be publicly available to all users of the ranking as long as the ranking results are open to public.
Criterion 8:: If rankings are using composite indicators the weights of the individual indicators have to be published. Changes in weights over time should be limited and have to be justified due to methodological or conceptual considerations.
Institutional rankings have to make clear the methods of aggregating results for a whole institution. Institutional rankings should try to control for effects of different field structures (e.g. specialized vs. comprehensive universities) in their aggregate result
Criterion 9:: Data used in the ranking must be obtained from authorized, audited and verifiable data sources and/or collected with proper procedures for professional data collection. Information on survey data has to include: source of data, method of data collection, response rates, and structure of the samples (such as geographical and/or occupational structure).
Criterion 10:: Although rankings have to adapt to changes in higher education and should try to enhance their methods, the basic methodology should be kept stable as much as possible. Changes in methodology should be made transparent.

2.3. Criteria on Publication and Presentation of Results

Rankings should provide users with a clear understanding of all of the factors used to develop a ranking.

Criterion 11:: The publication of a ranking has to be made available to users throughout the year either by print publications and/or by an online version of the ranking.
Criterion 12:: The publication has to deliver a description of the methods and indicators used in the ranking. That information should take into account the knowledge of the main target groups of the ranking.
Criterion 13:: The publication of the ranking must provide scores of each individual indicator used to calculate a composite indicator in order to allow users to verify the calculation of ranking results. Composite indicators may not refer to indicators that are not published.

2.4. Criteria on Transparency and Responsiveness

Greater transparency means higher credibility of a given ranking.

Criterion 15:: Rankings should be compiled in a way that eliminates or reduces errors and published in a way that errors and faults caused by the ranking can be corrected. Such errors should be corrected within a ranking period at least in an online publication of the ranking.
Criterion 16:: Rankings have to be responsive to higher education institutions included/ participating in the ranking. This involves giving explanations on methods and indicators as well as explanation of results of individual institutions.
Criterion 17:: Rankings have to provide a contact address in their publication (print, online version) to which users and institutions ranked can direct questions about the methodology, feedback on errors and general comments. They have to demonstrate that they respond to questions from users.

2.5. Criteria on Quality Assurance

Rankings are assessing the quality of higher education institutions. This puts a great responsibility on rankings concerning their own quality and accurateness. They have to develop their own internal instruments of quality assurance.

Criterion 18:: Rankings have to apply measures of quality assurance to ranking processes themselves.
Criterion 19:: Rankings have to document the internal processes of quality assurance. This documentation has to refer to processes of organizing the ranking and data collection as well as to the quality of data and indicators.
Criterion 20:: Rankings should apply organisational measures that enhance the credibility of rankings. These measures could include advisory or even supervisory bodies, preferably (in particular for international rankings) with some international participation.

Coordinator

Thomas D. Parker

Senior Associate, Institute for Higher Education Policy (USA)

A widely respected expert on higher education and non-profit management, Thomas D. Parker, Ed.D., is a senior associate at the Institute for Higher Education Policy (IHEP). He works on IHEP portfolio of projects in domestic and international higher education finance and administration.

Before his appointment at IHEP, Parker was executive vice president and treasurer of the $350 million Nellie Mae Education Foundation in Quincy, Mass. He was a co-founder, senior vice president, treasurer and president of The Education Resources Institute, a private not for profit guarantor of non-governmental student loans. He has also worked in the U.S. Department of Education, National Endowment for the Humanities, and National Institute of Education.

Parker began his career at Harvard University where he was Allston Burr Senior Tutor of Winthrop House in Harvard College and member of the faculty of arts and sciences, secretary to the visiting committees of the Harvard Board of Overseers and assistant to the dean of the Harvard Graduate School of Education. Subsequently he served as vice president of Bennington College in Vermont. He taught higher education administration and finance and the history of higher education for 15 years at Boston University.

Parker has served as consultant and speaker around the world for, among others, the World Bank in Vietnam, U.S.-Thai Higher Education Roundtable in Bangkok, Ministry of Education in Columbia, Tertiary Education Council in Botswana, International Rankings Expert Group in Warsaw, Salzburg Global Seminar (Austria), Ditchley Park Higher Education Group (England), and East China Normal University (Shanghai). He has lectured at the Ford Foundation Global Fellows program (Washington, DC, South Africa, and Italy). He is frequently quoted in the media on issues in higher education and has provided commentary on education during appearances on CNN, CNN International, and ABC national news.

Parker is a magna cum laude graduate of Harvard College and holds the Master of Arts in Teaching and Doctorate in Education degrees from the Harvard Graduate School of Education.

Berlin Principles

English

BERLIN PRINCIPLES ON RANKING OF HIGHER EDUCATION INSTITUTIONS

Rankings and league tables of higher education institutions (HEIs) and programs are a global phenomenon. They serve many purposes: they respond to demands from consumers for easily interpretable information on the standing of higher education institutions; they stimulate competition among them; they provide some of the rationale for allocation of funds; and they help differentiate among different types of institutions and different programs and disciplines. In addition, when correctly understood and interpreted, they contribute to the definition of “quality” of higher education institutions within a particular country, complementing the rigorous work conducted in the context of quality assessment and review performed by public and independent accrediting agencies. This is why rankings of HEIs have become part of the framework of national accountability and quality assurance processes, and why more nations are likely to see the development of rankings in the future. Given this trend, it is important that those producing rankings and league tables hold themselves accountable for quality in their own data collection, methodology, and dissemination.

In view of the above, the International Ranking Expert Group (IREG) was founded in 2004 by the UNESCO European Centre for Higher Education (UNESCO-CEPES) in Bucharest and the Institute for Higher Education Policy in Washington, DC. It is upon this initiative that IREG’s second meeting (Berlin, 18 to 20 May, 2006) has been convened to consider a set of principles of quality and good practice in HEI rankings – the Berlin Principles on Ranking of Higher Education Institutions.

It is expected that this initiative has set a framework for the elaboration and dissemination of rankings – whether they are national, regional, or global in scope – that ultimately will lead to a system of continuous improvement and refinement of the methodologies used to conduct these rankings. Given the heterogeneity of methodologies of rankings, these principles for good ranking practice will be useful for the improvement and evaluation of ranking.

Rankings and league tables should:

A) Purposes and Goals of Rankings

1. Be one of a number of diverse approaches to the assessment of higher education inputs, processes, and outputs. Rankings can provide comparative information and improved understanding of higher education, but should not be the main method for assessing what higher education is and does. Rankings provide a market-based perspective that can complement the work of government, accrediting authorities, and independent review agencies.

2. Be clear about their purpose and their target groups. Rankings have to be designed with due regard to their purpose. Indicators designed to meet a particular objective or to inform one target group may not be adequate for different purposes or target groups.

3. Recognize the diversity of institutions and take the different missions and goals of institutions into account. Quality measures for research-oriented institutions, for example, are quite different from those that are appropriate for institutions that provide broad access to underserved communities. Institutions that are being ranked and the experts that inform the ranking process should be consulted often.

4. Provide clarity about the range of information sources for rankings and the messages each source generates. The relevance of ranking results depends on the audiences receiving the information and the sources of that information (such as databases, students, professors, employers). Good practice would be to combine the different perspectives provided by those sources in order to get a more complete view of each higher education institution included in the ranking.

5. Specify the linguistic, cultural, economic, and historical contexts of the educational systems being ranked. International rankings in particular should be aware of possible biases and be precise about their objective. Not all nations or systems share the same values and beliefs about what constitutes “quality” in tertiary institutions, and ranking systems should not be devised to force such comparisons.

B) Design and Weighting of Indicators

6. Be transparent regarding the methodology used for creating the rankings. The choice of methods used to prepare rankings should be clear and unambiguous. This transparency should include the calculation of indicators as well as the origin of data.

7. Choose indicators according to their relevance and validity. The choice of data should be grounded in recognition of the ability of each measure to represent quality and academic and institutional strengths, and not availability of data. Be clear about why measures were included and what they are meant to represent.

8. Measure outcomes in preference to inputs whenever possible. Data on inputs are relevant as they reflect the general condition of a given establishment and are more frequently available. Measures of outcomes provide a more accurate assessment of the standing and/or quality of a given institution or program, and compilers of rankings should ensure that an appropriate balance is achieved.

9. Make the weights assigned to different indicators (if used) prominent and limit changes to them. Changes in weights make it difficult for consumers to discern whether an institution’s or program’s status changed in the rankings due to an inherent difference or due to a methodological change.

C) Collection and Processing of Data

10. Pay due attention to ethical standards and the good practice recommendations articulated in these Principles. In order to assure the credibility of each ranking, those responsible for collecting and using data and undertaking on-site visits should be as objective and impartial as possible.

11. Use audited and verifiable data whenever possible. Such data have several advantages, including the fact that they have been accepted by institutions and that they are comparable and compatible across institutions.

12. Include data that are collected with proper procedures for scientific data collection. Data collected from an unrepresentative or skewed subset of students, faculty, or other parties may not accurately represent an institution or program and should be excluded.

13. Apply measures of quality assurance to ranking processes themselves. These processes should take note of the expertise that is being applied to evaluate institutions and use this knowledge to evaluate the ranking itself. Rankings should be learning systems continuously utilizing this expertise to develop methodology.

14. Apply organizational measures that enhance the credibility of rankings. These measures could include advisory or even supervisory bodies, preferably with some international participation.

D) Presentation of Ranking Results

15. Provide consumers with a clear understanding of all of the factors used to develop a ranking, and offer them a choice in how rankings are displayed. This way, the users of rankings would have a better understanding of the indicators that are used to rank institutions or programs. In addition, they should have some opportunity to make their own decisions about how these indicators should be weighted.

16. Be compiled in a way that eliminates or reduces errors in original data, and be organized and published in a way that errors and faults can be corrected. Institutions and the public should be informed about errors that have occurred.

Berlin, 20 May 2006

French

Le classement des établissements et des programmes d’enseignement supérieur est un phénomène mondial. L’exercice de classement est utile à bien des égards : il répond aux demandes des consommateurs de disposer d’informations facilement interprétables concernant la position des établissements d’enseignement supérieur ; il stimule la compétition entre ceux-ci; il fournit une partie des critères d’allocation de fonds; et il aide à différencier les types d’établissements ainsi que les programmes et disciplines. De plus, une fois correctement compris et interprété, il contribue à la définition de la « qualité » des établissements d’enseignement supérieur dans un pays donné, en complétant le travail rigoureux effectué dans le cadre des évaluations de la qualité et des expertises effectuées par des agences d’accréditation publiques et indépendantes. C’est pourquoi les classements des établissements d’enseignement supérieur sont devenus l’un des éléments de responsabilisation et d’assurance qualité au niveau national ; c’est pourquoi ils sont susceptibles de se développer dans de nombreux pays. De ce fait, il est important que ceux qui établissent des classements se sentent responsables de la qualité de leur processus de collecte des données, de la méthodologie utilisée, et de la diffusion des résultats.

Dans cette perspective, un Groupe d’experts internationaux en classements – IREG [International Ranking Expert Group] a été fondé en 2004 par le Centre européen pour l’enseignement supérieur de l’UNESCO (UNESCO-CEPES) de Bucarest et l’Institute for Higher Education Policy de Washington, D.C. C’est à partir de cette initiative que s’est tenue la deuxième réunion de l’IREG (Berlin, les 18-20 mai 2006) afin de formuler un ensemble de principes concernant la qualité et les bonnes pratiques dans les classements des établissements d’enseignement supérieur – appelés les Principes de Berlin sur le classement des établissements d’enseignement supérieur.

On espère que cette initiative établisse un cadre pour l’élaboration et la dissémination des classements – qu’ils aient une portée nationale, régionale ou mondiale – afin de contribuer à un processus d’amélioration et de sophistication continues des méthodologies employées pour établir ces classements. Du fait de l’hétérogénéité des méthodologies des classements, ces principes de bonnes pratiques au niveau des classements seront utiles pour le développement et l’évaluation du processus de classement.

Les classements devraient :

A) Buts et objectifs des classements

1. Etre l’une des nombreuses approches de l’évaluation des ressources, des processus et des résultats de l’enseignement supérieur. Les classements peuvent offrir des informations comparatives et une meilleure compréhension de l’enseignement supérieur, mais ne devraient pas être la méthode principale utilisée pour évaluer ce qu’est, et ce que fait, l’enseignement supérieur. Les classements offrent une perspective basée sur le marché qui peut seulement compléter le travail effectué par le gouvernement, les autorités responsables de l’accréditation, et les agences d’expertise indépendantes.

2. Etre explicites quant à leur objectif et à leurs publics cibles. Les classements doivent être conçus en tenant compte de leur objectif. Les indicateurs élaborés pour atteindre un certain objectif ou pour informer un certain public cible peuvent ne pas être adéquats pour d’autres objectifs ou publics cibles.

3. Reconnaître la diversité des établissements et prendre en considération leurs différentes missions et objectifs. Par exemple, les critères de qualité pour les établissements axés sur la recherche, sont tout à fait différents de ceux qui sont pertinents pour les établissements qui assurent un plus large accès à des communautés défavorisées. Les établissements qui sont classés et les experts qui sont à la base du processus de classement doivent être fréquemment consultés.

4. Etre clairs quant à la gamme de sources d’information employées dans les classements et des informations rendues accessibles par chaque source. La pertinence des résultats des classements dépend des publics qui reçoivent les informations et des sources de ces informations (bases de données, étudiants, enseignants ou employeurs). Une bonne pratique serait de combiner les différentes perspectives fournies par ces sources afin d’obtenir une image plus complète de chaque établissement d’enseignement supérieur inclus dans un classement donné.

5. Indiquer les contextes linguistiques, culturels, économiques et historiques des systèmes d’enseignement qui font l’objet de classements. Les classements internationaux devraient être particulièrement attentifs à toute possibilité de biais et être précis sur leurs objectifs. Les Etats ou les systèmes ne partagent pas tous les mêmes valeurs et croyances concernant ce qui constitue la « qualité » dans les établissements tertiaires, et les systèmes de classement ne devraient pas être conçus dans le but d’imposer des comparaisons inadéquates.

B) Création et pondération des indicateurs

6. Etre transparents quant à la méthodologie employée pour la création de classements. Le choix des méthodes employées pour élaborer les classements devrait être clair et sans équivoque. Cette transparence devrait inclure le calcul des indicateurs ainsi que l’origine des données.

7. Choisir les indicateurs en fonction de leur pertinence et de leur validité. Le choix des données devrait se baser sur la reconnaissance de la capacité de chaque critère à représenter la qualité et les atouts académiques et institutionnels, et non pas sur la disponibilité des données. Les raisons justifiant la prise en compte de chaque type de mesures ainsi que ce qu’elles sont censées représenter doivent être explicités.

8. Mesurer de préférence, et dans la mesure du possible les résultats plutôt que les ressources. Les données concernant les ressources sont pertinentes parce qu’elles reflètent la situation générale d’un établissement donné et sont plus fréquemment disponibles. L’analyse des résultats offre une évaluation plus correcte de la position et/ou de la qualité d’un établissement ou d’un programme donné. Les producteurs de classements devraient s’assurer qu’un juste équilibre est atteint.

9. Mettre en évidence les poids assignés aux différents indicateurs (si employés) et limiter leurs changements. Les changements de poids font que les utilisateurs ont du mal à discerner si le statut d’un établissement ou d’un programme a changé dans la cadre des classements à cause d’une différence inhérente ou du fait d’un changement méthodologique.

C) Collecte et traitement des données

10. Accorder une attention sévère aux standards éthiques et aux recommandations concernant les bonnes pratiques formulées dans ces Principes. Afin d’assurer la crédibilité de chaque classement, les personnes responsables de la collecte et de l’utilisation des données, ainsi que des visites sur place, devraient être aussi objectifs et impartiaux que possible.

11. Utiliser des données auditées et vérifiables chaque fois que cela est possible. Ces données présentent plusieurs avantages, comme le fait qu’elles ont été acceptées par les établissements et qu’elles sont comparables et compatibles entre établissements.

12. Inclure des données qui sont collectées par des procédures appropriées de conformes à la collecte scientifique de données. Les données rassemblées à partir d’un groupe non-représentatif ou incomplet d’étudiants, d’enseignants ou d’autres parties pourraient ne pas représenter un établissement ou un programme, et devraient être exclues.

13. Appliquer des critères d’assurance qualité aux processus mêmes de classement. Ces processus devraient tenir compte des techniques d’évaluation des établissements et mettre à profit ces connaissances pour évaluer les classements eux-mêmes. Les classements devraient être des systèmes d’apprentissage capables d’utiliser ces connaissances pour améliorer leur méthodologie.

14. Appliquer des critères organisationnels qui accroissent la crédibilité des classements. Cela peut comprendre des groupes à vocation de conseil, ou de surveillance, de préférence à participation internationale.

D) Présentation des résultats des classements

15. Offrir aux consommateurs une compréhension claire de l’ensemble des facteurs employés pour la construction d’un classement, ainsi que le choix de la manière dont les classements doivent être présentés. Ainsi, les utilisateurs des classements pourront mieux comprendre les indicateurs utilisés dans le classement d’établissements ou de programmes. De plus, ils devraient avoir la possibilité de faire leurs propres choix quant au poids accordés à ces indicateurs.

16. Etre compilés d’une manière qui élimine ou réduise le nombre d’erreurs au niveau des données d’origine, et être organisés et publiés d’une manière qui permette la correction des erreurs et des fautes potentielles. Les établissements et le public devraient être informés au sujet des erreurs apparues durant le processus.

Berlin, le 20 mai 2006

Polish

Rankingi szkół wyższych i programów studiów są zjawiskiem globalnym. Służą wielu celom: są reakcją na potrzebę posiadania dającej się łatwo interpretować informacji na temat pozycji wyższych uczelni; pobudzają konkurencję miedzy nimi; dają pewne argumenty do przyznawania funduszów; sprzyjają rozróżnianiu różnych rodzajów uczelni, różnych programów i dyscyplin naukowych. Ponadto, jeśli rankingi są właściwie rozumiane i interpretowane, przyczyniają się do określenia “jakości” szkół wyższych w poszczególnych państwach, stanowiąc uzupełnienie wytężonej pracy prowadzonej przez publiczne i niezależne agencje akredytujące w zakresie oceny i kontroli jakości. Z tego powodu rankingi szkół wyższych w poszczególnych państwach należą do grupy procesów i działań zapewniających odpowiedzialność i wysoką jakość kształcenia. Stąd, w coraz większej liczbie państw będą powstawały nowe rankingi. Przy utrzymywaniu się tego trendu, ważne jest, aby instytucje przygotowujące rankingi były odpowiedzialne za wysoką jakość pracy w zakresie zbierania danych, metodologii i upowszechniania.

W związku z powyższym, w 2004 r. Europejskie Centrum Szkolnictwa Wyższego UNESCO (UNESCO-CEPES) w Bukareszcie oraz Instytut Polityki Szkolnictwa Wyższego w Waszyngtonie, DC, powołało Międzynarodową Grupę Ekspercką ds. Rankingów (International Ranking Expert Group – IREG). To właśnie z ich inicjatywy zwołano drugie spotkanie IREG (Berlin 18-20 maja, 2006) w celu rozważenia zasad zapewniających wysoką jakość i stosowanie modelowych rozwiązań w rankingach wyższych uczelni – tj. Berlińskich Zasad dot. Rankingów Szkół Wyższych.

Można się spodziewać, iż dzięki tej inicjatywie stworzono ramy służące wypracowaniu i upowszechnianiu rankingów – niezależnie od ich zasięgu: krajowego, regionalnego czy globalnego – które ostatecznie doprowadzą do wypracowania systemu ciągłego ulepszania i doskonalenia metodologii stosowanej przy przeprowadzaniu rankingów. Przy tak dużej różnorodności stosowanych metodologii, zasady określające modelowe rozwiązania w układaniu rankingów okażą się pożyteczne w ich udoskonalaniu i ocenie.

A) Cele i zadania rankingów

1. Rankingi powinny być jedną z kilku różnych metod służących ocenie stanów wyjściowych, procesów i wyników. Rankingi mogą stanowić źródło informacji porównawczej i lepszego rozeznania w sprawach wykształcenia wyższego, ale nie powinny być główną metodą oceny tego czym jest wykształcenie wyższe i czemu ma służyć. Rankingi dają perspektywę rynkową, która może być uzupełnieniem działań rządu, władz akredytujących i niezależnych agencji kontrolnych.

2. Powinny w sposób jasny przedstawiać cele i potencjalnych adresatów. Układając rankingi należy zwracać należytą uwagę na ich cel. Podawanie wskaźników z myślą o osiągnięciu określonego celu lub poinformowania jednej grupy odbiorców może być niewystarczające dla innych celów lub innych grup docelowych.

3. Powinny odzwierciedlać różnorodny charakter uczelni, uwzględniając różne misje i cele, jakie im przyświecają. Miary jakości służące ocenie np. uczelni o profilu badawczym będą wyglądały zupełnie inaczej niż dla uczelni, które są szeroko dostępne dla środowisk o ograniczonym dostępie do usług i zasobów. Zespoły opracowujące rankingi powinny się często konsultować zarówno z klasyfikowanymi uczelniami, jak i ekspertami, którzy stanowią źródło informacji w procesie tworzenia rankingu.

4. Powinny w sposób jasny przedstawić zakres źródeł informacji służących opracowaniu rankingów oraz rodzaj informacji, jakie każde źródło generuje. Rola i znaczenie wyników list rankingowych zależy od odbiorców otrzymujących informacje i źródeł tych informacji (bazy danych, studenci, profesorowie, pracownicy). Modelowym rozwiązaniem byłoby połączenie różnych punktów widzenia prezentowanych przez te źródła informacji aż do uzyskania bardziej wszechstronnego poglądu na temat każdej wyższej uczelni umieszczonej w rankingu.

5. Powinny określić językowe, kulturowe, gospodarcze i historyczne ramy systemu szkolnictwa wyższego, którego ranking ma dotyczyć. Międzynarodowe rankingi szczególnie powinny wystrzegać się ewentualnych uprzedzeń i bardzo precyzyjnie określać swój cel. Nie wszystkie państwa czy systemy podzielają te same wartości czy przekonanie o tym, co stanowi “wysoką jakość” w szkolnictwie trzeciego szczebla, a systemy rankingowe nie powinny być tworzone w celu wymuszania tego typu porównań.

B) Projektowanie i ważenie wskaźników

6. Przestrzeganie transparentności w zakresie metodologii stosowanej podczas tworzenia rankingów. Metody zastosowane do sporządzania rankingów powinny być jasne i jednoznaczne. Transparentność powinna dotyczyć również obliczania wskaźników i źródeł danych.

7. Wskaźniki powinny być dobierane zgodnie z ich znaczeniem i adekwatnością. W doborze danych nie należy kierować się ich dostępnością, lecz przydatnością każdego pomiaru do informowania o jakości kształcenia, zaletach naukowych i instytucjonalnych uczelni. Należy jasno powiedzieć, dlaczego ranking został sporządzony w oparciu o dane pomiary i o czym pomiary te mają świadczyć.

8. O ile to możliwe, należy mierzyć efekty a nie sytuację wyjściową. Dane dotyczące stanów wyjściowych mają duże znaczenie, gdyż odzwierciedlają ogólny stan danej uczelni i łatwiej je ustalić. Mierzenie efektów stanowi bardziej precyzyjną ocenę pozycji i jakości danej uczelni czy jej programu, zatem osoby ustalające rankingi powinny zadbać o odpowiednią równowagę pomiędzy efektami a stanem wyjściowym.

9. Wagi przypisywane różnym wskaźnikom (jeśli są w ogóle stosowane) należy wyraźnie wyszczególnić i ograniczać zmiany, jakim mają podlegać. Różnicowanie wag utrudnia odbiorcom rozeznanie się czy zmiana pozycji w rankingu danej uczelni lub jej programu wynika z wewnętrznej zmiany jakiej uczelnia lub program podlegały, czy ze zmiany metodologii.

C) Zbieranie i przetwarzanie danych

10. Należytą uwagę należy zwracać na normy etyczne i zalecenia zawarte w modelowych rozwiązaniach określonych w Zasadach. Aby zapewnić wiarygodność każdego rankingu, osoby odpowiedzialne za zbieranie i wykorzystanie danych, oraz przeprowadzające wizyty na miejscu powinny być w najwyższym stopniu obiektywne i bezstronne.

11. O ile to możliwe, należy używać sprawdzonych i sprawdzalnych danych. Wśród zalet takiego podejścia wymienia się to, iż tego typu dane są porównywalne, kompatybilne i akceptowane przez wszystkie uczelnie.

12. Uwzględniać należy tylko takie dane, które zostały zebrane według procedur właściwych dla naukowego zbierania danych. Dane uzyskane od nie reprezentatywnej, lub nierzetelnie dobranej podgrupy studentów, kadry lub innych źródeł mogą niedokładnie przedstawiać uczelnię lub jej program i powinny być wykluczone.

13. Do samego procesu tworzenia rankingu powinno się stosować procedury służące zapewnieniu jakości. Procedury te winny uwzględniać specjalistyczną wiedzę stosowaną do oceny uczelni i używać tej wiedzy do oceny samego rankingu. Rankingi powinny być systemami uczenia się, które nieustannie wykorzystują specjalistyczną wiedzę do opracowywania metodologii.

14. Należy stosować rozwiązania organizacyjne zwiększające wiarygodność rankingów. Do nich zaliczyć można ciała doradcze lub nawet nadzorujące, najlepiej z udziałem uczestników z innych państw.

D) Przedstawianie wyników rankingów

15. Należy jasno wytłumaczyć wszystkie uwarunkowania towarzyszące tworzeniu rankingów i zaproponować odbiorcom różne możliwości prezentacji rankingów. Dzięki temu osoby zainteresowane będą bardziej świadome tego, jakie wskaźniki zostały wykorzystane do uplasowania danej uczelni czy programu w rankingu. Ponadto, odbiorcy powinni mieć okazję do decydowania o tym, w jaki sposób powinno się te wskaźniki ważyć.

16. Rankingi powinny być opracowywane w sposób, który wyeliminuje lub ograniczy błędy w danych początkowych i powinny być tak zorganizowane i opublikowane, aby błędy i niedociągnięcia można było korygować. O powstałych błędach należy poinformować uczelnie jak i społeczeństwo.

Berlin, 20 maja, 2006 r.

Russian

Ранжирование высших учебных заведений, составление таблиц лиг и отдельных программ обучения ВУЗов – явление глобального характера. Они служат многим целям: удовлетворяют потребность потребителей образовательных услуг в легко интерпретируемую информацию о вузе; стимулируют конкуренцию между учебными заведениями; дают рациональную мотивацию для вложения инвестиций; помогают сделать выбор между различными ВУЗами, программами, дисциплинами. Кроме того, при условии правильного понимания и интерпретации, рейтинги содействуют определению «качества» высших учебных заведений в каждой конкретной стране, дополняя строгий научный подход к оценке качества, выполняемой государственными органами и независимыми аккредитационными агентствами. Вот почему ранжирование ВУЗов стало неотъемлемой частью общего плана работ по национальной оценке и процессов обеспечения качества образования. Вот почему все больше и больше стран присоединяется к этой работе. Учитывая данную тенденцию, важно, чтобы организации, разрабатывающие рейтинги и таблицы лиг, отвечали за качество своих данных, методологию и распространение информации.

Принимая во внимание вышеизложенное, в 2004 году Европейским центром по высшему образованию ЮНЕСКО (UNESCO-CEPES, г. Бухарест, Румыния) и Институтом политики в области высшего образования (г. Вашингтон, США) была создана международная экспертная группа по ранжированию (IREG). В рамках этой же инициативы на второй конференции IREG-2 (Берлин, 18-20 мая 2006 г.) было подписано соглашение о принятии принципов качества и надлежащей практики при ранжировании ВУЗов – Берлинские принципы ранжирования высших учебных заведений.

Целью данной инициативы стало создание основной схемы разработки и распространения рейтингов независимо от того, являются ли они национальными, региональными или глобальными, что в конечном счете должно привести к созданию системы непрерывного совершенствования методологии проведения ранжирования. Поскольку методологии проведения рейтингов весьма разнородны, данные принципы надлежащего ранжирования будут полезны для их совершенствования и оценки.

Рейтинги и таблицы лиг должны:

А) Цели и задачи ранжирования:
1.    Быть одним из ряда многообразных подходов к оценке затрат на высшее образование, процессов и результатов сферы высшего образования. Ранжирование служит средством получения информации для сравнения и лучшего понимания высшего образования; они не должны быть основным методом оценки высшего образования. Ранжирование обеспечивает перспективу с точки зрения рыночной экономики, дополняя работу, проводимую государством, аккредитационными органами и независимыми агентствами по оценке качества.
2.    Ясно представлять задачи и целевую аудиторию. Ранжирование должно осуществляться в строгом соответствии с задачами. Индикаторы, разработанные для определенной задачи или целевой аудитории, не пригодны в иных случаях.
3.    Признавать разнообразие учебных заведений и принимать во внимание различие их миссий и задач. Оценка качества исследовательских университетов в корне отличается от оценки вузов, дающих массовое высшее образование, ориентированных на определенный регион. Следует постоянно проводить консультации как с вузами, так и с экспертами, проводящими ранжирование.
4.    Обеспечить ясность спектра источников, которые представляют информацию для ранжирования, и индикаторов, полученных на основе каждого из ресурсов. Актуальность результатов ранжирования зависит от того, на какую аудиторию оно рассчитано и от источников информации (базы данных, студенты, преподаватели, работодатели). В идеале следовало бы комбинировать всю информацию, поступающую из разных источников, каждый из которых имеет собственную перспективу обзора. В результате мы получили бы более полную и законченную информацию о вузе, включаемом в рейтинг.
5.    Учитывать лингвистический, культурный, экономический и исторический контекст системы высшего образования, проходящей ранжирование. Особенно следует учитывать все, даже косвенные факторы при сопоставлении международных рейтингов и четко определять их цели и задачи. Не все страны и системы образования единодушны в своих взглядах на то, что представляет из себя «качество» обучения в вузах, и рейтинги не предназначены для того, чтобы нагнетать такого рода сравнения.

В) Разработка индикаторов и их весов
6.    Обеспечивать прозрачность используемой методологии составления рейтинга. Выбор методов, используемых в ходе ранжирования, должен быть ясным и однозначным. Прозрачность должна охватывать как подсчет индикаторов, так и источники данных.
7.    Выбирать индикаторы соответственно их релевантности и валидности. Выбор данных должен быть основан не на их доступности, а на показателях, способных отображать качество, а также академические и институциональные сильные стороны. Должно быть понятно, почему Вы включили именно эти показатели и что они отображают.
8.    Отдавать предпочтение по возможности показателям достигнутых результатов, а не исходным ресурсам. Исходные ресурсы представляют важность, поскольку дают общее представление об учебном заведении и зачастую более доступны. Показатели достигнутых результатов обеспечивают более точную оценку состояния и/или качества учебного заведения или программы, и составители рейтингов должны обеспечить надлежащий баланс индикаторов.
9.    Четко определять методы оценки различных индикаторов и по возможности ограничить изменения в них. Перемены в методах оценки вводят в заблуждение всех, кто пользуется рейтингами. Им трудно понять, в чем лежит причина того, что статус вуза или программы в ранжировании изменился – связано ли это с самим вузом или вызвано переменами в методологии проведения ранжирования.

С) Сбор и обработка данных
10.    Обращать должное внимание на этические стандарты и рекомендации надлежащей практики, сформулированные в данных Принципах. Чтобы рейтинги пользовались доверием, лица, ответственные за сбор и обработку данных и их проверку в ходе посещения вуза, должны сохранять объективность и беспристрастность.
11.    Использовать по возможности проверенные и уточненные данные. Такие данные имеют ряд преимуществ, включая и тот факт, что вузы уже знакомы с ними, и они поддаются сравнению.
12.    Использовать данные, собранные в соответствии с установленной процедурой, применимые к сбору информации в рамках научных исследований. Данные, собранные от ограниченного количества студентов, преподавателей и иных сторон, являются нерепрезентативными качества образования и их следует исключить.
13.    Применять меры по обеспечению качества к самим процессам ранжирования. Данные процессы должны учитывать опыт, полученный в ходе оценки ВУЗов, и использовать его для оценки самого рейтинга. Рейтинги должны стать обучающими системами, постоянно использующими опыт для разработки методологии.
14.    Применять организационные методы, повышающие достоверность ранжирования. В число этих мероприятий необходимо включить создание органов, оказывающих методическую помощь и даже контроль, предпочтительно, чтобы они работали с участием международных экспертов.

D) Презентация результатов ранжирования
15. Обеспечить потребителей ясным пониманием всех факторов, задействованных при составлении рейтинга, и предложить им выбор формы презентации результатов рейтингов. Таким образом, пользователи рейтингов будут лучше понимать, почему те или иные индикаторы используются при ранжировании ВУЗов или программ, и иметь возможность принять собственное решение о том, какой удельный вес должны иметь различные индикаторы.
16. Результаты ранжирования должны быть составлены и опубликованы таким образом, чтобы исключить или минимизировать ошибки в представляемых данных, а также обеспечивать возможность исправления допущенных ошибок. Если ошибки допущены, то ВУЗы и общественность должны быть информированы о них незамедлительно.

Берлин, 20 мая 2006 г.

Chinese

高等教育机构排名的柏林原则

高等教育机构以及分专业的排名是一种全球现象。它们服务于多种目地：排名试图满足客户了解高等教育机构的声望信息的需要；激发高等教育机构之间的竞争；为资源配置提供依据；有助于人们区分不同类型的高等教育机构及学科专业。此外，在排名得到正确的理解和解读时，它们可以被用来判断特定国家内高等教育机构的“质量”，作为对各种官方和民间的质量评估的补充。因此，高等教育机构排名正成为各国大学的责任报告和质量保障的一部分，越来越多的国家也希望看到大学排名的不断改善和提高。在这个趋势下，排名机构负责地进行数据收集、方法设计和结果公布是非常重要的。
在这种背景下，联合国教科文组织－欧洲高等教育研究中心和华盛顿高等教育政策研究所于2004年共同发起成立了大学排名国际专家组（International Ranking Expert Group, IREG）。2006年5月18至20日在柏林召开的IREG第二次会议上，讨论通过了一系列高等教育排名的质量原则和操作范例——“高等教育机构排名的柏林原则”（Berlin Principles on Ranking of Higher Education Institutions）。
我们希望这项工作可以为各国、地区和全球性排名的制作和发布提供基本框架，最终形成一个使排名方法可以得到持续提高和完善的机制。虽然各个排名采用的方法差异巨大，但是这些原则将会对排名的改善和评价发挥积极作用。

排名应该：

A)    排名的目的
1．    排名应该成为对高等教育的投入、过程和产出评价的众多方法中的一种。排名可以提供有关高等教育的可比信息和对高等教育更深入的了解，但是不应该成为判断高等教育是什么和做什么的主要标准。排名是从市场的角度来看待高等教育机构，这可以作为政府、认证机构以及其它独立评价机构所从事工作的补充。
2．    排名应该明确自己的目的和目标群体。排名的设计应该和目的相一致。为特定目的或特定群体而设计的指标可能并不适合其它目的或目标群体。
3．    排名应该认识到高等教育机构的多样性并考虑到它们不同的使命和目标。例如，对研究导向型院校和面向大众化教育的普通院校的质量评价标准就截然不同。排名应该经常咨询被排名院校和相关专家的意见。
4．    排名应该清楚数据来源范围和数据背后的含义。排名结果的可靠性取决于对信息的加工和信息的来源（比如数据库、学生、教师、雇主等）。好的做法应该是将来源于不同渠道、代表不同立场的数据组合起来，从而形成一个对被排名院校的更全面的看法。
5．    排名应该考虑被排名院校所处教育体系的语言的、文化的、经济的以及历史的背景。特别是国际排名应该意识到可能产生的偏向以及结果的精确性。并不是所有的国家和教育体系在对第三级教育机构的“质量”认定上都有共同的价值取向，排名系统不应该被设计用来强制进行这种比较。

B)    指标设计与权重分配
6．    排名方法应当清楚透明。排名方法的选择应该清楚、明确。透明包括指标的计算和数据的来源。
7．    指标的选择应该基于指标的恰当性和有效性。数据的选择应该基于对质量和学术优劣的各种评价指标的认识，而不是仅仅考虑数据的可获取性。排名应当明确告知为什么包括这些指标和这些指标反映的是什么。
8．    尽可能优先评价产出而不是投入。投入数据反映的是机构现有的、全面的情况并且通常都可以获取。然而，产出评价是对特定机构或专业的声望和/或质量更为精确的评价，排名的完成者应该确保这两者的权重达到恰当的平衡。
9．    指标的权重分配（如果有的话）应该非常明确并且尽量保持稳定。权重的变化会使顾客难以明确地判断究竟是实力的变化还是排名方法的变化导致了机构或专业的位次变化。

C)    数据的收集与处理
10．     排名应该有一定的道德标准并吸收好的操作方法。为确保每个排名的可靠性，数据的收集、使用和网络访问的提供应该尽可能的客观和公正。
11．    排名应该尽可能地使用审核过的、可核实的数据。这样的数据有许多优势：比如机构已经接受了这些数据，这些数据在机构间是可比的、口径是一致的。
12．    排名使用的数据应该是按照科学的数据收集过程所获得的。从不具代表性的或有缺陷的样本（学生、教师或其他群体）中获得的数据可能不能准确地反映一所机构或专业的实际状况，这样的数据不应被用于排名。
13．    运用各种手段对排名活动本身进行质量保障。应该考虑采用评价高等教育机构的方法去评价排名本身。排名应该不断的根据专业意见去改进排名方法。
14．    采用体制性的措施增强排名的可靠性。这些举措可以包括设置顾问委员会甚至是监督委员会，委员会成员中最好包括一些国际专家。

D)    排名结果的公布
15．    提供有关排名制作的所有信息，使得客户能清楚的理解排名是如何得到的，并且允许客户自由选择排名结果的展示方式。这样排名的使用者可以更好地理解用于排名的指标。此外，他们有机会自行决定指标的权重分配方案。
16．    通过一定的处理消除或降低原始数据中的误差，并且通过恰当的组织和公布方法使得错误可以被校正。机构和公众应该被告知排名中曾犯过的错误。

柏林，2006年5月20日

German

(Berlin, 20. Mai 2006)Rankings und “League tables” von Hochschulen sind ein globales Phänomen geworden. Sie folgen unterschiedlichen Zielsetzungen: Sie erfüllen den Bedarf von Konsumenten nach einfach aufbereiteter Information über Hochschulen; sie stimulieren den Wettbewerb unter Hochschulen; sie bieten Anhaltspunkte für die Verteilung von Mitteln und sie helfen, zwischen verschiedenen Typen von Hochschule sowie zwischen Studiengängen und Disziplinen zu unterscheiden. Zusätzlich könne sie, wenn sie richtig genutzt und interpretiert werden, auch zur Definition von „Qualität“ von Hochschulen beitragen und somit eine wichtige Ergänzung der Qualitätssicherung sein ,wie sie von staatlichen und unabhängigen Agenturen durchgeführt wird.

Dies hat dazu beigetragen, dass Rankings in vielen Ländern ein Teil des Systems der Qualitätsbewertung von Hochschulen geworden sind. Es ist zu erwarten, dass in einer wachsenden Zahl von Ländern Hochschulrankings entstehen. Mit Blick auf diese Entwicklung ist es wichtig, dass sich diejenigen, die Rankings erstellen, selbst der Verantwortung für die Qualität der Rankings bewusst sind – mit Blick auf Datenerhebung, Methodik und Verbreitung der Ranking-Ergebnisse.

Vor diesem Hintergrund wurde 2004 vom UNESCO European Centre for Higher Education (UNESCO-CEPERS) und vom Institue for Higher Education Policy in Washington, DC die „International Ranking Expert Group (UREG) gegründet. Im Rahmen dieser Initiative wurden während des zweiten Treffens von IREG (vom 18. Bis 20.Mai 2006 in Berlin) eine Sammlung von Prinzipien für gute Ranking-Praxis vorgestellt – die the Berlin Principles on Ranking of Higher Education Institutions.

Es ist zu erwarten, dass diese Initiative einen Rahmen hat für die weitere Entwicklung von Rankings – seien sie national, regional oder global – geschaffen hat, der letztlich zu einer kontinuierlichen Verbesserung und Verfeinerung der Methoden von Hochschulrankings führt.
Angesichts der Unterschiedlichkeit der Methoden von Rankings, werden die hier vorgestellten Prinzipien für die Verbesserung und für die Bewertung von Rankings nützlich sein.

Hochschulrankings sollten:

A) Ziele und Funktionen von Rankings
1.    eines unter mehreren Instrumenten zur Bewertung der Inputs, Prozesse und Outputs von Hochschulen sein. Rankings können vergleichende Informationen über Hochschulen bereitstellen und zu einem verbesserten Verständnis von tertiärer Bildung beitragen, sollten aber nicht die dominierende Methode zur Bewertung von Hochschulen sein. Rankings liefern eine markt-orientierte Perspektive, die die Arbeit von Regierungen, Akkreditierungseinrichtungen und unabhängiger Evaluations-Agenturen ergänzen können.
2.    ihre Zielsetzung und Zielgruppen klar benennen. Rankings müssen mit Blick auf ihre Zielsetzung konzipiert werden. Indikatoren, die entwickelt wurden, um eine bestimmte Zielsetzung zu verfolgen bzw. Informationen für eine spezifische Zielgruppe zu liefern, sind für andere Zielsetzungen und Zielgruppen möglicherweise inadäquat.
3.    die Heterogenität von Hochschulen anerkennen und die Unterschiedlichkeit der Ziele und Profile von Hochschulen berücksichtigen. Qualitätsindikatoren für forschungsorientierte Hochschulen sind andere als für Hochschulen, die einen breiten Bildungszugang im regionalen Kontext gewährleisten wollen. Der Sachverstand der gerankten Institutionen und von Experten sollte in die Konzeption von Rankings eingebunden werden.
4.    ihre Datenquellen klar herausstellen und deren Aussagefähigkeit thematisieren. Die Relevanz von Ranking-Ergebnissen hängt von ihrer Zielgruppe und ihren Datenquellen (z.B. statistische Datenbestände, Umfragen unter Studierenden, Professoren, Arbeitgeben). Gute Praxis zeichnet sich durch die Kombination verschiedener Perspektiven aus, um ein vielschichtigeres Bild der komplexen Leistungen von Hochschulen zeichnen zu können. .
5.    den sprachlichen, kulturellen, ökonomischen und historischen Kontext der Hochschulsysteme spezifizieren, die sie umfassen. Insbesondere internationale Rankings sollten sich möglicher Verzerrungen bewusst sein. Nicht alle Hochschulsysteme teilen die selben Werte und Vorstellungen hinsichtlich der Bestimmung von „Qualität“ tertiärer Bildung. .

B) Konzeption und Gewichtung von Indikatoren
6.    ihre Methodik transparent machen. Die Methodik sollte klar und unwidersprüchlich sein. Die TRansparenz soll sich auf die Berechnung der Indikatoren ebenso wie auf den Ursprung der Daten beziehen. Be transparent regarding the methodology used for creating the rankings.
7.    ihre Indikatoren nach Kriterien der Relevanz und Validität auswählen. Die Auswahl der Daten sollte an ihrer Aussagefähigkeit hinsichtlich der Leistung von Hochschulen orientiert sein, nicht allein an der Verfügbarkeit von Daten. Rankings sollten klar heraus stellen, warum Indikatorne einbezogen sind und wofür sie stehen sollen.
8.    soweit wie möglich Output-Größen messen. Input-Indikatoren sind wichtig, insofern sie die allgemeinen (Studien-)Bedingungen von Hochschulen widerspiegeln und meist besser verfügbar sind. Ouput-Indikatoren können jedoch einen besseren Einblick in die Leistungsfähigkeit von Institutionen und Studiengängen bieten; die Anbieter von Rankings sollten auf eine ausgewogene Balance zwischen Input- und Output-Indikatoren achten..
9.   – soweit sie ihre Indikatoren gewichten – deren Gewichte transparent machen und Veränderungen der Gewichtungen minimieren. Veränderungen in der Gewichtung der Indikatoren erschweren den Nutzern die Interpretation von Veränderungen in Ranking-Ergebnissen; sie machen es schwer, zu erkennen, ob Veränderungen auf wirkliche Veränderungen an den Hochschulen oder auf eine veränderte Methodik zurückzuführen sind.

C) Erhebung und Aufbereitung der Daten
10.    ethische Standrads und die hier entwickelten Prinzipien beachten. Um die Glaubwürdigkeit von Rankings zu gewährleisten, sollten diejenigen, die die Daten für Hochschulrankings erheben, so unabhängig und neutral wie möglich sein.
11.    so weit wie möglich bestätigte und verifizierbare Daten nutzen. Solche Daten haben eine Reihe von Vorteilen, so z.B. die Tatsache, dass sie von den einbezogenen Institutionen anerkannt sind und dass sie wirklich vergleichbar sind.
12.    sollten nur Daten zu Grunde legen, die nach den Standards wissenschaftlicher Datenerhebung gewonnen worden sind. Daten aus nicht-repräsentativen oder verzerrten Stichproben von Studierenden, Lehrenden oder andren Grundgesamtheiten sollten nicht verwendet werden. Include data that are collected with proper procedures for scientific data collection.
13.    sollten selbst Mechanismen und Verfahren zur Qualitätssicherung anwenden. Hierzu zählt die Expertise aus Evaluationen im Hochschulbereich; diese sollte genutzt werden, die Rankings selbst zu evaluieren. Rankings sollten als lernende Systeme konzipiert sein, die ihre Methodik kontinuierlich unter Einschluss externern Sachverstandes.
14.    sollten organisatorische Maßnahmen ergreifen, die ihre Glaubwürdigkeit erhöhen. Hierzu können z.B. beratende Beiräte und Steuerungsgruppen gehören; vorzugsweise mit internationaler Beteiligung.

D) Veröffentlichung von Ranking-Ergbnissen
15. sollten für die Nutzer alle Faktoren transparent machen, die zur Enstehuing des Rankings beigetragen haben und ihnen die mehrere Möglichkeit geben, die Ergebnisse zu nutzen. Zudem sollten die Nutzer die Möglichkeit haben, eigene Entscheidungen hinsichtlöich der Relevanz und Gewichtung von Indikatoren zu treffen.
16. sollten in einer Weise erstellt werden, die die Häufigkeit von Fehlern in den Daten auf ein Minimum reduziert; sie sollten in einer Weise publiziert werden, dass Fehler korrigiert werden können. Hochschulen und Öffentlichkeit sollten über Fehler informiert werden.

Arabic

مبادئ برلين عن تصنيفات مؤسسات التعليم العالي

أصبح تصنيف الجامعات وجداول تقييم مؤسسات التعليم العالي وبرامجها الأكاديمية ظاهرة عالميةً، وذلك لأنها تخدم أغراضا كثيرة: فهي تلبي رغبات المهتمين وطلاب العلم بالحصول على معلومات دقيقة لمعرفة مكانة وتصنيف مؤسسات التعليم العالي، بل وتحفز المنافسة فيما بينها، وتوفر بعض الأسس المنطقية لتخصيص ميزانياتها، وتساعد على التفريق بين المؤسسات والبرامج الأكاديمية والتخصصات المختلفة، وبالإضافة إلى ذلك، تساهم في تعريف “نوعية” مؤسسات التعليم العالي في بلد معين على المستوى المحلي والإقليمي والعالمي، وتساهم في استكمال العمل الذي يجرى في سياق تقييم الجودة وحسن الأداء بما يرقي بالمؤسسات الى الاعتماد من قبل هيئات الإعتماد الوطنية والمستقلة. وبهذا أصبحت تصنيفات مؤسسات التعليم العالي جزءا من إطار المساءلة الوطنية وعمليات ضمان الجودة في أي دولة. ومن المرجح أن تشهد الدول ظهور المزيد من التصنيفات الجديدة والمطورة في المستقبل. ونظرا لهذا التوجه، فمن المهم أن تتحمل الجهات التي تنتج تصنيفات وجداول التقييم مسؤوليات الجودة في جمع البيانات والمنهجية ومخرجات التصنيفات.

في ضوء ما سبق، تم تأسيس فريق خبراء التصنيف العالمي (IREG) في عام 2004م من قبل مركز اليونسكو الأوروبي للتعليم العالي في بوخارست (UNESCO-CEPES) ومعهد سياسات التعليم العالي في العاصمة واشنطن. ونتج عن هذه المبادرة انعقاد الاجتماع الثاني لفريق الخبراء في برلين (18-20 مايو ، 2006م) للنظر في مجموعة من معايير الجودة والممارسات المثلى في تصنيفات مؤسسات التعليم العالي، عرفت بمبادئ برلين عن تصنيفات مؤسسات التعليم العالي.

ومن المتوقع أن هذه المبادرة وضعت إطارا لبلورة ونشر تصنيفات (محلية أو إقليمية أو عالمية) من شأنها أن تؤدي في نهاية المطاف إلى استنباط نظاماً أمثل ومعياراً أدق للتحسين المستمروالتقنية الفاعلة وصقل المنهجيات المستخدمة لاجراء التصنيفات. ونظراً لما تعانيه منهجيات وآليات التصنيف الحالية من عدم تجانس وشتات، فإن مبادئ ومعايير الجودة للممارسات المثلى في تصنيفات مؤسسات التعليم العالي، والتي تمخضت عن اجتماع برلين ستكون مفيدة في تحسين وجودة مخرجات التصنيفات.

فالمبادئ والمعايير التي يجب أن تكون عليها التصنيفات وجداول الترتيب هي:

أ) أغراض وأهداف التصنيفات.

1- أن يكون التصنيف واحداً من جملة سبل مختلفة لتقييم مدخلات وعمليات ومخرجات المؤسسة المعنية بالتعليم العالي. ويمكن أن يوفر التصنيف من خلاله معلومات تمكن من المقارنة بين المؤسسة ونظيراتها وتحسين الفهم للتعليم العالي، ولكن لا ينبغى أن يكون التصنيف هو الوسيلة الرئيسية لتقييم التعليم العالي وكيف ينبغي أن يكون. ويوفر التصنيف منظورا قائما على احتياجات سوق العمل ليكون مكملا لعمل الحكومة وجهات الاعتماد ووكالات التقييم المستقلة.

2- شفافية أهداف التصنيف وجهاتها المستهدفة. يجب أن تكون التصنيفات مصممة لتتناسب مع الغرض منها. فالمؤشرات المصممة لتلبية هدف معين أو لإبلاغ فريق محدد هدفا محددا قد لا تكون كافية أو مناسبة لأهداف مختلفة أو لفئات مستهدفة أخرى.

3- الاعتراف بتنوع المؤسسات الأكاديمية والأخذ في الإعتبار الإختلافات في رسالة كل منها والهدف الذي أنشئت من أجله. فعلى سبيل المثال، إن معايير الجودة للمؤسسات الموجهة نحو اجراء البحث العلمي يجب أن تختلف تماماً عن تلك التي تتناسب مع المؤسسات التي توفر قاعدة تعليمية في المجتمعات الفقيرة. وينبغي استشارة المؤسسات التي يتم تصنيفها من قبل خبراء التصنيف بإستمرار.

4- الافصاح بوضوح عن مصادر المعلومات التي يتم تصنيف المؤسسة استناداً اليها والرسالة التي ينشدها كل مصدر من هذه المصادر. فأهمية نتائج التصنيف تعتمد على الجهات التي تتلقى المعلومات ومصادر تلك المعلومات (مثل قواعد البيانات والطلاب والأساتذة وأرباب العمل). والممارسات المثلى تكون في الجمع بين وجهات النظر المختلفة التي تقدمها تلك المصادر من أجل الحصول على رؤية أكثر تكاملا عن كل مؤسسة للتعليم العالي مدرجة في التصنيف.

5- تشخيص واحترام السياقات اللغوية والثقافية والاقتصادية والتاريخية للنظم التعليمية المزمع تصنيف مؤسساتها التعليمية. فالتصنيفات الدولية على وجه الخصوص يجب أن تكون على دراية كاملة بإحتمالات التحيز في النتائج وان تكون دقيقة في الهدف من إجراءها. فلا تشترك كل الأمم أو الأنظمة التعليمية في نفس القيم والمفاهيم حول مصطلح “الجودة” في مؤسسات تعليمها العالي، وأنظمة التصنيف لايجب أن تفرض مثل هذه المقارنات.

ب) تصميم وترجيح مؤشرات القياس.

6- الشفافية المطلقة حول المنهجية المتبعة لإنشاء التصنيف العالمي. فعند اختيار الأساليب المستخدمة في إعداد التصنيف العالمي ينبغي أن تكون واضحة لا لبس فيها. وينبغي أن تشمل هذه الشفافية حساب المؤشرات وكذلك مصدر هذه البيانات والمعلومات.

7- اختيار المؤشرات وفقا لأهميتها وصلاحيتها. اختيار البيانات يجب أن يرتكز على قدرة كل معيار على قياس القوة والجودة الأكاديمية والمؤسسية، وليس على سهولة الحصول على البيانات. ويلزم الوضوح حول أسباب تضمين تلك البيانات في التصنيف وماذا تمثل.

8- قياس المخرجات بالمفاضلة مع المدخلات كلما أمكن ذلك. البيانات المدخلة يجب أن تكون ذات صلة لأنها تعبر عن الحالة العامة لمؤسسة معينة وتتوفر على نحو أكثر تواترا. قياس المخرجات يقدم تقييم أكثر دقة عن مكانة و/أو نوعية مؤسسة معينة أو برنامج محدد، ويجب على القائمين على التصنيف ضمان تحقيق التوازن المناسب.

9- ثبات الأوزان المخصصة للمؤشرات المختلفة (في حال استخدامها) والحد من تغييرها.
فالتغيير في أوزان المؤشرات يجعل من الصعب للمهتمين التمييز ما اذا كان ترتيب المؤسسة أو البرنامج قد تغير في التصنيف بسبب اختلاف أساسي متأصل فيها أو بسبب تغيير في منهجية التصنيف ذاته.

ج) جمع ومعالجة البيانات.

10- الاهتمام بالمعايير الأخلاقية و توصيات الممارسات الجيدة في بلورة مبادئ التصنيف. من أجل ضمان مصداقية كل تصنيف ينبغي أن يكون المسؤولين عن جمع واستخدام البيانات والقائمين بالزيارات في مواقع المؤسسات التعليمية موضوعيون ومحايدون قدر الإمكان.

11- استخدام البيانات المدققة والتي يمكن التحقق منها كلما أمكن ذلك. فهذه البيانات لها العديد من المزايا، بما في ذلك الجزم بأنها معتمدة من قبل المؤسسات وأنها قابلة للمقارنة ومتوافقة عبر المؤسسات المختلفة.

12- اضافة البيانات التي تم جمعها بإتخاذ الإجراءات المناسبة لجمع البيانات العلمية. فالبيانات التي تم جمعها من مجموعة فرعية أو من عدد من الطلاب وأعضاء هيئة التدريس، أو من أطراف أخرى خارج المؤسسة قد لاتمثل كامل المؤسسة أو البرنامج و ينبغي استبعادها من التصنيف.

13- تطبيق التدابير اللازمة لضمان الجودة في عمليات التصنيف ذاتها. ينبغي لهذه العمليات أن تأخذ في الحسبان الخبرات التي يتم تطبيقها لتقييم المؤسسات واستخدام هذه المعرفة لتقييم التصنيف نفسه. فينبغي أن تكون التصنيفات وبشكل مستمر نظم للتعلم والاستفادة من هذه الخبرة لتطوير منهجية التصنيف.

14- تطبيق التدابير التنظيمية التي تعزز مصداقية التصنيف. ويمكن أن تشمل هذه التدابير الهيئات الاستشارية أو حتى الإشرافية، ويفضل مع بعض المشاركة الدولية .

د) عرض نتائج التصنيف.

15- تزويد المعنيين بشرح واضح لجميع العوامل المستخدمة في وضع التصنيف، وتوفير خيارات لكيفية عرض نتائج التصنيف. بهذه الطريقة فإن لدى مستخدمي التصنيفات فهم أفضل للمؤشرات التي يتم استخدامها لتصنيف المؤسسات أو البرامج. بالإضافة إلى ذلك يتيح لهم الفرصة لاتخاذ قراراتهم الخاصة حول الكيفية التي يتم فيها وزن هذه المؤشرات .

16- تجميع النتائج بطريقة تلغي أو تقلل الأخطاء في البيانات الأصلية، وتنظيم ونشر النتائج بطريقة يمكن بها تصحيح الأخطاء والعيوب في حال حدوثها. وينبغي إبلاغ المؤسسات والرأي العام حول الأخطاء التي حدثت.

Portuguese

Rankings e tabelas de classificação das instituições de ensino superior (IES) e de programas de ensino são um fenômeno global. Os rankings servem diversos propósitos: respondem a demandas dos consumidores por informações facilmente interpretáveis sobre a situação das instituições de ensino superior, estimulam a competição entre elas; proporcionam um tipo de princípio lógico para alocação de verbas, [e] ajudam a diferenciar tipos de instituição, programas e disciplinas. Além disso, quando corretamente entendidos e interpretados, contribuem para a definição de “qualidade” das instituições de ensino superior em um determinado país, complementando o trabalho rigoroso conduzido no contexto de avaliação e revisão de qualidade feito por agências de credenciamento públicas e independentes. É por isso que rankings de instituições de ensino superior e os processos de garantia de qualidade passaram a fazer parte do quadro de responsabilidades de cada pais, e por isso cada vez mais países investem no desenvolvimento de rankings. Dada esta tendência, é importante que quem produz rankings se responsabilize pela qualidade na coleta de informações, na metodologia e na sua disseminação.

É por isso que o International Ranking Expert Group (IREG) foi fundado em 2004 pelo Centro Europeu de Educação Superior (UNESCO-CEPES) em Bucareste e pelo Instituto de Política de Educação Superior, em Washington, DC. Por causa desta iniciativa foi convocada a segunda reunião do IREG (Berlim, de 18 a 20 de maio de 2006) para considerar um conjunto de princípios de qualidade e boas práticas em elaboração de rankings IES – os Princípios de Berlim para rankings de Instituições de Educação Superior.

Espera-se com esta iniciativa ter estabelecido um quadro para a elaboração e divulgação dos rankings – sejam eles nacionais, regionais ou de âmbito mundial – que, finalmente, vai levar a um sistema de melhoria contínua e aperfeiçoamento das metodologias utilizadas para realizar estas classificações. Dada a heterogeneidade de metodologias de rankings, estes princípios de boas práticas de classificação serão úteis para a melhoria e avaliação de rankings.

Rankings e tabelas classificativas devem:

A) Objetivos e Metas dos Rankings

1. Ser uma entre várias, diferentes abordagens para a avaliação do ensino superior. Rankings podem fornecer informações comparativas e uma melhor compreensão do ensino superior, mas não devem ser o principal método para avaliar uma instituição de ensino superior. Rankings fornecem uma perspetiva baseada no mercado que pode complementar o trabalho do governo, das instituições de acreditação e das agências de avaliação independentes.
2. Ser claros quanto ao propósito e ao público ao qual estão dirigidos. Os indicadores utilizados para atender um objetivo específico ou para informar um público-alvo podem não ser adequados para diferentes fins, ou grupos-alvo.
3. Reconhecer a diversidade das instituições e levar em conta diferentes missões e objetivos. Medidas de qualidade para as instituições voltadas para a pesquisa, por exemplo, são bastante diferentes daqueles que são apropriados para as instituições que oferecem amplo acesso às comunidades carentes. As instituições que estão sendo classificadas e os peritos que assistem ao processo de classificação devem ser consultados frequentemente.
4. Ser claros sobre as fontes de informação e o seu significado. A relevância dos resultados de classificação depende do público que recebe as informações e as fontes dessas informações (tais como bases de dados, os alunos, professores, entidades empregadoras). Uma boa prática seria combinar diferentes perspetivas fornecidas por essas fontes, a fim de obter uma visão mais completa de cada instituição de ensino superior incluída no ranking.
5. Especificar os contextos linguístico, cultural, econômico e histórico do sistema avaliado. Rankings internacionais, em particular, devem estar atentos à possibilidade de viés e ser precisos na determinação do seu objetivo. Nem todas as nações ou sistemas compartilham os mesmos valores e crenças sobre o que constitui a “qualidade” em instituições de ensino superior, e os sistemas de classificação não devem ser concebidos para forçar essas comparações.

B) Escolha e o peso dos indicadores

6. Deve haver transparência da metodologia. A escolha dos métodos usados para preparar rankings deve ser clara e inequívoca. Esta transparência deve incluir o cálculo dos indicadores, bem como a origem dos dados.
7. Escolha de indicadores de acordo com sua relevância e validade. A escolha dos dados deve ser baseada no reconhecimento da capacidade de cada medida para representar a qualidade acadêmica e forças institucionais, e não sobre disponibilidade de dados. Seja claro sobre o porquê de as medidas foram incluídos eo que eles pretendem representar.
8. Preferência por mensurar resultados. Os dados sobre os insumos são relevantes, pois refletem a condição geral de um determinado estabelecimento e são mais freqüentemente disponíveis. Medidas de resultados fornecem uma avaliação mais precisa da posição e / ou a qualidade de uma determinada instituição ou programa. Os compiladores de rankings devem garantir que um equilíbrio adequado é alcançado.
9. Destaque para os pesos atribuídos aos indicadores (se usados) e limitação das mudanças feitas neles. Mudanças nos pesos tornam difícil para os consumidores a entender se a posição do programa ou da instituição mudou no ranking devido a uma diferença inerente ou devido a uma mudança metodológica.

C) Coleta e processamento de informações

10. Deve-se respeitar os padrões éticos e as recomendações de boas práticas destes Princípios. A fim de assegurar a credibilidade de cada ranking, os responsáveis pela coleta e uso de dados e realização de visitas in loco devem ser os mais objetivos e imparciais possível.
11. Usar informações auditáveis e verificáveis sempre que possível. Tais dados têm várias vantagens, incluindo o fato de que foram aceites por instituições e que são comparáveis e compatíveis entre as instituições.
12. Incluir informações obtidas conforme os procedimentos adequados à coleta científica de dados. Os dados coletados a partir de um subconjunto não representativo ou distorcido de estudantes, professores ou outras partes podem não representar uma instituição ou programa e devem ser excluídos.
13. Aplicar medidas de garantia de qualidade aos processos do próprio ranking. Os processos utilizados para avaliar as instituições devem ser usados para avaliar o próprio ranking. Rankings devem ser continuamente sistematizados para desenvolver uma melhor metodologia.
14. Aplicar medidas organizacionais para aprimorar a credibilidade. Estas medidas podem incluir órgãos consultivos ou mesmo de supervisão, de preferência com alguma participação internacional.

D) Apresentação dos Resultados no ranking

15. O ranking deve proporcionar aos consumidores uma compreensão clara de todos os fatores usados na sua elaboração e oferecer escolhas na forma de apresentação. Dessa forma, os usuários dos rankings terão uma melhor compreensão dos indicadores que são utilizados para classificar as instituições ou programas. Além disso, devem ter uma oportunidade de tomar suas próprias decisões sobre como esses indicadores devem ser ponderados.
16. Ser compilado de modo a eliminar ou reduzir erros nos dados originais e ser organizado e apresentado de forma tal que erros e falhas possam ser corrigidos. As instituições e o público deve ser informado sobre os erros que ocorreram.

Berlin, 20 de maio de 2006

IREG Approved

Perspektywy University Ranking (Poland)

CHE University Ranking (Germany)

Russian University Ranking (Russian Federation)

QS World University Rankings

QS University Rankings Asia

QS University Rankings Latin America

National ranking of higher educational institutions of the Republic of Kazakhstan

How To Apply

IREG SEAL OF APPROVAL

Coordinator

Thomas D. Parker

Berlin Principles

BERLIN PRINCIPLES ON RANKING OF HIGHER EDUCATION INSTITUTIONS

LES PRINCIPES DE BERLIN SUR LE CLASSEMENT DES ÉTABLISSEMENTS D’ENSEIGNEMENT SUPÉRIEUR

BERLIŃSKIE ZASADY DOT. RANKINGÓW SZKÓŁ WYŻSZYCH

БЕРЛИНСКИЕ ПРИНЦИПЫ РАНЖИРОВАНИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ

BERLIN PRINCIPLES ON RANKING OF HIGHER EDUCATION INSTITUTIONS

مبادئ برلين

PRINCÍPIOS DE BERLIN PARA RANKINGS DE INSTITUIÇÕES DE EDUCAÇÃO SUPERIOR