Нужен ли нам суверенный рейтинг университетов БРИКС

Весной 2024 года МГУ им. М. В. Ломоносова вошел в топ-100 лучших университетов мира в разных областях науки по рейтингу британской аналитической компании Quacquarelli Symonds. Фото Reuters

17–18 октября 2024 года в МГУ им. М.В. Ломоносова прошел форум ректоров университетов из стран – участниц БРИКС. Помимо прочего, на форуме была представлена пилотная версия рейтинга университетов стран БРИКС, основанная на методике рейтинга «Три миссии университета». Событие вызвало определенный общественный резонанс: Telegram-каналы российских университетов расцвели привычными сообщениями: «Наш университет N-й в новом рейтинге университетов». А Владимир Сипягин, первый заместитель председателя комитета Государственной думы по науке и высшему образованию, в комментарии Telegram-каналу «Научно-образовательная политика» назвал создание рейтинга университетов БРИКС крайне важным достижением, потому что «каждый студент, ученый и преподаватель должен понимать, куда стремиться, куда идти, куда абитуриенту поступать и какую позицию он занимает в научно-образовательном пространстве». Посмотрим, насколько хорош суверенный продукт.

По лейденскому счету

В 2017 году Центр исследования науки и технологий (CWTS) Лейденского университета опубликовал 10 правил ответственного использования университетских рейтингов, которые охватывают разработку, интерпретацию и использование. Правило 4 гласит: «Рейтинги университетов должны быть достаточно прозрачными». Под «достаточной прозрачностью» понимается требование об исчерпывающем описании методологии рейтингования и, в идеале, раскрытии исходных данных.

CWTS, который сам является составителем Лейденского рейтинга университетов, долгое время не мог реализовать это правило на практике, потому что в расчетах использовались коммерческие данные Web of Science. Тем не менее начиная с 2023 года вышло уже два открытых издания Лейденского рейтинга, основанных на данных открытой системы OpenAlex. В этом случае пользователю доступны не только расчетные показатели, но и исходные данные.

Лудо Вальтман, профессор и научный директор Центра исследований науки и технологий Лейденского университета, отмечает три причины, по которым открытый доступ к исходным данным рейтингов имеет важное значение:

«1. Проверка технической корректности расчетов рейтинга. Доступ к данным необходим для проверки технической корректности, или, иными словами, воспроизводимости расчетов. Действительно ли расчеты выполнены в соответствии с тем, что указано в общедоступной документации по рейтинговой методологии? Можно ли воспроизвести расчеты?

2. Предоставление пользователям возможности глубже понять результаты рейтинга. Предположим, что рейтинг показывает неожиданный результат. Пользователи должны иметь возможность глубже изучить исходные данные, чтобы лучше понять причины явления. Действительно ли это неожиданное явление в исследовательской системе и если да, то как это можно объяснить? С другой стороны, возможно, неожиданный результат является просто следствием какого-то артефакта в данных или методологии?

3. Создание более разнообразной системы ранжирования. Благодаря открытому доступу к данным, лежащим в основе рейтинга, другие пользователи могут повторно использовать эти данные, например, для создания своих собственных альтернативных рейтингов, в которых данные будут использоваться альтернативными способами. Таким образом, открытый доступ к данным позволяет пользователям выбирать, какой из различных подходов к анализу данных лучше всего соответствует их потребностям».

Возвращаясь к представленному рейтингу университетов БРИКС, мы нашли методологию там, где и положено – на сайте рейтинга «Три миссии университета». Однако на этом транспарентность почти закончилась.

Так, в методологии рейтинга среди источников информации указаны «провайдеры библиометрических данных». Простите, какие? Если это открытые базы данных (OpenAlex, Crossref и т.д.), то почему открыто не указать это в методологии? Если же это, например, Web of Science (рейтинг «Три миссии университета» ранее основывался на данных этой базы), то на каких условиях используются эти данные? Ведь Web of Science недоступна в России с 2022 года. Согласитесь, немного странно использовать серые данные в крупном международном проекте.

Мы привыкли воспринимать «рейтинги» как общий термин, но на самом деле они существенно методологически отличаются друг от друга. Существуют рейтинги – такие как ARWU, QS и THE, – в которых используются сводные (интегральные) показатели (такие рейтинги иначе называют таблицами ранжирования, или ренкингами). Их методология сводится к формуле:

R = k1a + k2b + … + knn,

где R – сводный рейтинг университета; k1, k2, kn – весовые коэффициенты; a, b, n – значения отдельных показателей.

К сожалению, «Три миссии университета» и «дочерний» рейтинг университетов БРИКС пошли именно по этому пути. Большая часть методологической критики относится именно к использованию сводных показателей.

Никакая схема взвешивания не может считаться методологически правильной, поскольку невозможно совместить совершенно разные вещи в одной цифре. Это все равно что купить в магазине одежды 0,5 пары брюк, 0,2 футболки и 0,3 пижамы – в таком виде вас, положим, пустят в чебуречную, но точно не в приличный ресторан. Предположим, что весовые коэффициенты определены группой экспертов. Но другая группа экспертов дала бы другой ответ. Как мы сможем определить, кто прав?

Ряд рейтингов не используют сводный показатель (Лейденский рейтинг, U-Multirank), их данные можно использовать для аналитики и бенчмаркинга. Но важно при этом открыто признавать ограничения, свойственные количественным данным.

Олег Сухарев, доктор экономических наук, главный научный сотрудник Института проблем развития науки РАН: «Рейтинги как метод оценки часто используют набор показателей, которые агрегируют определенным образом. Смысл заключается в самой агрегации и наборе показателей. Университет может быть лучше в одних аспектах, но иметь более низкую оценку в других, однако агрегированный результат может быть неплохим с точки зрения конкретного рейтинга. На самом деле рейтинг университета не отражает качества, как часто и отдельные его составляющие. Поэтому рейтингование – в корне неверная в методологическом смысле процедура, она ничего не дает для управления и принятия управленческих решений, кроме формализма.

Стремиться к рейтингу – значит стремиться ни к чему, подчинить науку и творчество, мысль и понимание неким количественным параметрам. Важно ставить содержательные цели для развития университетов, а не просто пытаться улучшить позиции в рейтинге. Агрегированные показатели не могут полностью оценить университет или отдельного ученого, так как организации и люди многогранны. БРИКС должен не копировать подходы Великобритании или других западных стран, а разрабатывать собственные методы оценки научно-исследовательской деятельности».

Позицию российского эксперта поддерживает и уточняет Лудо Вальтман: «Сводные показатели объединяют информацию о различных аспектах деятельности университета, что вряд ли будет отражать предпочтения конечных пользователей. Конечные пользователи должны иметь доступ к показателям по каждому из отдельных измерений, чтобы они могли самостоятельно решать, какие измерения для них важны, хотят ли они обобщать информацию по различным измерениям и если да, то каким образом».

Сложные организации

Альтернатива рейтингам в оценке университетов точно существует. Я считаю, что о результатах деятельности университета следует судить исключительно по тому, насколько хорошо он выполняет свою миссию.

Каждый университет в чем-то отличается от других и сильнее в определенных областях. Например, не секрет, что студенты ведущих исследовательских университетов часто жалуются на качество образования. С другой стороны, небольшой университет может предложить уникальный образовательный опыт или внести значительный вклад в решение местных проблем. Идея оценивать каждый университет по одним и тем же стандартам неизбежно приводит к потере идентичности.

Как пример альтернативы можно привести инициативу More Than Our Rank («Больше, чем наш рейтинг»), которая ставит во главу угла уникальность университета. Эта инициатива позволяет университетам показать миру то, как они служат обществу, включая те стороны деятельности, которые не могут быть оценены количественно.

Элизабет Гэдд, руководитель отдела исследовательской культуры и оценки в Университете Лафборо (Великобритания), руководитель Группы по оценке научных исследований Международной сети обществ по управлению научными исследованиями (INORMS), заместитель председателя Коалиции по реформированию оценки научных исследований (CoARA): «More Than Our Rank предоставляет академическим учреждениям качественную возможность показать конечным пользователям множество различных способов, которыми они служат миру и которые не отражены в их рейтинге. Эта инициатива предназначена для каждого университета независимо от того, входит он в рейтинг или нет. Это инициатива для учреждений, которые гордятся своим положением в рейтинге, но также признают ограниченность используемых показателей, а также для тех, кто считает, что рейтинги не отражают их сильных сторон или миссии учреждения.

Каждый университет в мире стоит гораздо выше своего рейтинга. Эта инициатива просто возможность публично заявить об этом и объяснить в нарративной форме почему. Сила этого подхода заключается в том, что он охватывает гораздо больше, чем простые цифры, и предоставляет конечным пользователям гораздо более богатую, детализированную картину деятельности, амбиций и достижений высших учебных заведений. Он также направлен на то, чтобы донести до конечных пользователей, что, несмотря на привлекательность количественных показателей, сложные организации, такие как университеты, нельзя свести к одному числу и что для того, чтобы по-настоящему понять ценность учебного заведения, нужно выйти далеко за рамки упрощенных рейтинговых методологий».

Рейтинги vs. науковедение

Так нужен ли нам рейтинг университетов в принципе? На мой взгляд, нет. Существует огромный пласт литературы, который описывает негативное влияние рейтингов на академическую культуру. Достаточно сказать, что рейтинги стимулируют неэтичное поведение: публикации в «мусорных» журналах, накрутку цитирований и т.д. Российский проект «5–100», который ставил во главу угла университетские рейтинги, привел к расцвету культуры тотальной квантификации: научные статьи у нас все больше считают и все меньше читают.

Исмэл Рафолс, старший научный сотрудник Центра исследований науки и технологий Лейденского университета и кафедры ЮНЕСКО по разнообразию и инклюзивности в мировой науке: «Я не считаю, что рейтинги университетов, включая региональные, приносят пользу, так как они сводят все к единому мерилу ценности университета (единому рейтингу), игнорируя разнообразие областей, где университеты демонстрируют свою ценность».

Алексей Железнов, научный сотрудник Центра институционального анализа науки и образования Европейского университета: «Предложения по созданию рейтинговой системы или базы научных работ БРИКС были бы актуальными в 2006–2010 годах, когда эта ассоциация создавалась. С тех пор во многих странах уже была проделана большая работа. Например, созданная еще в 1997 году бразильская научная библиотека SciELO стала индексом для 16 стран, включая, кстати, и ЮАР. В КНР же есть не только свои научные базы данных, но и с 2003 года продвигался Академический рэнкинг университетов мира (ARWU), известный как Шанхайский рейтинг и учитывающий крупнейшие российские вузы. Он давно признан равным западным системам, в том числе учитывался при создании российского проекта 5–100 еще в 2013 году.

Диалог со странами БРИКС мог бы включать создание совместных научных центров, в том числе и по наукометрическим исследованиям и научному просвещению. Это поможет ученым этих стран понимать важнейшие научные тренды и адаптироваться к ним».

Поэтому можно, конечно, критиковать отдельные методологические аспекты. Как пример – публикация в «Независимой газете» от 13.11.23 профессора Михаила Иоффе: «Что происходит с международными рейтингами университетов. Как оценить вклад вузов в развитие общества». Но никакие косметические улучшения не сделают рейтинг, который использует сводный индикатор, методологически корректным. Более того, в регионах (Восточная Азия, Европа), где изначально появились рейтинги университетов, сейчас от них активно отходят.

Например, одной из самых известных академических инициатив в Европе последнего времени стало Соглашение о реформировании оценки научных исследований, параграф 4 которого гласит: «Избегайте использования рейтингов исследовательских организаций при оценке научных исследований». Тем самым мы в очередной раз пытаемся перенять западную практику, от которой сам Запад уже отходит, как это было уже с концепцией New Public Management («Новое государственное управление»). Может быть, пора играть на опережение?

Денис Косяков, заместитель заведующего лабораторией наукометрии и научных коммуникаций, Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере (РИЭПП): «Необходимо отметить, что все-таки основное назначение университетских рейтингов – сориентировать абитуриентов. Престиж и остальные плюшки – это побочный эффект. Рейтингов уже много, включая несколько российских. Особого вреда еще от одного не будет, но надо отметить, что к рейтингам в целом накопилось много вопросов, это приводит, в частности, к добровольному самоисключению некоторых ведущих университетов из этой гонки. Так, Университет Цюриха принял решение о выходе из рейтинга THE, Университет Утрехта не предоставляет больше данных в этот рейтинг. Внимание к рейтингам в мире снижается, особенно среди лидеров научного и образовательного мира».

Возникает вопрос: почему, несмотря на всю критику, университетские рейтинги сохраняют популярность у администраторов всех уровней? Ответ лежит скорее всего в плоскости психологии. Идея получения оценочной информации «одним кликом» слишком привлекательна: не надо думать и разбираться. Пусть ответ будет неполным, а может, и неверным, зато он легко доступен.

Как тут не вспомнить чудесную книгу У. Эспеланд и М. Саудера «Источники беспокойства: академические рейтинги» (Espeland, W.N. & Sauder, M. (2016). Engines of Anxiety: Academic Rankings, Reputation, and Accountability. Russell Sage Foundation), в предисловии к которой авторы приводят цитату одного из экспертов: «…следующее, что они сделают, – это составят рейтинг церквей». Что ж, возможно, скоро мы и это увидим.