Кто и как измеряет науку

Измерители науки

Наукометрические показатели - это количественные показатели, в основном основанные на данных из опубликованных материалов (в частности, из периодической литературы и, в случае прикладных исследований, - из патентов), которые представляют различные аспекты научной деятельности в количественном облачении.

Ключевым моментом для развития наукометрии явилось создание и выпуск уникального политематического Указателя цитированной литературы - Science Citation Index (SCI). Химик по образованию, доктор Юджин Гарфилд является создателем этого указателя и его фирма - Institute for Scientific Information (Институт научной информации, ИНИ) - выпускает это издание с 1964 года. С 1990 года ИНИ принадлежит информационному гиганту (типичный пример глобализации информационной индустрии!) канадской компании Tompson Scientific.

В основу создания указателя SCI была положена новая и необычная техника индексирования библиографических ссылок, позволяющая не только производить оперативный и многоаспектный поиск, но и проследить применение и развитие научных идей, не соблюдая дисциплинарных границ и снимая семантические ограничения традиционных предметных указателей. Вскоре после выпуска указателя SCI статистические данные, содержащиеся в указателе, стали использовать для проведения аналитических исследований по оценке науки.

Отметим, что США ежегодно публикуют около 250 тыс. научных статей, а Россия - 23 тыс. Бюджет на фундаментальную науку США около 200 млрд. долл., а бюджет на фундаментальную науку в России, включая отраслевую, - 16 млрд. руб. То есть "себестоимость одной публикации" в США была в 40 раз больше, чем "себестоимость одной научной публикации" в России. На самом деле бюджет Российской академии наук, а именно РАН дает 90% информационного потока России в БД SCI, составляет 4 млрд. руб., то есть разница в затратах на единицу научной продукции примерно в 100 раз.

Вклад СССР и России в мировую науку в 1991 и 2000 гг.

Впервые количественные показатели по оценке развития науки в США были опубликованы в 1972 году в отчете ННФ под названием "Science Indicators". В качестве двух важных показателей по оценке науки и развития научных направлений в США и мире впервые были использованы данные по количеству научных статей и их цитируемости, содержащиеся в указателе SCI. С тех пор на протяжении последних 30 лет в отчетах, которые публикуются Национальным научным фондом (ННФ) раз в два года, прослеживаются тенденции развития науки в США, странах Европы и Азии и в мире в целом.

В мае 2002 года был опубликован отчет под названием "Показатели развития науки и техники" - "Science & Engineering Indicators, 2000" (S&TI, 2000). Издание S&TI пользуется огромным авторитетом в мировом научном сообществе, и именно по нему проводятся все оценки развития науки.

За основу оценок развития науки в США и других странах мира в качестве количественных показателей выбраны число опубликованных научных работ и патентов, отраженных в SCI, и их цитируемость.

Напомним читателям, что ежегодный комплект БД SCI содержит только журнальные статьи в 3750 лучших научных журналах мира, из которых 1500 - американских и 71 - российский. Ежегодно SCI включает около 750 тыс. научных статей и 18 млн. ссылок. По объему рассматриваемой литературы БД SCI не имеет равных в мире и охватывает около 90% журнальных статей, опубликованных мировым научным сообществом.

По данным Института научной информации, мировой массив статей, попадающих в сети цитирования, распределяется следующим образом: около 70% статей цитируется 1 раз в год, 24% статей - 2-4 раза, около 5% статей от 5 до 9 раз, менее 1% статей - свыше 10 и более раз в год. Около 40% научных статей никогда не цитируется.

Вопрос об использовании цитирования для оценки научной продуктивности всегда вызывал споры. Именно Гарфилд обратил внимание на строгую корреляцию между цитируемостью и такими формами признания научных заслуг, как присуждение почетных премий, включая Нобелевскую. Цитируемость после присуждения Нобелевской премии резко возрастает.

Обычно от появления публикации в печати до момента ее цитирования проходит не менее года. А если вспомнить, что в отечественных журналах статьи хранятся до полутора лет, то шансы цитирования работы реально появляются через 2-2,5 года после опубликования. В некоторых областях знания статье необходим период времени не менее 10 лет, чтобы получить значительное число ссылок, в то время как в других областях пик цитирования статьи может быть достигнут в течение нескольких лет.

Выше мы отмечали, что в SCI отражается только 71 российский журнал. К сожалению, очень трудно "пробиться" в круг журналов-источников (так называются журналы, обрабатываемые для создания SCI).

Импакт-фактор

С цитируемостью научных публикаций неразрывно связан другой показатель, по которому оценивается цитируемость научных журналов, а следовательно, и "научный вес" журнала в мировом научном сообществе. Этот показатель называют импакт-фактором научного журнала. Значения импакт-факторов 5684 научных журналов можно получить из указателя цитируемости журналов - Journal Citation Reports (JCR). Эта база данных на оптических дисках за 2000 год содержит сведения о 100 российских журналах, 90% которых издаются Российской академией наук.

Рост публикаций в городах России без Москвы и Санкт-Петербурга.

По определению создателей JCR, "импакт-фактор журнала в текущем году есть соотношение, в числителе которого находится количество ссылок на публикации этого журнала в течение двух лет предшествующих году обследования, а в знаменателе - количество статей, опубликованных данным журналом в течение этих же двух предшествующих году обследования лет". Понятно, что, таким образом, в равные условия ставятся "тонкие" и "толстые" журналы и учитывается временной интервал (около года), который необходим для включения статьи в коммуникационную сеть науки.

Теперь рассмотрим совокупность российских журналов.

В БД JCR за 2000 год число российских журналов снизилось со 108 до 100. В 1995 году всего три журнала имели импакт-фактор больше единицы. В 2000 году таких журналов стало пять. Вершину списка по-прежнему занимает журнал "Успехи химии" с импакт-фактором 1,429. За ним следует журнал "Успехи физических наук" (1,182), который занимал лидирующее положение среди советских и российских журналов с 1975 г. В 2000 г. двадцать один журнал имел импакт-фактор более 0,5, а в 1995 году таких журналов было только восемь.

Значительно повысили свой импакт-фактор такие журналы, как "Петрология" (с 0,225 до 0,786), "Письма в астрономический журнал"(с 0,513 до 0,953), "Доклады по астрономии" (с 0,372 до 0,702), "Биохимия" (с 0,496 до 1,050), "Письма в Журнал экспериментальной и теоретической физики" (с 1,026 до 1,411), "Лазерная физика" (с 0,556 до 0,891), "Журнал структурной химии" (0,315 до 0,505) и др. 55% российских журналов в 2000 году имели импакт-фактор выше 0,25, а в 1995 году таких журналов было 34%. Таким образом, за пять лет российские журналы значительно улучшили свои показатели. Лишь 18% наших журналов имеют импакт-фактор менее 0,1, а в 1995 году таких журналов было 35,5%. Бесспорно, в этом сыграло свою роль политика РАН по изданию "МАИК Наука" англоязычных версий российских научных журналов.

Два престижных отечественных журнала "Доклады Российской академии наук" и "Polymer Journal", используемых для подготовки SCI, не оказались включенными в JCR Master List. Как удалось выяснить в ИНИ, оба эти журнала на английском языке стали поступать в ИНИ только с 2000 г. Для расчета импакт-фактора научного журнала нужно не менее двух лет. Издание JCR за 2002 год появится только летом 2003 года. Тогда мы узнаем импакт-факторы этих двух журналов.

Неспециалисту значения импакт-факторов российских журналов могут показаться довольно низкими. Есть несколько причин, объясняющих это явление. Во-первых, низкий импакт-фактор российских, как и советских научных журналов, объясняется как отличием поведения цитирования, так и в значительной мере принадлежностью к неанглоязычной периодике. В анализе научных журналов, выполненном около 20 лет назад, Юджин Гарфилд отмечал, что 85% научной литературы опубликованы на английском языке, и значение импакт-фактора статьи (то есть средняя цитируемость одной статьи, написанной на английском языке) составляло 3,7 раза. Это значение в несколько раз выше, чем у статьи, опубликованной на русском (0,9), немецком (0,6), французском (0,5) и японском (0,5) языках.

Анализ импакт-фактора 127 японских журналов, включенных для подготовки SCI в 1995 году, показал, что только 14 журналов имеют импакт-фактор от 1 до 2, а импакт-фактор остальных журналов мало отличается от таковых у российских журналов.

В отчете S&TI за 1998 год отмечалось, что 67% ссылок в американских публикациях сделаны на работы американских ученых. Ни одна нация не цитирует так высоко свои работы, как американская, что объясняется авторами отчета как показатель высокого качества американской науки, глубиной и широтой охватываемых проблем. Американцы в 1995 году практически не цитировали ни российские, ни китайские публикации за 1991-1993 годы, в то время как российские ученые процитировали за этот период времени 35% американских работ и сделали только 17% ссылок на российские статьи, опубликованные в 1991-1993 годах. В Великобритании было около 30% ссылок на собственные работы; во Франции - 24%; в Японии - 37%. Простой подсчет показывает, что мы сами цитируем свои работы в четыре раза меньше, чем американцы. Понятно, что нам не следует сильно удивляться, что нас мало цитируют другие страны.

По данным Российского фонда фундаментальных исследований (РФФИ), в публикациях грантодержателей содержится до 60% ссылок на англоязычные публикации. Кроме того, в отечественных статьях содержится значительно меньше ссылок, а значит, и вероятность цитирования рядового исследователя ниже.

Наш вклад в мировую науку

США принадлежит первое место по числу научных статей - 31% всего мирового объема публикаций.

Тем не менее, по данным "S&TI, 2000", доля публикаций США с 1990 года неизменно снижается за счет роста публикаций латиноамериканских стран и стран Азиатского региона.

СССР был на третьем месте в мире по числу научных статей, и его доля в мировом потоке статей составляла 7,0%. По данным "S&TI, 2000", количество научных публикаций стран бывшего СССР сократилось на одну треть, как следствие резкого сокращения ассигнований на науку, по мнению американских специалистов.

Рост научного сотрудничества России с ведущими странами мира в 2000 г.

После распада СССР, в БД SCI публикации России как отдельной страны стали учитываться только с 1993 года. С тех пор Россия постоянно занимает седьмое место в мире по числу научных статей - около 3,7%, или 23 тыс. статей. Следует отметить, что в информационной системе "Диалог", содержащей 900 различных баз данных, включая БД SCI, круг российских журналов шире и количество публикаций России составляет 27 тысяч.

Несмотря на то что база данных SCI охватывает только 71 научный журнал России, можно с достоверностью сказать, что данные ИНИ отражают реальную картину того, что происходит в российской науке. За последние восемь лет резко выросло число совместных публикаций с иностранными учеными. Доля этих публикаций составляет около 33% от общего числа российских работ в БД SCI.

Аналитическим отделом ISI постоянно изучаются тенденции развития публикаций ведущих стран мира. В декабре 2001 года появился анализ оценки вклада России в мировую науку под заголовком "Russian Science, 1996-2000". Доля России в мировом информационном потоке составила 3,57% (или 124 557 статей). Ниже приводится перечень областей знаний, в которых вклад России превышает ее долю в мировом потоке: физика - 9,71%; науки о земле - 7,43%; космические исследования - 7,19%; химия - 6,78%; материаловедение - 4,29%; математика - 3,83%; техника - 3,70%.

Области знаний, в которых доля России значительно ниже, чем средняя доля России в мировом потоке, - молекулярная биология (2,63%), биология и биохимия (1,93%), вычислительная техника (1,05%) и т.д.

Глобализация науки и рост международного сотрудничества являются характерными признаками науки конца XX - начала XXI века. По данным "S&TI, 2000", по сравнению с 1986-м в 1999 году доля совместных публикаций с учеными по крайней мере одной иностранной страны выросла на 14%. В 1999 году доля совместных публикаций составила 17% от мирового потока статей. Доля совместных публикаций США - 43% в 1999 году, причем на долю США в международном сотрудничестве России приходится 25%. В отчете отмечается, что за последние десять лет в международном сотрудничестве США с ведущими странами мира не произошло изменений за исключением России. Россия отныне входит в десятку стран, с которыми США имеет наиболее сильные научные связи.

Российские публикации по областям знания по отношению к доле России в мировой науке

За последние восемь лет резко выросло число совместных публикаций с иностранными учеными. Доля этих публикаций составляет около 33% от общего числа российских работ в БД SCI.

Исследования, выполненные по гранту ИНТАС 96-0036 "Российская наука в переходный период", руководителем которого являлся автор этой публикации, показали ведущую роль РАН в международном сотрудничестве. Как и физики США, российские физики и астрономы лидируют в международном сотрудничестве. Наши исследования по оценкам за 1993 и 1998 годы продемонстрировали впечатляющий рост научного сотрудничества России по математике с такими странами, как Италия, США, Нидерланды.

Цитируемость российских публикаций ниже, чем вклад России в мировую науку, и составляет 0,93%. В цитировании отечественных и зарубежных исследователей по отношению к российским (советским) публикациям наблюдается незначительный рост. Так, во времена СССР доля отечественных ссылок составляла 1,18% от мирового потока ссылок в 1990 году, а доля публикаций - около 7,5% от мирового потока. Однако в 1999 году доля цитируемости отечественных публикаций составляла 0,93% от мирового потока, а доля отечественных публикаций была в два раза меньше, чем бывшего СССР, - 3,7%. Из рисунка ясно видно, что соотношение между долей страны в мировом потоке и долей ее цитируемости изменилось к 2000 году в пользу России.

Целесообразно отметить, что доля цитируемости всей Восточной Европы и всех стран бывшего СССР вместе составляет 2,1%. На долю России из этих ссылок приходится около 45% ссылок.

Посмотрим, как распределяются эти ссылки в мировой науке. В декабре 2001 года аналитическим отделом ISI был подготовлен список 196 российских ученых, которые были процитированы более 1000 раз. Конечно, физиков в этом списке больше всех. Однако вершину списка занимает математик - академик Владимир Арнольд (более 10 817 ссылок), за ним следует умерший в 1987 году академик Яков Зельдович. Его работы были процитированы более 10 797 раз. Среди участников списка - члены президиума РАН академики Александр Андреев, Михаил Алферов, Юрий Гуляев, Виктор Кабанов, Геннадий Месяц, Николай Платэ, Людвиг Фаддеев, Владимир Шувалов, Владимир Фортов.

В среднем, по данным за 2000 год в SCI, каждый автор был процитирован около 10 раз. Конечно, эта цифра включает и самоцитирование. Недавно выполненное социологическое исследование руководителей проектов, получивших поддержку РФФИ в 1993-1998 годах показало, что цитируемость 250 респондентов варьируется в пределах от 4 до 150. При этом в среднем каждый из них был процитирован 9,2 раза. В это же время средняя цитируемость членов РАН (была проанализирована цитируемость 94 респондентов - действительных членов и членов-корреспондентов РАН) составляла 32,6, то есть была в четыре раза выше, чем средняя цитируемость "обычных" руководителей проектов. Отметим, что среди руководителей проектов, включенных в обследования, профессор-физик Нагаев Е.И. из Москвы был процитирован 127 раз (он вошел в список ученых, процитированных более 1000 раз), а его коллега профессор Бухбиндер И.Л. из Томска был процитирован 144 раза. Оба этих ученых являлись не только руководителями проектов, поддержанных РФФИ, но и получили гранты от НАТО, Международного научного фонда, ИНТАСа. Отметим еще раз - корреляция между цитируемостью и получением научных наград, грантов и званий была выявлена Гарфилдом в начале 80-х годов.

В 1990 году под руководством Гарфилда было выполнено специальное исследование, посвященное анализу советской науки. Результаты этого анализа нашли отражение в публикации под названием "Русские идут". В БД по российской науке попадали все ученые, которые были процитированы не менее 50 раз за 1973-1988 годы. В этой же публикации была рассмотрена группа из 25 городов, ученые которых опубликовали не менее 250 материалов. В таблице приведен список этих городов (за исключением одиннадцати городов, которые теперь принадлежат другим государствам СНГ) и данные по числу публикаций за 1993 и 2000 годы.

Значительное снижение количества публикаций по сравнению с 1989 годом наблюдалось только в Москве в 1993 году. По данным Европейского исследования ("Urban Studies") по сопоставлению вклада в науку различных стран и городов, Москва находится на третьем месте среди европейских городов по числу публикаций, а Санкт-Петербург - на 25-м месте.

Сопоставление данных за 1993 и 2000 годы дает более достоверную картину состояния российской науки. За последние семь лет количество публикаций Москвы стабильно и находится в пределах более чем 11 000. Закономерное падение количества публикаций наблюдалось в 1993 году практически во всех городах России. В 2000 году наблюдается рост числа публикаций, особенно в городах Урала и Сибири. Политика создания и развития региональных отделений РАН, безусловно, способствовала росту научного потенциала этих регионов.