Как отличить «хороший» журнал от «плохого» и что лучше - цитируемость или экспертная оценка, специально для сайт рассказывают члены рабочей группы по составлению рейтинга RSCI (Russian Science Citation Index) Геннадий Еременко и Андрей Назаренко.

Количество научных журналов, издаваемых в мире, непрерывно растет. Россия в этом плане тоже не является исключением. На рисунке 1 приведен график изменения количества издаваемых в России научных журналов. Рост количества журналов ускорился в 90-е годы прошлого столетия и сейчас составляет около 300 новых журналов ежегодно. То есть фактически в России в среднем каждый день появляется новое научное периодическое издание.

Этот рост объясняется в том числе и объективными причинами, характерными для развития мировой науки: появлением новых направлений исследований, дроблением направлений с выделением более специализированных журналов, формированием новых научных школ, ростом количества ученых и т.д. Есть, однако, и косвенные причины, провоцирующие рост количества научных журналов и количества научных публикаций в мире. Это повсеместное использование библиометрических показателей для оценки научной деятельности, стимулирующее ученых чаще публиковаться, причем иногда, к сожалению, в ущерб качеству самих работ.

Рисунок 1. Динамика изменения количества журналов, выходящих в Российской Федерации (по данным РИНЦ на июль 2016 года)

В настоящее время в России всего издается более 6000 журналов, которые условно можно отнести к категории научных. Условно, поскольку сюда включены не только чисто научные издания, но и научно-практические, научно-производственные, научно-образовательные, общественно-политические, научно-популярные издания. Одна из основных отличительных черт научного журнала -рецензирование поступающих рукописей. Большинство журналов, индексируемых в РИНЦ, заявляют о наличии такого рецензирования. Однако проверить это весьма непросто. Кроме того, рецензирование тоже бывает разное. Часто полноценное рецензирование с привлечением нескольких внешних экспертов подменяется внутренним рецензированием, когда статьи для публикации отбирает редакционная коллегия или только главный редактор. Существуют также журналы, которые, декларируя наличие рецензирования, на самом деле его вообще не осуществляют.

Необходимо отметить, что РИНЦ не проводит какого-либо входного отбора научных журналов по их качеству. Задача РИНЦ - максимально полный охват всего публикационного потока российских ученых, чем национальный индекс принципиально отличается от международных баз данных Web of Science и Scopus, куда отбираются только лучшие журналы. Это необходимо учитывать и при выборе наукометрических показателей, рассчитываемых в РИНЦ, для оценки научной деятельности. Так, например, количество публикаций ученого в РИНЦ говорит лишь о его публикационной активности, но ничего не говорит о качестве этих работ. В то же время вполне возможно выделить в РИНЦ ядро лучших журналов, качество которых не вызывает сомнений, и рассчитывать для них свои показатели. Такой проект по оценке научного уровня журналов и формированию их высокорейтингового сегмента был реализован в 2015 году и завершился созданием пула изданий, вошедших в базу данных Web of Science.

Инициаторами проекта по размещению лучших российских журналов на этой платформе стали компании Thomson Reuters и Научная электронная библиотека eLIBRARY.RU. Первая является правообладателем самой авторитетной международной базы данных научного цитирования Web of Science, вторая - разработчиком и оператором Российского индекса научного цитирования (РИНЦ). Компании совместно выступили с идеей создания новой базы данных Russian Science Citation Index (RSCI), включающей 1000 лучших российских научных журналов.

Для Thomson Reuters этот проект интересен в контексте дальнейшего развития линейки региональных индексов научного цитирования, размещенных на платформе Web of Science. RSCI стала четвертой региональной базой данных на этой платформе после китайской (Chinese Science Citation Database), латиноамериканской (SciELO Citation Index) и корейской (KCI Korean Journal Database).

Для Научной электронной библиотеки этот проект важен, поскольку позволяет выделить в РИНЦ ядро лучших российских журналов и усовершенствовать методику расчета библиометрических показателей, используемых для оценки ученых и научных организаций.

Успешная реализация проекта является также важным шагом на пути решения в перспективе целого ряда задач, таких как, например, повышение качества российских научных журналов за счет приведения их к международным стандартам, рост библиометрических показателей российских журналов в Web of Science и интегральных показателей России в целом, интеграция российских научных журналов в мировое информационное пространство, продвижение результатов отечественных научных исследований на международном уровне.

Как объективно оценить качество научных журналов

Основной вопрос, который возник на стадии запуска проекта, - каким образом отобрать лучшие журналы для включения в RSCI. Вариант использования широко применяемого в мире способа оценки журналов только по их импакт-фактору отпал сразу. Во-первых, этот показатель сильно зависит от научного направления. Во-вторых, этот показатель легко поддается искусственной «накрутке» за счет повышения самоцитирования в журнале или взаимного цитирования из «дружественных» журналов.

Вариант использования в качестве основы для формирования RSCI перечня ВАК также не рассматривался: в этот список журналы включаются на основе чисто формальных критериев, в результате чего туда попадают даже журналы, относящиеся к категории «мусорных» (т.е. журналы, быстро публикующие за деньги все поступающие статьи без какой-либо их экспертной оценки).

Проекты, в рамках которых проводились глобальная оценка качества национальных журналов и разделение их на категории в соответствии с их научным уровнем, известны в мировой практике. Однако в России систематической экспертной оценки всего корпуса издаваемых научных журналов никогда не проводилось, известны только работы по оценке журналов в рамках отдельных научных направлений. В этом смысле проект по формированию RSCI оказался уникальным не только тем, что стал первым в своем роде, но и многообразием методов, которые использовались для достижения максимально объективной оценки качества изданий.

Существует два основных подхода к оценке результатов научной деятельности - использование библиометрических показателей и экспертиза. Эти же подходы используются и при оценке научных журналов. Каждый из этих подходов имеет свои плюсы и минусы, поэтому в идеальном случае желательно сочетать оба подхода.

Использование библиометрических показателей привлекательно, потому что позволяет быстро провести оценивание или ранжирование большого количества объектов: публикаций, ученых, организаций, журналов и т.д. К достоинствам этого подхода также обычно относят его объективность. В то же время этот подход часто оказывается слишком упрощенным для оценки такого сложного направления человеческой деятельности как научное исследование.

Экспертная оценка позволяет провести при необходимости всесторонний анализ и оценку научного исследования, но при этом занимает много времени. Основным недостатком этого подхода считается субъективность, которая может оказывать серьезное влияние на результаты оценки. Субъективность подхода может проявляться на разных стадиях процесса оценивания - начиная с выбора соответствующих экспертов и заканчивая интерпретацией результатов экспертизы.

Несмотря на принципиально разные способы оценки, между экспертизой и библиометрией много общего. По своей сути, оценка с помощью библиометрических показателей тоже является одной из форм экспертизы. Взять, к примеру, такой показатель, как число публикаций в ведущих международных журналах. Наличие статей в таких журналах означает, что эти работы прошли рецензирование, то есть экспертную оценку на стадии приема рукописи к публикации. Или другой показатель - число цитирований. Наличие ссылок на статью означает, что другие ученые таким способом косвенно уже оценили эту работу путем ее цитирования, то есть это тоже является формой экспертизы, но уже с помощью всего научного сообщества.

Соответственно, и проблемы при использовании этих двух способов оценки во многом общие. Поэтому их нужно не противопоставлять друг другу, а, наоборот, использовать совместно. Добиться адекватных результатов можно, только грамотно сочетая преимущества разных подходов к оценке результатов научной деятельности.

Для организации работы по оценке и отбору журналов в RSCI была сформирована Рабочая группа, члены которой возглавили соответствующие тематические экспертные советы. В ее состав вошли:

Анатолий Григорьев (председатель Рабочей группы) - вице-президент РАН, председатель научно-издательского совета РАН, научный руководитель ГНЦ Институт медико-биологических проблем РАН (биологические науки и мультидисциплинарные журналы);

Александр Баранов - директор Научного центра здоровья детей РАМН (медицинские науки);

Леонид Гохберг (зам. председателя Рабочей группы) - первый проректор НИУ «Высшая школа экономики», директор Института статистических исследований и экономики знаний НИУ ВШЭ (социальные и гуманитарные науки);

Геннадий Еременко - генеральный директор Научной электронной библиотеки eLIBRARY.RU (консультативный совет по библиометрии);

Евгений Каблов - Президент Ассоциации государственных научных центров, Генеральный директор ФГУП «Всероссийский институт авиационных материалов» ГНЦ РФ (инженерные и технические науки);

Валерий Козлов - вице-президент РАН, директор Математического института имени В.А. Стеклова РАН (математические, компьютерные и информационные науки);

Юрий Лачуга - академик-секретарь отделения сельскохозяйственных наук РАН (сельскохозяйственные науки);

Николай Соболев - главный научный сотрудник Института геологии и минералогии имени В.С. Соболева СО РАН (науки о Земле);

Алексей Хохлов - проректор МГУ имени М.В.Ломоносова (физические и химические науки);

Андрей Назаренко - Научно-издательский совет (НИСО) РАН, ученый секретарь Рабочей группы.

Руководителями тематических направлений были сформированы экспертные советы, куда были привлечены ведущие ученые, представители различных научных организаций (профильных отделений и научных центров РАН, федеральных и исследовательских университетов, государственных научных центров и др.). Каждый из членов Рабочей группы координировал организацию экспертизы журналов по одному из основных научных направлений. Кроме того, был создан постоянно действующий консультативный совет при РИНЦ, куда вошли специалисты по наукометрии. В компетенцию этого совета входила подготовка рекомендаций по методическим вопросам библиометрической оценки научных журналов.

Динамика изменения среднего двухлетнего коэффициента самоцитирования (%) российских журналов.

Экспертная оценка

К оценке журналов с участием экспертов предъявлялось важное требование - минимизация влияния субъективных факторов. Так, исказить картину могли недостаток широты научного кругозора эксперта, выставление им более высоких оценок журналам, где он, эксперт, публиковался, или является рецензентом/членом редколлегии, а также конфликт эксперта с редакцией. Один из эффективных способов добиться объективности - увеличение количества экспертов, участвующих в процедуре оценки. Однако это усложняет процедуру оценки и увеличивает сроки экспертизы. Значительно увеличить количество участвующих в оценке экспертов удалось с помощью общественного голосования через Интернет.

Для организации работы по оценке и отбору журналов в RSCI была сформирована Рабочая группа, члены которой возглавили соответствующие экспертные советы по тематическим направлениям, в которых работают журналы. В их задачу входила прежде всего оценка научного уровня журналов. Учитывая специфику научных направлений, методика отбора журналов в каждом экспертном совете могла несколько отличаться, однако основные критерии для отбора журналов были общими:

Степень неравномерности статей по качеству;

Позиции журнала в России и в мире в данной предметной области.

Перед экспертами не ставилась задача отобрать в RSCI ровно 1000 (количество, предусмотренное в договоре между Thomson Reuters и НЭБ) или какое-то другое фиксированное число журналов. Точно так же не было задано каких-то начальных квот по количеству журналов по направлениям или пропорций между ними. В задачу экспертных советов входило отобрать журналы, не только занимающие лидирующие позиции в стране в данном научном направлении, но и представляющие интерес для международного научного сообщества.

При создании RSCI впервые в отечественной практике была проведена масштабная оценка уровня журналов с привлечением большого числа действующих ученых (общественная экспертиза). Расширенная общественная экспертиза журналов проводилась путем онлайн-анкетирования более 30 тысяч ведущих российских ученых. Экспертная оценка проводилась на сайте eLIBRARY.RU в течение 40 дней путем заполнения специальных анкет.

Для организации широкой общественной экспертизы российских научных журналов была использована база данных российских ученых, сформированная в информационно-аналитической системе Science Index, запущенной НЭБ в 2011 году. Каждый участник опроса мог самостоятельно выбрать не более трех научных направлений и оценить журналы по каждому из этих направлений, плюс, по желанию, мультидисциплинарные журналы. Каждый журнал в анкете мог быть отнесен к одному из четырех уровней:

4* - журнал международного уровня (достоин включения в Web of Science Core Collection);

3* - журнал национального уровня (безусловно достоин включения в RSCI);

2* - журнал среднего уровня (потенциальный кандидат для включения в RSCI);

1* - журнал низкого уровня (не достоин включения в RSCI).

В результате общественной экспертизы было получено 12800 экспертных анкет. Общее количество оценок, проставленных журналам, составило 240 тысяч (вариант «журнал не знаком эксперту» здесь не учитывается). Для каждого журнала были рассчитаны два дополнительных показателя: общее число полученных оценок и средняя оценка. Первый характеризует известность журнала (но, естественно, зависит и от числа ученых, работающих в данном направлении), второй отражает научный уровень и авторитетность журнала в профессиональном научном сообществе. Вместе с библиометрическими данными показатели были переданы в экспертные советы по научным направлениям.

Анализ результатов общественной экспертизы показал высокий уровень требований ученых к журналам. Так, к журналам мирового уровня было отнесено всего 110 журналов из почти 3000 включенных в анкеты (средняя оценка > 3,5 из 4). Оценку больше 3 получили 530 журналов, больше 2,75 - 900 журналов, больше 2,5 - 1400 журналов.

Окончательное решение о включении журнала в состав RSCI принимала Рабочая группа в соответствии с заключениями тематических экспертных советов, полученными на основании анализа и обобщения результатов оценки журналов экспертами, формальных критериев, библиометрических показателей журнала и общественной экспертизы журналов ведущими российскими учеными. Рабочая группа отобрала 652 журнала, достойных включения в Russian Science Citation Index. Это значительно меньше, чем предполагавшаяся изначально тысяча, что, с одной стороны, свидетельствует о достаточно строгих критериях отбора, а с другой, дает возможность постепенно расширять список на следующих этапах отбора.

Данный список не является окончательным и неприкосновенным. Принято решение о продолжении работы по ежегодному мониторингу качества журналов и внесению дополнений и изменений в список журналов, размещенных в Russian Science Citation Index на платформе Web of Science. В состав Рабочей группы включен академик-секретарь отделения историко-филологических наук РАН Валерий Тишков, который возглавил экспертный совет по гуманитарным наукам, выделенный в самостоятельное тематическое направление.

Любой российский журнал, выбрав правильную редакционную политику и установив строгие критерии рецензирования и принятия рукописей к публикации, имеет реальный шанс быть включенным в RSCI на следующих этапах отбора. И наоборот, если у журнала будет наблюдаться явная деградация качества публикуемых статей или будут обнаружены нарушения редакционно-издательской этики (в том числе попытки искусственной «накрутки» библиометрических показателей), то такие журналы будут повторно рассматриваться в экспертных советах и могут быть исключены из RSCI.

После формирования списка журналов для RSCI появилась возможность посмотреть, как распределены отобранные журналы по научным направлениям и насколько это распределение отличается от тематического распределения российских журналов в Web of Science и в РИНЦ.

Получилось, что если в Web of Science в основном индексируются российские журналы в области естественных и технических наук, то в РИНЦ, наоборот, в большей степени представлены общественно-гуманитарные и мультидисциплинарные журналы. Что касается RSCI, то для нее по большинству направлений получаются промежуточные значения, то есть в RSCI распределение журналов по направлениям более равномерное, чем в Web of Science. Это можно считать положительным моментом, поскольку недостаточный охват российских общественно-гуманитарных журналов в Web of Science затрудняет использование этой базы для корректного отображения деятельности российских ученых и научных организаций общественно-гуманитарного профиля.

В то же время, если сравнивать RSCI с РИНЦ, то доля отобранных журналов в области общественно-гуманитарных наук существенно меньше, чем в области наук естественных, технических, медицинских и сельскохозяйственных. Это означает, что научный уровень большинства общественно-гуманитарных журналов, по мнению экспертов, пока не соответствует мировому уровню либо эти журналы представляют недостаточный интерес для международного научного сообщества.

В заключение стоить обратить внимание на некоторые проблемы, связанные с использованием списков научных журналов для оценки научной деятельности. Несмотря на широкое распространение такого подхода, он часто является предметом острой критики со стороны научного и издательского сообществ. Причем критике подвергается не только и не столько включение журналов в список, сколько сам принцип использования подобных списков для оценки научной деятельности.

Действительно, как обычно на практике используют результаты отбора научных журналов? Составляют список условно «хороших» журналов (WOS, Scopus, перечень ВАК). И, к примеру, только статьи, опубликованные в журналах из этого списка, учитываются при оценке результативности научной деятельности ученых и организаций. Так или иначе, при таком подходе оценка группы журналов спускается на уровень оценки отдельных статей, в них опубликованных. Именно это и является основной ошибкой. Действительно, такой подход исходит из предположения, что научные статьи близки по своему уровню не только в пределах одного журнала, но и в пределах журналов, отнесенных к одной группе. Анализ распределения статей в журнале по их цитированию это предположение опровергает и показывает, что разброс в цитировании конкретных статей может быть очень высок. Поэтому нельзя утверждать, что статьи двух разных ученых, будучи опубликованы в одном журнале, имеют примерно одинаковый уровень.

Кроме того, существует проблема некорректного использования таких списков научными администраторами, которые начинают стимулировать исследователей публиковаться только в журналах из «хорошего» списка. То есть сами списки журналов из инструмента статистической оценки научной деятельности превращаются в инструмент административного влияния и давления на ученых. Это приводит, в свою очередь, к оттоку хороших публикаций из журналов, не попавших в список, их постепенной деградации и потере конкурентоспособности.

Все это не означает, что ранжирование научных журналов не имеет практического применения. Важно, чтобы в процессе оценки научной деятельности, основанной на ранжировании журналов, принимались во внимание описанные выше методологические ограничения такого подхода.

Почему было принято решение об исключении группы журналов из РИНЦ?

Российский индекс научного цитирования создавался не только как национальный реестр публикаций российских ученых, но и как инструмент оценки научной деятельности. То есть у РИНЦ две основные задачи: а) сбор из всех источников в единой базе данных информации о всех публикациях российских ученых, и б) расчет статистических показателей для оценки публикационной активности ученых и научных организаций на основе цитируемости публикаций.

С решением первой задачи РИНЦ вполне успешно справляется. Сейчас там индексируется уже более 6 тысяч российских журналов. Общее количество публикаций российских ученых в базе данных превысило 11 миллионов, и каждый год добавляется по полтора миллиона новых публикаций (из них примерно 800 тысяч - публикации за последний год, остальные - архивные). Из этих 800 тысяч примерно 450 тысяч - публикации в научных журналах, остальное - монографии, статьи в сборниках, труды конференций, патенты, диссертации и т.д.

А вот с решением второй задачи в последние годы возникает все больше трудностей. Связано это с бурным ростом количества издаваемых в России журналов, которые на словах позиционируют себя как научные рецензируемые издания, а на деле просто оказывают платные услуги по публикации трудов автора без какого бы то ни было рецензирования. Опубликовать в таком журнале можно все что угодно, в том числе любой антинаучный бред, поскольку никакого входного контроля качества публикаций с научной точки зрения нет. Нет и контроля разумности и обоснованности цитирования в статьях. Например, можно легко в каждой статье делать хоть по сотне ссылок на свои предыдущие работы или работы своих соавторов, даже если они не связаны тематически с содержанием данной работы и вообще не упоминаются в тексте. Накрутить таким образом свои библиометрические показатели, что называется, дело техники.

В борьбе с этой проблемой РИНЦ предлагает использовать различные модификации показателей, в том числе учитывающие самоцитирование, цитирование соавторами, договорное цитирование и т.д., но методики для их расчета становятся все сложнее и использовать их на практике не всегда целесообразно. Да и не все можно исправить одними показателями.

Самое печальное в этой истории - это то, что метастазы таких недобросовестных практик стали поражать уже и вполне приличные журналы, учредителями которых являются университеты и научные организации. Более того, уже и многие ученые и преподаватели стали относиться к публикациям в таких журналах вполне терпимо. Это не вызывает у их коллег какого-то возмущения или отторжения.

Можно легко спрогнозировать дальнейшее развитие ситуации, если ничего не предпринимать. Доля нерецензируемых изданий в РИНЦ будет увеличиваться, что приведет к тому, что показатели, рассчитываемые по базе данных РИНЦ, уже вообще невозможно будет использовать для оценки научной деятельности, поскольку они за счет искусственных манипуляций уже не будут отражать реальную картину научной значимости ученых, научных организаций и журналов. В результате РИНЦ будет исключен из всех нормативных документов, связанных с оценкой и мониторингом научной деятельности. Его заменит либо недавно сформированное ядро РИНЦ, либо вообще только международные базы научного цитирования. Вот тогда у тех, кто сегодня протестует против исключения из РИНЦ недобросовестных изданий, в которых они имели неосторожность опубликоваться, действительно будут серьезные проблемы. Ведь в престижных международных журналах у многих из них публикаций вообще нет.

Чтобы избежать такого пессимистичного сценария, необходимо вводить ограничения на включение нерецензируемых изданий в РИНЦ и исключать уже попавшие туда журналы, не отвечающие критериям научной и издательской этики. О том, что это будет сделано, впервые было объявлено год назад на конференции "Научное издание международного уровня - 2016: решение проблем издательской этики, рецензирования и подготовки публикаций" . В течение года была проведена работа по анализу и оценке журналов, индексируемых в РИНЦ, на предмет их соответствия общепринятым критериям научного рецензируемого издания. В результате этого анализа было отобрано , которые на днях и были исключены из РИНЦ.

Практика исключения журналов из баз данных научного цитирования не нова. Журналы исключаются и из Web of Science, и из Scopus. Так, например, из Scopus в последнее время было удалено , не отвечающих правилам издательской этики, искусственно накручивающих свои показатели или слишком низкого качества.

Как технически осуществляется исключение журналов из РИНЦ, что происходит с показателями ученых, которые публиковались в исключенных журналах?

Технически журнал никуда не исчезает.. Лицензионные соглашения с издателями не расторгаются, более того, издатель может при желании продолжать поставлять информацию о новых выпусках. Но все статьи из исключенных журналов и цитирования из них перестают учитываться при расчетах библиометрических показателей в РИНЦ.. Для оценки публикационной активности на платформе сайт теперь есть три различных уровня:

1) Ядро РИНЦ. Сюда входят все публикации в журналах, индексируемых в настоящее время в базах данных Web of Science Core Collection, Scopus и RSCI (Russian Science Citation Index на платформе Web of Science). Кроме того, в ядро будут включаться лучшие монографии и труды самых авторитетных научных конференций, отобранные на основании строгой экспертной оценки. Ядро РИНЦ рекомендуется для оценки наиболее качественной составляющей массива публикаций российских ученых.

2) РИНЦ. После очистки от недобросовестных изданий сюда будут включаться только публикации в рецензируемых научных изданиях, а также нежурнальные публикации, отвечающие требованиям издательской и научной этики. Рекомендуется для анализа публикационной активности по всем научным направлениям, в том числе по тем, где уровень отечественных исследований еще не дотягивает до мирового уровня.

3) Научная электронная библиотека. Здесь могут дополнительно размещаться различные издания, имеющие отношение к научной деятельности, но не являющиеся в строгом понимании этого слова научными, в том числе реферативные, научно-популярные, информационные и общественно-политические журналы, а также журналы, которые не могут быть отнесены к категории рецензируемых. Эти издания не участвуют в статистической оценке научной деятельности в РИНЦ.

Соответственно, основные библиометрические показатели (число публикаций, число цитирований и индекс Хирша) рассчитываются теперь отдельно для каждой категории, что позволяет их сравнить и понять, за счет публикаций в каких источниках они формируются. Все эти показатели представлены на странице анализа публикационной активности ученого. В списках публикаций и цитирований автора также теперь можно выводить публикации или ссылки отдельно для каждой из категорий.

Почему нельзя было оставить в РИНЦ уже загруженные выпуски исключенных журналов или исключить только статьи отдельных авторов, накручивающих себе показатели?

Логика работы баз данных научного цитирования строится на том, что они не осуществляют отбор отдельных публикаций. Они физически не в состоянии это делать при таких входных потоках публикаций. Отбор идет на уровне научных журналов, а оценка отдельных статей осуществляется уже редакциями научных журналов. Журналы являются своего рода распределенными специализированными центрами экспертизы поступающих рукописей и отбора наиболее качественных и научно значимых работ для публикации. Если эта важнейшая функция редакции научного журнала перестает работать, вся стройная система библиометрической оценки в базах данных научного цитирования разрушается. Поэтому мировая практика заключается в том, что добавляются в базу данных и перестают индексироваться целиком журналы, а не отдельные статьи. Предполагается, что если эксперты отобрали журнал для включения в индексацию, то они доверяют и всем публикациям в этом журнале, поскольку редакция журнала гарантирует их качество на приемлемом уровне.

Все журналы, исключенные из РИНЦ на данном этапе, с самого начала своего издания осуществляли свою деятельность с явными нарушениями научно-издательской этики, поэтому все их выпуски были удалены из РИНЦ. Справедливо ли это? Если проанализировать состав авторов, опубликовавших статьи в исключенных из РИНЦ журналах, то выясняется, что 80% из них опубликовали в этих журналах не более трех статей, а половина - вообще по одной статье. Если у этих авторов есть другие публикации, то особого влияния на их показатели одна или две статьи не окажут. В то же время есть категория авторов, для которых исключение этих журналов станет гораздо заметнее - около 4 тысяч ученых опубликовали в них по 10 или более статей. Есть здесь и свои антигерои, у которых в исключенных журналах по 100 и более публикаций и по несколько тысяч цитирований. Детальный анализ публикационной активности этих ученых подтверждает использование ими публикаций в данных журналах с целью искусственной накрутки своих показателей. Когда у автора в 2016 году более 500 публикаций, и у этих публикаций уже более 1400 цитирований, и при этом в ядре РИНЦ - ноль, а индекс Хирша приближается к 70, то это уже говорит не просто о массовом нарушении публикационной этики, но и вообще о потере здравого смысла в погоне за показателями.

Теперь давайте предположим, что все эти публикации остались бы в РИНЦ и представим себе двух ученых с высоким индексом Хирша. Первый всю жизнь публиковался в высокорейтинговых научных журналах, и его индекс Хирша действительно отражает его реальный научный уровень. Второй же пошел по пути наименьшего сопротивления и за пару лет накрутил себе такой же индекс Хирша через публикации в сомнительных журналах и трудах заочных конференций. Получается, что при формальном подходе оба этих ученых в равной степени претендуют на те же должности, звания, надбавки, гранты и т.д. Справедливо ли это? Интересы какого из этих ученых должен в этой ситуации поддерживать РИНЦ? Нам кажется, что ответ очевиден.

Как определить, является ли журнал рецензируемым и не будет ли он в будущем исключен из РИНЦ?

Основные критерии, по которым можно определить, является ли журнал рецензируемым и соответствует ли он требованиям РИНЦ, достаточно подробно приведены в . Много подобных рекомендаций можно найти и в Интернет. Прежде всего, нужно полагаться на здравый смысл и не поддаваться на сомнительную рекламу, где обещают все быстро, дешево и с гарантированным результатом. Если все-таки есть сомнения, спросите у более опытных коллег, является ли данный журнал авторитетным в вашем научном направлении.

Да, можно попробовать отозвать статью из журнала, доработать ее и направить в одно из рецензируемых изданий. При этом нужно обязательно указать, что статья была опубликована ранее, но отозвана и переработана. Это позволит избежать впоследствии проблем с дублированием текста при проверках на некорректное заимствование.

Будет ли продолжена работа по очистке РИНЦ от недобросовестных изданий и каким образом?

Эта работа очень важна и, безусловно, будет продолжена. По нашим оценкам, среди шести тысяч журналов, индексируемых в РИНЦ, не менее 1000 журналов вообще не проводят никакого рецензирования поступающих рукописей, то есть из РИНЦ исключена пока только треть. Также из РИНЦ будут исключаться многочисленные заочные конференции и коллективные монографии - очень сомнительные жанры научных публикаций, получившие в последнее время широкое распространение в России, и на самом деле являющиеся быстрым способом опубликовать статью без всякого рецензирования.

Как теперь в РИНЦ будут включаться новые журналы?

Теперь не будет больше автоматического включения новых журналов в РИНЦ. Каждый журнал будет проходить через внутреннюю систему оценки. Если новый журнал создается авторитетным издательством, уже имеющим журналы в РИНЦ, и не замешанном ни в каких историях, связанных с нарушениями издательской этики, то он начнет индексироваться с первого выпуска.

Если издательство новое или по его предыдущим изданиям были вопросы, то журнал может начать размещать выпуски на сайт, но сразу в РИНЦ они учитываться не будут..

Существенно сократить сроки рассмотрения вопроса о включении журнала в РИНЦ можно, если журнал будет вместе с описанием статей предоставлять тексты рецензий на них. Эти рецензии будут размещаться на странице с описанием статьи. Это позволит не только подтвердить сам факт рецензирования статей, но и оценить качество этого рецензирования.

Может ли журнал, уже индексируемый в РИНЦ, перейти на модель с открытым размещением рецензий?

Да, это возможно. Для этого издательство журнала должно доработать соглашения с авторами публикаций и рецензентами, получив от них согласие на размещение рецензий в открытом доступе. В чем при этом может быть заинтересованность авторов и рецензентов?

Во-первых, для автора, также как и для журнала, может иметь значение публичное доказательство рецензирования его работы. Во-вторых, размещение рецензий может стать стимулом, своего рода катализатором для обсуждения результатов работы коллегами и поиска новых направлений для дальнейших исследований.

Для рецензента открытые рецензии - это по сути публикация результатов его нелегкой работы. А если редакция выберет вариант с раскрытием информации о рецензенте данной статьи, то это еще и уважение коллег, и признание его квалификации научным сообществом. Опытные редакторы знают, что некоторые рецензенты пишут очень интересные и развернутые рецензии, полезные не только для автора рецензируемой рукописи. Их публикация может дать новый взгляд на интерпретацию полученных результатов и новые подходы к решению проблем, затронутых в исследовании.

Как технически будет организован процесс размещения открытых рецензий?

Тексты рецензий размещаются на странице с описанием публикации. Доступ к ним открывается для всех ученых, зарегистрированных в системе Science Index. Вместе с текстом рецензии редакция предоставляет информацию о рецензенте (ФИО и ID автора рецензии) и дату проведения рецензии. Редакция журнала сама определяет, будет ли эта информация в открытом доступе или нет.

Также редакция самостоятельно решает, все ли рецензии открываются или будут показываться только самые интересные из них. Если решение о публикации статьи принималось редколлегией самостоятельно, без привлечения внешних экспертов, то вместо рецензии может быть предоставлен текст этого решения. Разрешается также публикация не полного текста рецензии, а отдельных выдержек из нее. Рецензия может быть скорректирована или скомпилирована редакцией из нескольких рецензий. Кроме того, в некоторых случаях может быть интересна публикация ответов авторов на рецензии.

Ученые, зарегистрированные в системе Science Index, также могут писать свои отзывы и оценивать уровень данной работы после ее публикации. Кроме того, для них предоставлена возможность обсуждения результатов работы и дискуссии с авторами публикации.

Каким образом можно отозвать статью, если она уже опубликована в журнале?

Отзыв статьи (ретракция) осуществляется по официальному обращению редакции журнала. При этом инициатором ретракции может быть как авторский коллектив, так и сама редакция. Чаще всего причинами ретракции являются:

Обнаружение плагиата в публикации;

Дублирование статьи в нескольких изданиях;

Обнаружение в работе фальсификаций (например, подтасовки экспериментальных данных);

Обнаружение в работе серьезных ошибок (например, неправильной интерпретации результатов), что ставит под сомнение ее научную ценность.

Для отзыва статьи редакция должна указать причину ретракции (в случае обнаружения плагиата - с указанием на источники заимствования), а также дату ретракции.. Примеры отозванных статей можно посмотреть или . Отозванные статьи и ссылки из них исключаются из РИНЦ и не участвуют при расчете показателей.

Еще в конце XIX века в США были предприняты первые попытки систематизации опубликованных научных работ и создания их баз данных. В нашей стране работа в этом направлении стала вестись после окончания Великой отечественной войны в 50-х годах ХХ века. В современном виде перечень научных публикаций был оформлен в 2006 году.

Список РИНЦ

РИНЦ расшифровывается как «Российский Индекс Научного Цитирования». Представляет он собой список научной периодики, которая когда-либо цитировала или публиковала работы российских ученых, а также их коллег из стран бывшего СССР. Архивы базы бесплатные для использования, общедоступны и размещены на сайте https://elibrary.ru/ .

Заказать публикацию статьи

Прежде всего, перечень РИНЦ-журналов предназначен для облегчения студентам и ученым поиска интересующей их информации по той или иной теме. Однако он выполняет и другую важную функцию: анализируя журналы РИНЦ, можно получить важные статистические данные о количестве опубликованных работ.

Список периодики из ядра РИНЦ

Когда система только формировалась, журналы, входящие в РИНЦ, не проходили никакой проверки. Для их включения в перечень издатель должен был просто подать администрации системы заявку. Это привело к тому, что в перечне появилось много изданий, не имеющих какой-либо значимости для науки.

В целях облегчения поиска периодики создатели индекса поставили цель создать внутри РИНЦ список журналов, имеющих наиболее высокую ценность. Для этого издания проходят специальную экспертизу. Проводится она совместно с другим аналогичным проектом, созданным американской компанией «Томсон Рейтерс». Совокупность проверенных изданий, являющихся надежными источниками информации, получила названия «ядра» проекта. https://elibrary.ru/titles.asp?corerisc=checked

Мусорные журналы

Под мусорными изданиями понимаются такие, которые публикуют работы ученых за деньги, без должного научного рецензирования. Де-факто средства они взимают безосновательно. Многие идут на публикацию своей работы в таком издании для получения ученой степени, поскольку для этого требуется наличие опубликованных работ.

Заказать публикацию статьи

Поскольку контроль за периодикой, попадающей в базу, достаточно слабый, в ней иногда появляются такие мусорные журналы. РИНЦ ведет работу по их выявлению и исключает из перечня. Ведется список журналов, исключенных из РИНЦ. Список всех журналов, конференций и книг исключенных из РИНЦ можно найти по ссылке: https://elibrary.ru/books.asp?show_option=excluded&booktype=&sortorder=1&order=1

Для студентов

Направления

База данных включает в себя издания самых различных направлений. Среди них:

• Журналы РИНЦ по экономике. В перечне содержится 2148 таких изданий https://elibrary.ru/titles.asp .

• Журналы РИНЦ по педагогике и психологии (скрин). Их в РИНЦ 1921 и наиболее актуальным по результатам экспертизы признано педагогическое издание «Психологическая наука и образование».

Кроме этих индекс содержит издания по множеству других отраслей знания.

Конец уходящего 2015 года ознаменовался важным событием для отечественной науки: 17 декабря подразделение по научным исследованиям и интеллектуальной собственности компании Thomson Reuters , и научная электронная библиотека eLibrary.ru объявили о размещении базы данных лучших научных журналов России - Russian Science Citation Index (RSCI) на платформе Web of Science (WoS). RSCI является отдельной базой данных, не входящей в основное ядро базы Web of Science Core Collection, однако она полностью интегрирована с поисковой платформой WoS.

В базу RSCI вошло 652 российских журнала, тщательно отобранных из коллекции Российского индекса научного цитирования (РИНЦ). Интеграция ядра коллекции РИНЦ с платформой WoS, имеющей общемировую известность, значительно увеличит доступность российских журналов на международной научной арене. Отныне десятки миллионов пользователей WoS из разных уголков планеты получат прямой доступ к RSCI, а российские исследования будут отображаться наравне с исследованиями из других стран. По сравнению с набором российских журналов, уже включённых в WoS Core Collection, в базе RSCI полнее представлены публикации в области инженерных, медицинских, сельскохозяйственных, гуманитарных и общественных наук.

Олег Уткин, руководитель подразделения Thomson Reuters IP & Science в России, заявил на пресс-конференции: «Для нас большая честь разместить базу данных лучших российских научных журналов Russian Science Citation Index на платформе Web of Science и ознакомить международное ученое сообщество с результатами российских исследователей».

Как рассказал Павел Касьянов, эксперт по наукометрии Thomson Reuters в России, к настоящему времени даже англоязычные публикации в российских научных журналах, индексируемых в РИНЦ, цитируются мало, что, по-видимому, связано с малой доступностью веб-сервиса eLibrary.ru для мирового научного сообщества. Перевод, по крайней мере, названий, ключевых слов и аннотаций научных статей на английский язык и их размещение в базе данных, интегрированной с WoS, позволит преодолеть данный барьер. Кроме того, новая база данных значительно облегчит поиск научной информации и для самих российских учёных. В декабре 2015 года будет предоставлен бесплатный тестовый доступ к базе RSCI на платформе WoS. Возможно, льготный период будет продлён на январь 2016 года. Ведутся переговоры на уровне Министерства образования и науки РФ о предоставлении доступа к новой базе данных всем научным организациям России.

Второй важнейшей функцией созданной базы данных RSCI является повышение качества российских научных изданий и их приведение к уровню международных стандартов. Согласно статистическим данным, приведённым Геннадием Ерёменко (руководителем Научной электронной библиотеки eLibrary.ru), в России сейчас насчитывается около 400 тысяч учёных (научных работников, имеющих не менее одной публикации за последние 5 лет). В базу данных РИНЦ к настоящему моменту внесено 8,7 млн публикаций и более 5000 российских журналов; этот список постоянно пополняется. За 2015 год вышло порядка 800 тысяч публикаций, индексируемых РИНЦ. В то же время, РИНЦ не производит какого-либо качественного отбора индексируемых работ. Поэтому ключевым этапом создания базы данных RSCI стал отбор лучших журналов по всему спектру научных направлений.

Оценка и тщательный отбор российских научных журналов производились Рабочей группой по результатам многоуровневой экспертизы. Члены Рабочей группы возглавили соответствующие тематические (по предметной рубрикации Web of Science) экспертные советы. В её состав вошли:

• А. И. Григорьев (председатель рабочей группы), вице-президент Российской академии наук, председатель Научно-издательского совета РАН, научный руководитель научно-исследовательского центра Института медико-биологических проблем Российской академии наук (биологические и другие естественные науки — междисциплинарные журналы)
• А. А. Баранов, директор Научного центра здоровья детей (медицинские и медико-санитарные науки)
• Л. М. Гохберг, первый проректор НИУ «Высшая школа экономики», директор Института статистических исследований и экономики знаний НИУ ВШЭ (Social Sciences и Humanities - общественные и гуманитарные науки)
• Г. О. Еременко, генеральный директор Национальной электронной библиотеки (НЭБ) (консультативный совет по библиометрии)
• Е. Н. Каблов, Президент Ассоциации государственных научных центров, генеральный директор ФГУП ГНЦ «Всероссийский институт авиационных материалов» (инженерно-технические науки)
• В. В. Козлов, вице-президент Российской академии наук, директор Математического института им. В. А. Стеклова Российской академии наук (математические, компьютерные и информационные науки)
• Ю. Ф. Лачуга, академик-секретарь Отделения сельскохозяйственных наук Российской академии наук (сельскохозяйственные науки)
• Н. В. Соболев, старший научный сотрудник Института геологии и минералогии им. В. С. Соболева РАН (геологические науки)
• А. Р. Хохлов, проректор МГУ им. М.В.Ломоносова (Physical sciences - физические науки и Chemical sciences - химические науки)
• А. Я. Назаренко, НИСО РАН, ученый секретарь рабочей группы.

Руководители тематических направлений сформировали экспертные советы, привлекая к экспертизе ведущих ученых, представителей различных научных организаций (профильных отделений и научных центров РАН, федеральных и исследовательских университетов, государственных научных центров и др.). Стоит особо отметить, что в экспертные советы вошли не только столичные специалисты, но и представители регионов, например, учёные из Санкт-Петербурга, УрО РАН, СО РАН, ДВО РАН и т.д.

В качестве первичной информации был использован список журналов, индексируемых РИНЦ, и их библиометрические показатели (более 30 показателей, представленных в электронной библиотеке eLibrary.ru). Затем издания независимо оценивались на заседаниях экспертных советов и Рабочей группы, а также методом общественной экспертизы журналов ведущими российскими учеными.

Общественная экспертиза стала значительным нововведением в системе оценки журналов, индексируемых сервисами Thomson Reuters (например, журналы, входящие в Web of Science Core Collection оцениваются лишь экспертным советом, находящимся в Филадельфии, США). При проведении общественной экспертизы по каждому научному направлению были отобраны 10% ученых, имеющих самые высокие библиометрические показатели. Каждый эксперт оценивал журналы в компетенции своего направления, распределяя научные издания по четырем соответствующим уровням качества. Всего было представлено 12800 экспертных анкет и 240000 оценок журналов, а также составлено 2800 комментариев экспертов с аргументацией оценки или уточнением тематической рубрики журнала. Интересным результатом проведённой работы стала идентичность оценок, полученных журналами от Рабочей группы и в ходе общественной экспертизы. Однако при принятии окончательного решения о включении (или исключении) журнала в базу RSCI приоритет отдавался мнению Рабочей группы.

В начале работы над созданием базы RSCI планировалось отобрать 1000 лучших российских научных журналов. Однако в ходе экспертизы рабочая группа сочла возможным включить в базу лишь 652 журнала. Полностью электронные издания отбирались наравне с традиционными «бумажными». При отборе журналов не было предусмотрено каких-либо квот для различных научных направлений. Было отобрано много изданий, публикующих работы на русском языке (в частности, по русскому культуроведению, где публикация на иностранных языках нецелесообразна). В то же время, коллекция журналов RSCI отличается от РИНЦ в сторону уменьшения доли мультидисциплинарных изданий и журналов по гуманитарным и общественным наукам. Также стоит отметить, что не все российские журналы, входящие в Web of Science Core Collection и Scopus, попали в базу RSCI.

Академик РАН Анатолий Иванович Григорьев неоднократно упоминал, что работа экспертов будет продолжена в тесном сотрудничестве с Thomson Reuters и Министерством образования и науки РФ. В ходе пресс-конференции неоднократно упоминалась необходимость постоянной актуализации списка журналов, входящих в базу данных RSCI (как минимум, раз в год). Разрабатываются рекомендации для журналов, желающих попасть как в базу RSCI так и в Web of Science Core Collection. Отслеживаются новые журналы, появляющиеся в России: при сохранении высокого уровня таких журналов в течение 1-2 лет, они будут включены в базу RSCI. Также предусмотрена возможность исключения журналов из RSCI в случае падения их качества.

Леонид Гохберг, первый проректор НИУ «Высшая школа экономики», подробнее рассказал о негативных факторах, препятствующих попаданию журнала в базу данных RSCI. Среди них, отсутствие рецензии публикуемых работ, платная публикация работ в обход экспертной оценки, отсутствие адекватных списков цитируемой литературы в статьях, пониженные требования редколлегии журнала к работам молодых исследователей, а также использование различных механизмов «накрутки» библиометрических показателей. Отдельно было упомянуто, что аналитические и сугубо практические публикации (особенно в области социальных и гуманитарных наук) не могут считаться научными, а соответствующие издания не будут вноситься в базу данных RSCI.

Академик РАН Алексей Ремович Хохлов отдельно поднял вопрос о корректности списка журналов Высшей аттестационной комиссии (ВАК), содержащего более 2000 изданий, в свете результатов экспертной оценки российских научных журналов. Участники пресс-конференции активно поддержали необходимость пересмотра списка изданий, публикации в которых засчитываются при защите кандидатских и докторских диссертаций. Леонид Гохберг заявил о необходимости дать базе RSCI официальный правовой статус и руководствоваться ею при оценке эффективности научных работников, преподавателей, рассмотрении заявок на научные гранты и т.д. Особая ценность списка журналов RSCI заключается в том, что он формируется не законодательно «сверху», а «растёт снизу» на основании мнения научного сообщества.

В заключение члены Рабочей группы выразили надежду, что создание новой базы данных научных журналов России и её интеграция с платформой Web of Science (Thomson Reuters) будет способствовать адекватной оценке труда российских учёных в государственных органах и в обществе, а также будет способствовать налаживанию международных связей России не только в науке, но и в других областях.

В сентябре 2014 года компании Thomson Reuters (Сейчас Clarivate Analytics) и Научная электронная библиотека (НЭБ) заключили соглашение о размещении ядра лучших российских журналов из РИНЦ на платформе Web of Science. Целью проекта является выделение лучших российских журналов в РИНЦ и размещение их на платформе Web of Science в виде отдельной базы данных Russian Science Citation Index (RSCI), по аналогии с тем, как это было сделано с китайским и латиноамериканским индексами научного цитирования. Согласно этому соглашению, до конца 2015 года в эту базу данных будут включены до 1000 ведущих российских журналов по всем научным направлениям (все выпуски за последние 10 лет).

Размещение РИНЦ на платформе Web of Science и идентификация взаимных цитирований между публикациями в Web of Science и RSCI позволит значительно улучшить видимость российских научных журналов в международном информационном пространстве, что особенно важно для общественных и гуманитарных наук. Для российских журналов, попавших в RSCI, это будет своего рода плацдармом для их продвижения в ядро Web of Science.

Отбор журналов будет производиться в два этапа. На первом этапе будет сформирован предварительный список лучших российских журналов, отобранных с помощью библиометрических показателей и формальных критериев. На втором этапе этот список будет уточняться с помощью экспертной оценки и общественного обсуждения.

Для организации работы по оценке и отбору российских научных журналов создана Рабочая группа. Председатель рабочей группы: председатель НИСО РАН, вице-президент РАН А.И. Григорьев. Заместитель председателя: 1-й проректор НИУ ВШЭ, директор Института статистических исследований и экономики знаний Л.М. Гохберг. В состав рабочей группы войдут представители РАН, ВШЭ, НЭБ, ведущих университетов и ГНЦ.

Выделение ядра лучших журналов в РИНЦ позволит также решать и другие задачи, связанные с анализом и оценкой эффективности научных исследований в стране. В отличие от базы данных РИНЦ, в которой индексируется более 4000 российских журналов и которая ставит своей целью максимально полный охват всех публикаций российских ученых, в RSCI будут отбираться только лучшие российские публикации. Попадание в эту базу данных для журнала, автора или научной организации будет являться критерием определенного уровня качества научных исследований.

Данный проект также будет способствовать:

1. Повышению качества российских научных журналов за счет приведения их к международным стандартам.

2. Росту библиометрических показателей российских журналов в Web of Science и интегральных показателей России в целом за счет идентификации ссылок на русскоязычные версии журналов и повышения видимости и цитируемости российских журналов в мире.

3. Созданию системы оценки и мониторинга качества научных журналов, сочетающей использование библиометрической информации и экспертной оценки.

4. Совершенствованию системы оценки эффективности научной деятельности на основе учета статей в коллекции лучших российских журналов (ядра РИНЦ).