02/16/2010 | Ivan Sterligov

Новые индикаторы лишены ряда недостатков продукции Thomson Reuters
11 февраля 2010, 00:15 Ivan_Sterligov http://blogs.strf.ru/blog/17.html

Наши чиновники все чаще говорят об использовании библиометрии в оценке R&D. Вот строки из февральского интервью Александра Хлунова, ныне главы департамента науки, технологий и образования Правительства:

“Единственным критерием для ученого будет признание его достижений научным миром. А научное сообщество уже давно нашло средство для оценки работы ученых — число публикаций в престижных журналах и число цитирований. Об этих инструментах можно спорить, говорить, что они не всегда корректны, но лучшего мерила наука пока не придумала. И надо сказать, что в подавляющем большинстве случаев он вполне объективен”. http://www.rg.ru/2010/02/03/nauka.html

Оставим в покое «лучшее мерило», лучше поговорим о другом принципиальном моменте. Что такое престижный журнал? На сегодня общепринятым знаком престижа служит величина импакт-фактора.

Импакт-фактор придумал один из основателей библиометрии Юджин Гарфилд. ИФ журнала N за 2008 г. равен A\B, где А – общее число ссылок на все статьи данного журнала за 2006-2007 гг., а B – общее число статей данного журнала за те же годы. По сути, это среднее число ссылок на 1 статью.

Понятно, что ИФ зависит от набора журналов, по которому библиометрическая база данных считает ссылки. На сегодня наиболее распространенным источником служит платный Journal Citation Reports http://wokinfo.com/products_tools/analytical/jcr/ производства Thomson Reuters.

Популярность импакт-фактора не ослабевает, но у него есть масса критиков. Слабых мест в использовании ИФ, действительно, много. Основной недостаток был подмечен самим Гарфилдом еще в 1970-е: это огромные различия по дисциплинам и тематикам. В разных науках разное число ссылок в одной статье, разная скорость цитирования новых статей, разное число авторов и т.д. Поэтому сравнивать по ИФ престижность журналов из разных дисциплин невозможно.

Конечно, есть выход – учитывать при сравнении журналов среднее число ссылок по дисциплинам. Но по поводу того, как именно выделять эти дисциплины, остается много вопросов и консенсуса пока не найдено.

Сейчас ситуацией пытается воспользоваться конкурент Thomson Reuters, издательский холдинг Elsevier, успешно продвигающий свою библиометрическую систему Scopus. Две недели назад было объявлено, что в Scopus интегрированы два новых показателя, характеризующие уровень признания и влиятельности журналов и лишенные многих недостатков ИФ. Эти показатели находятся в открытом доступе. Речь о SNIP и SJR.

1. SNIP

Смысл SNIP понятен из расшифровки аббревиатуры: Source Normalized Impact per Paper. Этот показатель разработан Henk Moed из Университета Лейдена, который в деталях поясняет свои мотивы и методику в статье в arXiv http://arxiv.org/ftp/arxiv/papers/0911/0911.2632.pdf .

Moed следует давней идее Гарфилда об автоматическом учете контекста, в котором существуют журналы и статьи, путем анализа величины пристатейных списков литературы. Для этого им вводится понятие «потенциала цитирования по базе» (Database Citation Potential, DCP). Для журнала N в 2008 г. этот показатель подсчитывается так:

— из базы Scopus берутся все статьи 2008 г., в которых хоть раз цитируются статьи из N,

— в списке литературы каждой из этих статей подсчитывается число ссылок на любые присутствующие в Scopus статьи, вышедшие в 2005-2007 гг., т.е. за три предшествующих года. Среднее количество таких ссылок в одной статье и есть DCP.

Но это еще не все. При расчете SNIP используется не абсолютный, а относительный DCP, т.н. RDCP. Он получается путем деления DCP данного журнала на DCP медианного для всего Scopus журнала. На сегодня это Journal of Electronic Materials с DCP = 6,87.

Затем для журнала считается аналог обычного импакт-фактора, в терминологии Moed называемый Raw Impact per Paper (RIP) – среднее число ссылок на статьи журнала за три предшествующих года, т.е. 2005-2007.

Наконец, RIP делится на RDCP – и мы получаем SNIP.

У него, действительно, есть важные достоинства:

— независимость от произвольных классификаций дисциплин, полностью автоматический характер выделения контекста – на уровне отдельных статей, а не журналов,

— соответственно, пригодность для анализа мультидисциплинарных изданий типа Nature и Science, и для сравнения журналов разных тематик,

— адаптивность к различиям по характеру, объему и скорости цитирований не только среди дисциплин, но и среди отдельных журналов внутри них,

— большая устойчивость к манипулированию, которому подвержен традиционный импакт-фактор http://en.wikipedia.org/wiki/Impact_factor#Manipulation .

Основной недостаток — не решена проблема с журналами, печатающими много высокоцитируемых обзоров, а не оригинальных статей.

2. SJR

SJR – это Scimago Journal Rank, разработанный испанской исследовательской группой Scimago. Этот индикатор строится на основе алгоритма, подобного Google PageRank, по которому поисковик сортирует наиболее релевантные результаты.

В основе SJR лежит идея о неравнозначности ссылок. Если на вашу статью сослались в Nature, это одно, а если в провинциальном «Вестнике» — совсем другое. Важность журналов, поставляющих ссылки, высчитывается рекурсивно, т.е. по числу получаемых ими самими ссылок. Алгоритм определения веса журналов довольно сложный и включает преобразование сети журналов в особый граф (детали изложены здесь http://arxiv.org/ftp/arxiv/papers/0912/0912.4141.pdf ). SJR также считается за три года, а не два, как ИФ.

Особых отклонений от традиционного ИФ для большинства журналов SJR не несет, но по некоторым изданиям цифры существенно отличаются, преимущественно в худшую сторону. Авторы SJR трактуют это как знак завышенного в ИФ научного веса. Уже существуют попытки независимого сравнения двух индикаторов http://www.fasebj.org/cgi/content/short/22/8/2623 .

Все SNIP и SJR по журналам Scopus выложены в открытом доступе здесь http://www.journalmetrics.com/