Александр Московкин →  Качество рейтингов зависит от респондентов, а не исследователей

26 ноября мне довелось выступать на конференции IBA «Управление юридической фирмой» в секции, которая была посвящена роли рейтингов в жизни юридической фирмы. Среди других спикеров мероприятия были весьма уважаемые люди из Chambers (в представлении не нуждаются), журнала «Юридическая практика» (уже больше 10 лет делает рейтинги юридических фирм Украины), а также потенциальные пользователи (Statoil) и участники (Asters) таких рейтингов. Дискуссия получилось содержательной и представительной (аудитория была полна слушателей) даже несмотря на то, что в программе конференции наша секция была последней.

Главное, что волновало присутствующих, — по каким же принципам исследователи рейтингуют юрфирмы. Вряд ли кто-то ожидал услышать полный ответ на этот вопрос, однако основное прозвучало: и Chambers, и «Юридическая практика» и Право.Ру (наш рейтинг «Право.Ру-300» выйдет в декабре этого года) основное внимание обращают на качество и величину проектов фирм. Конечно, всех интересуют финансовые и статистические показатели, отзывы клиентов и репутация, однако, несмотря на методологические различия между исследователями, все они, в общем-то, работают более-менее одинаково.

Собственно, когда эта мысль была сформулирована, думаю, мало кто из присутствующих сильно удивился ей. Уверен, куда интереснее было другое: практически все исследователи в один голос заявили, что качество рейтингов юрифирм прежде всего зависит не от методологических принципов, подходов, размера анкеты и глубины задаваемых в ней вопросов. Безусловно, все это важно: кому нужны плохие исследования и плохие рейтинги? Но мы не говорим об откровенной халтуре и непрофессионализме. Определенный уровень исследователей — гигиенический фактор. Что же тогда обеспечивает репрезентативность и высокое качество рейтингам? Ответ прост: желание фирм-участников сотрудничать с исследователями и честно отвечать на вопросы, которые они ставят.

Проработав над рейтингом «Право.Ру-300» почти год, готов подписаться под этим утверждением. Пожалуй, за время работы над нашим рейтингом ничто не являлось большим тормозом, чем необходимость объяснять компаниям-участникам, что не произойдет ничего страшного, если они сообщат нашим аналитикам свои финансовые показатели или дадут контактные данные клиентов. В конце концов, от честности и открытости выигрывают сами рейтингуемые, а не исследователи, как может показаться на первый взгляд. Конечно, нам хочется, чтобы рейтинг был глубоким, качественным и полным, однако наша задача — всего лишь провести исследование. Пользоваться же его результатами будут игроки рынка, клиенты и в конечном счете сами юридические компании.

Поэтому, когда юристы критикуют аналитиков за то, что их рейтинг не настолько хорош, как хотелось бы, думаю, следует для начала проанализировать, а что эти юристы сами сделали для того, чтобы ситуация была другой? Ведь в конечном итоге, любой рейтинг является лишь отражением того, что происходит на рынке и того, насколько он зрел и готов к тому, чтобы его рейтинговать.

17 комментариев

Dmitry Orlov
истину глаголете товарищ!
1
Дмитрий Чиракадзе
ждем ваш рейтинг, Александр, покритикуем, если будет что.
1
Борис Фороский
Любой рейтинг выражает субъективное мнение исследователей

или инвесторов, заказавших указанный рейтинг.
0
Александр Московкин
Безусловно, отражает, но я не об этих случаях. Когда цели более глобальные (непредвзятый анализ рынка, попытка разобраться в сложившейся системе) — все зависит прежде всего от готовности этого самого рынка открыться и рассказать о себе.
0
Александр Заблоцкис
Качество рейтинга — это качество методики рейтингования. Чем меньше в ней субъективного мнения рейтиговщиков, тем объективнее, а значит лучше рейтинг. И жалуются именно на неточность и необъективность рейтинга, а не на то, что он «не настолько хорош».
0
Александр Московкин
Не согласен, Александр. В рейтинге обязательно должен быть субъективный момент, на то и рейтинг. Сделать все критерии объективными просто невозможно. А если все показатели оцифрованы (которые можно оцифровать), получится просто сравнительная таблица. А рейтинги и привлекают по сути дела своим субъективизмом. Именно в нем — изюминка. А недовольных всегда хватает: всем не угодишь :)
0
Александр Заблоцкис
Где, скажите, пожалуйста, сказано, что рейтинг должен иметь элемент субъективности?

Рейтинг имеет смысл лишь тогда, когда все его участника находятся в равном положении и оцениваются исходя из методики, справедливой для всех участников. Если Иван Иванович «на глаз» определяет, какой проект «важнее», а какой «менее важен», то где гарантия, что а) Иван верно понимает слово «важность; б) Иван не относится заведомо предпочтительнее к одной из фирм; в) Иван умеет правильно оценивать нечисловые характеристики и т.п.?

Я готов согласиться с именными рейтингами заслуженных деятелей той или иной сферы. Например, рейтинг шахматистов Каспарова или рейтинг олигархов Абрамовича. Но даже в этом случае все понимают, что это субъективное мнение человека пускай и компетентного в вопросе рейтингования.
0
Александр Московкин
Александр, конечно, очень здорово, когда рейтинг проводят всеми уважаемые, заслуженные люди. И вы правы, что все должны быть изначально в одинаковых условиях. Только ведь это нисколько не противоречит тому, что я сказал. Все показатели и всю методику вы все равно никогда не оцифруете (это невозможно), поэтому субъективный момент в оценке все равно будет присутствовать. Главное — не то, что он есть, главное — любой выбор исследователей должен быть объяснен, тогда и не будет никаких вопросов. Кстати, а где сказано, что рейтинг ни в коем случае не должен быть субъективным? ;)
0
Александр Заблоцкис
Это прямо следует из значения слова рейтинг, английского rating и rate. Рейтинг заключается в оценке участников рейтинга по определенным критериям. Оценка зависит от значения критерия. Если оценивать критерии бессистемно и «как кажется», тогда нарушается принцип равных условий для всех участников рейтинга. Оценка юридических компаний, это не оценка человеческих чувств. Большинство показателей могут быть приравнены к числовому эквиваленту. Больше работы? Да.
0
Алексей Звягинцев
Само по себе наличие методики рейтингования — это и есть субъективный фактор. Рейтинг без субъективного начала просто неинтересен. Абсолютно объективным может быть только рейтинг в основе которого исключительно цифровые показатели. Однако не все можно измерить цифрами и поместить в математические формулы. Оценка юридических компаний — это в первую очередь, конечно оценка финансовой успешности компании. Но учитывая нежелание некоторых фирм публиковать финансовые отчеты, а также нежелание предоставлять информацию журналистам, необходимо искать иные факторы рейтингования, а тут уж без субъективизма никуда.
0
Александр Заблоцкис
Разработка методики — субъективный процесс, спора нет. Но сама методика должна стремиться к объективности. Примером такого стремления может стать предоставление 100 рейтинговщикам возможности оценить фирмы самостоятельно. Затем на основе оценок этих ста человек можно определить средние значения.

И, пожалуйста, приведите наконец пример критерия, который нельзя оценить, используя объективные методы? Возможно, Ваше знание точных наук позволяет Вам так категорично об этом судить, Алексей?) Александр Московкин разделяет Ваше мнение.
0
Александр Московкин
Александр, возьмите хотя бы оценку проектов: хотел бы я знать, как их можно целиком оцифровать. Невозможно. Это признает и Чемберс, и Лигал 500, и мы))) Отзывы клиентов тоже невозможно оцифровать никак. А методика должна стремиться к объективности — спору нет
0
Алексей Звягинцев
Юридические компании при их желании сотрудничать и предоставлять как можно больше данных, безусловно можно оценить с высокой степенью объективности. Спору нет. Другой вопрос что делать, если очень уважаемая и солидная контора не хочет публиковать информацию о себе? Что лучше? вычеркивать её из первой десятки, исключать из рейтинга или включать субъективизм и давать ей решением экспертного совета десяток-другой баллов? Без субъективизма лучшей в юр. фирмой РФ будет признана всем известное бюро «Иванов, Петров и партнеры». Так где тут золотая середина?
0
Александр Заблоцкис
Засунуть уважаемую западную юридическую фирма в конце рейтинга. В следующий раз они будут охотнее сотрудничать.

Прогибаться под грузом ответственности за судьбу крупных фирм — не есть золотая середина. Это даже не серебряная или медная середина. Вообще не середина, а край))
1
Александр Московкин
Александр, можно так сделать — не вопрос, но тогда Вы будете первым, кто упрекнет рейтинг в субъективности :)
0
Александр Заблоцкис
Я никогда не буду критиковать результаты рейтинговая с прозрачной методикой.

Если крупная фирма не настолько дальновидна, что не считает нужны предоставить информацию, то она вполне заслуживает оказаться в конце списка. Я только за.
0
Александр Московкин
Алексей, спасибо, согласен с Вами на 100%
0