Александр Московкин → Качество рейтингов зависит от респондентов, а не исследователей
26 ноября мне довелось выступать на конференции IBA «Управление юридической фирмой» в секции, которая была посвящена роли рейтингов в жизни юридической фирмы. Среди других спикеров мероприятия были весьма уважаемые люди из Chambers (в представлении не нуждаются), журнала «Юридическая практика» (уже больше 10 лет делает рейтинги юридических фирм Украины), а также потенциальные пользователи (Statoil) и участники (Asters) таких рейтингов. Дискуссия получилось содержательной и представительной (аудитория была полна слушателей) даже несмотря на то, что в программе конференции наша секция была последней.
Главное, что волновало присутствующих, — по каким же принципам исследователи рейтингуют юрфирмы. Вряд ли кто-то ожидал услышать полный ответ на этот вопрос, однако основное прозвучало: и Chambers, и «Юридическая практика» и Право.Ру (наш рейтинг «Право.Ру-300» выйдет в декабре этого года) основное внимание обращают на качество и величину проектов фирм. Конечно, всех интересуют финансовые и статистические показатели, отзывы клиентов и репутация, однако, несмотря на методологические различия между исследователями, все они, в общем-то, работают более-менее одинаково.
Собственно, когда эта мысль была сформулирована, думаю, мало кто из присутствующих сильно удивился ей. Уверен, куда интереснее было другое: практически все исследователи в один голос заявили, что качество рейтингов юрифирм прежде всего зависит не от методологических принципов, подходов, размера анкеты и глубины задаваемых в ней вопросов. Безусловно, все это важно: кому нужны плохие исследования и плохие рейтинги? Но мы не говорим об откровенной халтуре и непрофессионализме. Определенный уровень исследователей — гигиенический фактор. Что же тогда обеспечивает репрезентативность и высокое качество рейтингам? Ответ прост: желание фирм-участников сотрудничать с исследователями и честно отвечать на вопросы, которые они ставят.
Проработав над рейтингом «Право.Ру-300» почти год, готов подписаться под этим утверждением. Пожалуй, за время работы над нашим рейтингом ничто не являлось большим тормозом, чем необходимость объяснять компаниям-участникам, что не произойдет ничего страшного, если они сообщат нашим аналитикам свои финансовые показатели или дадут контактные данные клиентов. В конце концов, от честности и открытости выигрывают сами рейтингуемые, а не исследователи, как может показаться на первый взгляд. Конечно, нам хочется, чтобы рейтинг был глубоким, качественным и полным, однако наша задача — всего лишь провести исследование. Пользоваться же его результатами будут игроки рынка, клиенты и в конечном счете сами юридические компании.
Поэтому, когда юристы критикуют аналитиков за то, что их рейтинг не настолько хорош, как хотелось бы, думаю, следует для начала проанализировать, а что эти юристы сами сделали для того, чтобы ситуация была другой? Ведь в конечном итоге, любой рейтинг является лишь отражением того, что происходит на рынке и того, насколько он зрел и готов к тому, чтобы его рейтинговать.
Главное, что волновало присутствующих, — по каким же принципам исследователи рейтингуют юрфирмы. Вряд ли кто-то ожидал услышать полный ответ на этот вопрос, однако основное прозвучало: и Chambers, и «Юридическая практика» и Право.Ру (наш рейтинг «Право.Ру-300» выйдет в декабре этого года) основное внимание обращают на качество и величину проектов фирм. Конечно, всех интересуют финансовые и статистические показатели, отзывы клиентов и репутация, однако, несмотря на методологические различия между исследователями, все они, в общем-то, работают более-менее одинаково.
Собственно, когда эта мысль была сформулирована, думаю, мало кто из присутствующих сильно удивился ей. Уверен, куда интереснее было другое: практически все исследователи в один голос заявили, что качество рейтингов юрифирм прежде всего зависит не от методологических принципов, подходов, размера анкеты и глубины задаваемых в ней вопросов. Безусловно, все это важно: кому нужны плохие исследования и плохие рейтинги? Но мы не говорим об откровенной халтуре и непрофессионализме. Определенный уровень исследователей — гигиенический фактор. Что же тогда обеспечивает репрезентативность и высокое качество рейтингам? Ответ прост: желание фирм-участников сотрудничать с исследователями и честно отвечать на вопросы, которые они ставят.
Проработав над рейтингом «Право.Ру-300» почти год, готов подписаться под этим утверждением. Пожалуй, за время работы над нашим рейтингом ничто не являлось большим тормозом, чем необходимость объяснять компаниям-участникам, что не произойдет ничего страшного, если они сообщат нашим аналитикам свои финансовые показатели или дадут контактные данные клиентов. В конце концов, от честности и открытости выигрывают сами рейтингуемые, а не исследователи, как может показаться на первый взгляд. Конечно, нам хочется, чтобы рейтинг был глубоким, качественным и полным, однако наша задача — всего лишь провести исследование. Пользоваться же его результатами будут игроки рынка, клиенты и в конечном счете сами юридические компании.
Поэтому, когда юристы критикуют аналитиков за то, что их рейтинг не настолько хорош, как хотелось бы, думаю, следует для начала проанализировать, а что эти юристы сами сделали для того, чтобы ситуация была другой? Ведь в конечном итоге, любой рейтинг является лишь отражением того, что происходит на рынке и того, насколько он зрел и готов к тому, чтобы его рейтинговать.
или инвесторов, заказавших указанный рейтинг.
Рейтинг имеет смысл лишь тогда, когда все его участника находятся в равном положении и оцениваются исходя из методики, справедливой для всех участников. Если Иван Иванович «на глаз» определяет, какой проект «важнее», а какой «менее важен», то где гарантия, что а) Иван верно понимает слово «важность; б) Иван не относится заведомо предпочтительнее к одной из фирм; в) Иван умеет правильно оценивать нечисловые характеристики и т.п.?
Я готов согласиться с именными рейтингами заслуженных деятелей той или иной сферы. Например, рейтинг шахматистов Каспарова или рейтинг олигархов Абрамовича. Но даже в этом случае все понимают, что это субъективное мнение человека пускай и компетентного в вопросе рейтингования.
И, пожалуйста, приведите наконец пример критерия, который нельзя оценить, используя объективные методы? Возможно, Ваше знание точных наук позволяет Вам так категорично об этом судить, Алексей?) Александр Московкин разделяет Ваше мнение.
Прогибаться под грузом ответственности за судьбу крупных фирм — не есть золотая середина. Это даже не серебряная или медная середина. Вообще не середина, а край))
Если крупная фирма не настолько дальновидна, что не считает нужны предоставить информацию, то она вполне заслуживает оказаться в конце списка. Я только за.