Первый вопрос будет очень общий: дайте краткое резюме рейтинга, который выпустили IAB и ВРК. Собственно, что же такое рейтинг digital-агентств Украины?

Сложно резюмировать двумя-тремя или даже пятью словами. Это был крайне эмоциональный опыт, который длился два месяца без выходных, и мне кажется, у наших ассистентов до сих пор дергается глаз при слове «рейтинг». Потому что это были сумасшедшие усилия, очень было много сделано в ручном режиме, и мы хотели максимально понять, что может дать сбой. И мы действительно получили такой опыт, моменты, на которые обязательно нужно обратить внимание в следующем рейтинге.

При этом наша методология оцифрована и любой аспект, любое значение — это всегда цифра, каждому фактору присвоен балл. Это опыт для рынка об оцифровке каждого фактора и учета в рейтингах балла, а не экспертного понимания или самозаявления. Уход от самозаявлений — это, наверное, самый большой шаг вперед и победа нашего рейтинга.

Мы действительно смогли оценить, верифицировать бюджеты с помощью третьей стороны — юриста.

Поэтому если тремя словами: это эмоции, математический подход и верификация.

По рейтингу видно, что у вас очень серьезная методология. Расскажите, как вы ее разрабатывали.

Мы начали разрабатывать методологию с прошлого года. Это был абсолютно открытый процесс: мы публично во всех наших пабликах, аккаунтах, с помощью Состава анонсировали, что работаем над методологией. Здесь спасибо директору ВРК Максиму Романовичу Лазебнику: он сделал запись для своего канала, в котором мы немного подискутировали о формате рейтинга.

Мы запустили процесс под конец ноября — в начале декабря 2019 года. Мы опирались на наработки наших коллег — рейтинг АКАР. Этот рейтинг сложнее и включает гораздо больше факторов. У нас на сегодня факторов шесть, но полагаю, в следующем году их станет больше. Когда отработана методология, это намного проще.

Итак, есть некое условное число х, например, 10 тысяч баллов, которые можно набрать в рейтинге. Это число не несет смысла, просто принятый максимум. Его можно набрать, опираясь на шесть факторов. Каждый из шести факторов имеет вес: от 5 до 25% максимум.

В каждой из шести категорий этот вес отличается: мы старались придать смысл весу в каждой категории. Например, фестивали в категории «Интеллектуальные услуги» имели высокий вес, а в категории «Перформанс» — нет.

Что очень важно, это не рейтинг ВРК, не рейтинг IAB, не рейтинг Байдаченко — это рейтинг, который создал рынок. Была большая рабочая группа, в разные моменты от 15 до 25 человек, и две малые группы, которые тройками делали основные рывки, а потом большая группа это согласовывала.

Группа, которая работала над методологией, общалась со специалистами АКАР, которые очень хорошо оцифровали свою методологию, и, по сути мы просто применили ее в Украине.

В нашу методологию вошло шесть факторов: оборот, количество персонала, награды на фестивалях, мнение рынка, рекомендации клиентов. Очень важно понимать, что верификацию бюджета проводила третья сторона. Мы все обработали, оцифровали, еще раз показали участникам, чтобы они сверили цифры. Все это проводилось вручную.

Конечно, это сложно. Моя мечта, чтобы у нас существовала рейтинговая система наподобие ProZorro, которая бы ровно в день дедлайна в 00:00 превращалась в тыкву и переставала принимать данные.

Потому что поскольку мы первый раз проводили рейтинг, мы были очень клиентоориентированными и на просьбы «пожалуйста, можно мы сегодня еще дошлем» соглашались. Мы принимали от клиентов рекомендации на фирменном бланке с печатью, даже если они были составлены не совсем по форме. Если не был указан бюджет, брали минимальный. Но все равно принимали такие рекомендации, потому что не доверять клиенту на фирменном бланке с печатью — это нонсенс, тогда чему вообще на рынке можно верить?

Также думаем по поводу рекомендаций в следующем сезоне попробовать ввести как фактор выбор рекламодателя. Но это не Байдаченко решает, не ВРК и не IAB, а рабочая группа. Следующий рейтинг будет более взвешенным, более сбалансированным, будет включать больше факторов, но суть его математически не изменится.

Насколько сложно было работать с участниками рейтинга, ведь в него включалось много конфиденциальной информации? Как вы убеждали показать документы и гарантировали их безопасность?

Это действительно очень болезненный вопрос. Сейчас я понимаю, что, возможно, с него нужно будет начинать в следующем году. У нас он возник только к середине процесса, когда мы получили все данные, а юрист — данные по финансам (здесь я была спокойна, потому что со всеми участниками IAB заключил единое NDA: мы подписали документ, в котором перечислены все юрлица наших участников). Но по процедуре мы должны были в определенный момент обсуждать полученные данные на комиссии. И наш юрист говорит: «А теперь мы передаем конфиденциальные данные на комиссию». Мы решили, что нам стоит подписать NDA со всеми юрлицами, участниками и со всеми физлицами, которые представляют в комиссии компанию. То есть это было дополнительно еще два NDA, а потом еще дополнительные соглашения. В общем три дополнительных бумажки от каждого участника. А некоторые участники настолько были обеспокоены, что просили подписать свой NDA. Но, тем не менее, мы были готовы, у нас везде подключался юрист.

Это было очень важно, потому что с юристом все смирились: это юрист третьей стороны, с ним подписали NDA и окей, а в комиссию входят порядка 30 человек, они видят данные, рекомендации, бюджеты. Поэтому мы подписали дополнительный NDA.

Дальше мы сделали еще оптимизацию с точки зрения защиты данных. Данные по рекомендациям, которые некоторые участники считали конфиденциальными, потому что клиент указывал, по каким направлениям он работал с агентством, в каких бюджетных рейнджах и так дальше. Поэтому мы как IAB обработку и оцифровку всех данных по рекомендациям сделали самостоятельно и далее передали членам только оцифрованные данные — столько-то баллов набрано. И это было хорошее решение. Может, это не такая жесткая рекомендация, как балансы и банковские выписки, но, тем не менее, для многих это было очень sensitive.

Насколько активно участники в целом подключились к этому рейтингу? Какой был response рынка?

Я бы сказала, что response был очень высокий. Изначально у нас была первичная форма регистрации, где нужно было сказать: «Да, я хочу, вот мое контактное лицо, чтобы участвовать дальше в рассылке». Было порядка 50 агентств.

Дальше была встреча-бриф, и там был пункт, что нужно предоставить письмо-декларацию об отсутствии судебных исков. В этот момент отсеялось порядка 20 агентств. Они подумали, что такое письмо не предоставят и, наверное, лучше не участвовать. Также некоторое количество участников сказали: «Мы в следующем году будем участвовать, в этом году мы только вышли в карантин и не подозреваем, когда все эти данные вообще сможем предоставить». Хотя система была достаточно продуманная и для того, чтобы заполнить все формы, нужно было потратить не более двух часов.

Также участники, которые помнят, что раньше в тендеры приглашали только по рейтингам, писали мне: «О боже, супер, нам нужен рейтинг». Плюс я была удивлена, что многим агентствам, которые появились уже после рейтингов, тоже было очень интересно.

Поэтому в целом я бы сказала, что response rate был высокий. Да, напугало письмо-декларация, но по итогу рейтинга нам всего два агентства это письмо не предоставили и тоже не по злому умыслу, а, я бы сказала, по невнимательности. Поэтому отклик был хороший. И что для меня было примечательным: где-то за неделю-две до рейтинга мне начали звонить клиенты и говорить: «Мы прочитали, что у вас должен быть рейтинг. Когда же он будет, нам тендер объявлять». И когда уже рейтинг опубликовали, я получила множество благодарностей от клиентов. Вот, наверное, для этого мы рейтинг и делали: чтобы клиенты могли им пользоваться и корректно выбирать себе бизнес-партнера.

Как вы продвигали этот рейтинг? Как информировали о нем? Я так понимаю, большую роль играло сарафанное радио.

Не могу сказать, что у нас было супероплачиваемое продвижение. Мы использовали все наши медиа, все каналы, у нас было два интервью по рейтингу с Максимом Романовичем, и опять же — это было задекларировано в годовом плане IAB на 2020 год.

Конечно, в идеале можно было рекламу включить, но это, наверное, уже планы следующих годов. Плюс, так как я на рынке давно, я просто писала некоторым прямо в Facebook в личку: «У нас рейтинг. Хотите?». И это тоже принесло неплохие конверсии.

Возвращаясь к необходимости рейтинга. Это была реакция на запрос рынка?

С одной стороны, это стратегия и видение IAB, в том числе лично мое, что индустриализированный рынок — это рынок, в котором понятен объем, в котором проводится оценка рынка, и рынок, в котором понятно, какие игроки работают и как они соотносятся друг с другом. С другой стороны — это действительно запрос рынка, потому что наш рынок не так дик, есть госзакупки и тендеры, которые должны на что-то опираться. Такой вот стык бизнес-потребностей и индустриализации рынка.

Сколько времени занимал процесс анализа одного участника?

Если без юриста, то до двух часов.

Сколько всего человек работало над рейтингом?

Я, Лена Васюкова, наш юрист Марина Войткова, юрист Александр Заводецкий (думаю, еще и его ассистент, потому что там большой объем работы). Минимум пять человек.

Если посмотреть со стороны участников, у многих был вовлечен главный бухгалтер, CFO, юрист и тот, кто заполнял таблицы. То есть минимум четыре человека от каждого участника.

Давайте поговорим об уроках, которые вы вынесли из первого рейтинга. Какие моменты удивили, что бы вы учли в следующем рейтинге?

Хотим изменить инструктаж и систему коммуникации. Потому что мы проводили детальный инструктаж, высылали все методологии, все документы. Но нюанс в том, что не все участники удосужились их прочитать. С одной стороны, это их проблема, с другой стороны — наша: дали не самый удобный формат.

Поэтому в следующий раз это будут короткие видео, мы будем выделять строчки, которые нужно заполнять, красным, нельзя будет сказать: «О, а мы не думали, что это нужно заполнять».

Также, скорее всего, мы откажемся от переписки в e-mail. У нас будет, наверное, даже открытая группа в Facebook, в которой будет сказано: «Вы получили сегодня такое-то задание, заполняйте».

С почтой возникают сложности, потому что, например, от компании регистрировался изначально один человек, потом рейтинг передали на другого. От некоторых компаний просили добавить трех человек, от кого-то еще дополнительно юриста. В результате вырастала переписка, в которой очень легко было кого-то передать и легко забыть.

Facebook-группа, скорее всего, будет открытой, чтобы все могли посмотреть, как шел процесс.

Сколько компаний вошло в финальный рейтинг?

27, если я не ошибаюсь. Одно агентство попросило выйти. Мы оставили такое правило на первый раз: если вы вдруг видите, что результат не устраивает, мы вас уберем из списка. В следующий раз, если вы подались, мы вас в любом случае учтем. И мы удалили из списка еще одно агентство, которое зарегистрировалось, но не подало никакой документации. Оно все равно набрало баллы, потому что имеет хорошую репутацию на рынке. Я уговаривала их продолжить, но у них не дошли руки.

В следующем рейтинге, помимо шести категорий, вы, возможно, добавите еще выбор рекламодателя?

Да, мне нравится идея про количество лет на рынке. Хотя бывают разные случаи. Когда не компании, а команде сто лет, их все хорошо знают, но мы не можем учесть их никак. Я бы вынесла этот вопрос на обсуждение. Возможно, это будет иметь смысл для тех же медиаагентств и продакшна.

Поэтому количество лет на рынке и выбор рекламодателя будем обсуждать. Возможно, что-то будем думать с фактором фестивалей. Рейтинг показал, что у нас малое количество агентств вообще имеют эти баллы — фестивальные работы, креативные рейтинги, Effie. Это очень плохо, так как показывает, что рынок не верит в индустриализованные награды. Это признак нецивилизованности рынка. Я бы хотела оставить в этой категории шкалу, которая бы мотивировала участников подаваться на Effie и фестивали, это очень важно.

Поговорим немного о выводах, которые вы сделали из рейтинга. Какие есть проблемные места у украинского рынка digital?

Если в привязке к рейтингу, мне бы хотелось, чтобы в списке было не 27 участников, а под 50 (те, которые регистрировались, но потом испугались). Например, тяжбы с налоговой не ставят сразу крест на рейтинге. И я бы хотела, чтобы рейтинг представлял рынок. 27 агентств — это очень неплохо. В первом digital-рейтинге было порядка 15 агентств. Но мне хотелось бы большей репрезентативности. Это со временем отстраивается. Потому что в этом году мне позвонили три procurements и спросили: «Где рейтинг?». Это означает, что в следующий раз procurements будут смотреть рейтинг, чтобы составить тендерное предложение.

Как получилось, что в категории «Дата и аналитика» было только два агентства? Больше не подавались?

Да, здесь интересная ситуация: агентству можно было выбрать только три приоритета. Есть шесть категорий, но ты будешь отрейтингован в трех, поэтому выбери свои три самых сильных места. И оказалось (это мы уже увидели постфактум), что многие агентства, которые могли бы податься в эту категорию и даже потеснить тех двух игроков, которые заняли сегодня 1-2 место, приняли решение податься в другие категории. Поэтому это, скорее всего, статистический выброс. И участники к следующему году учтут: «Если я подамся в такую категорию, у меня здесь шансов будет больше». Будут лучше оценивать свои ресурсы.

Когда вы планируете начинать работу над следующим рейтингом?

Думаю, в ноябре. Я хочу финализировать методологию до конца года и в январе сделать рейтинг. Может, у нас будет партнер, с которым мы сможем сделать систему подачи, и тогда все пойдет быстрее. Когда карета превращается в тыкву в 00:00 и никаких больше дослать, «ой, пожалуйста», «мы забыли» больше не работает.

Скажу честно, это тоже дало нам удлинение на две недели. И плюс еще юридические вещи, досылки по NDA, из-за карантина вместо оригиналов многие присылали сканы. Если агентство со своей стороны выложило подписанный скан, для меня это сигнал, что я могу работать дальше. В плане карантина и диджитализации, я считаю, мы отработали супер.

Вы упоминали пост-интервью с участниками. Какой был фидбек уже после выхода рейтинга?

Что это очень нужно и что они надеются, что в следующем году будет проще и безболезненней. С некоторыми участниками мне удалось поговорить по телефону. Также я поговорила с теми, кто не подал данные, чтобы выяснить, в чем причина. Там не причина злой умысел или желание что-то скрыть, просто на момент подачи рейтингование упало в low priority исключительно потому, что были другие бизнес-интересы, не хватило ресурса это отработать. Получили просьбу по NDA начинать работу раньше, и мы действительно так в следующий раз и сделаем. За счет карантина удлинилась цепочка подписания, у кого-то недоступна печать, у кого-то недоступный подписант. Все это понятно, мы действительно сможем это сделать заранее в следующем году. Чтобы не терялась информация в почте, сделать какой-то другой канал коммуникаций. Конечно, в идеале это CRM-система, но это деньги. Скорее всего, это будет открытая Facebook-группа с дублем каких-то ключевых вещей по почте.

Как повлиял на процесс карантин? Какие моменты пришлось преодолевать?

Когда я написала участникам про сроки в три недели, некоторые попросили два месяца. Я сказала: «Тут нечего делать два месяца, вы заполняете анкету и параллельно — рекомендации онлайн». В этом моменте один большой участник отвалился, сказал, что не успеет. Но именно этот участник позвонил в день публикации и сказал: «А почему нас нет?».

Это ожидаемо. Если люди не были в системе рейтингования лет 6-7 назад, то это разочарование, когда тебя нет. Я говорила, что когда-то я работала в очень диджитализированных компаниях, где все процессы удаленные. А если компания не имеет этой диджитализации, это означает, как только они перемещаются на удаленную работу, у них все сыплется. И, конечно, тут тебе не до рейтинга.

И когда я поняла, что не все компании диджитализированы, я поняла, почему им нужно больше времени. Поэтому у нас было в изначальном тайминге три недели, но по факту получилось два месяца.

Собираетесь ли делать новые рейтинги?

Да, у меня грандиозные планы. Я бы хотела в следующем году сделать не шесть категорий, а шесть-восемь. Общаясь с участниками, понимаешь, что есть категории, которые нужно нарезать и выделить. Мы предварительно обсуждали необходимость создания более углубленного рейтинга продакшна, который может появиться уже летом.

Как ваш рейтинг изменит рынок?

Изменит, в том, что я вижу, цивилизованный подход закупок к выбору партнеров. Это уже шесть категорий, они уже понимают, по какому критерию тендер, и смогут лучше выбирать.

Плюс мы опубликовали эти огромные таблицы, на которые все жаловались, но это и есть прозрачность, которой мы старались придерживаться изначально с этапа разработки. Все публично. Не просто 1-2-3-4-5 место, а потому что такие баллы. И не просто 238, а в каждой категории вот такие-то баллы, максимум был вот такой-то, минимум вот такой-то.

Когда мы выслали агентствам первую раскладку, то у нас были вопросы не «Почему у меня такие баллы?», а «Вот здесь потеряли что-то, ссылка не туда ведет».

И procurements всегда могут максимально полно понять, что агентство стало номером три, потому что в этой категории столько-то баллов набрало, а в другой — столько-то.

Планируете ли это как-то оформлять, условно, в формате pdf с комментариями экспертов или кратким описанием каждой категории?

Спасибо за идею, но пока не дошли руки. Сейчас мы плотно работаем над двумя проектами: срез зарплат компании с Ernst&Young и экосистема рынка. Оба — плотные процессы. Ernst&Young — это серьезный подход, обеспечение конфиденциальности, куча новых документов. Мы ожидали, что в марте это сделаем, но все еще в процессе. Но когда мы это сделаем, это будет качественно и конфиденциально.

А с экосистемой рынка нам хотелось бы сделать не то что pdf, а интерактивный сайт. Компания Isobar предварительно высказала желание быть техническим партнером и такой сайт нам сделать.

А когда примерно планируется выход этих проектов?

Думаю, до июля. Самое трудное — это классификатор, а его мы сделали в марте. Дальше — документы, мы в финальной стадии, а потом рассылаются формы. Затем я и Лена начинаем всех обзванивать и напоминать о заполнении. Какое-то время Ernst&Young обрабатывает данные и дает нам отчет. Я надеюсь, что это июль.

Экосистему тоже надеюсь сделать до конца лета. Сейчас мы практически готовы к бета-версии, которая запускается среди членов IAB, готовится финальная версия экспертных опросников и дальше подключается не менее ста экспертов. И потом, надеюсь, мы все это сделаем на интерактивном сайте. Например, когда пользователь будет заходить на этот сайт и нажимать классифайды, будет распадаться дерево классифайдов. Здесь есть огромный плюс для участников рейтинга: они автоматом уже включены в экосистему.