Возможно ли получить доказательство?
В 1970 году совместно с Петером Уарром и Майком Бердом я написал книгу об обучении оценке. Один из выводов в нашей книге гласил: сложности управления факторами реальной жизни делают практически невозможным получение доказательства роста продуктивности в результате обучения. В процессе работы над книгой мы обсуждали «идеальное» оценочное исследование. Майк Берд и я сидели в офисе и часами размышляли о том, как бы разработать идеальную оценку. Майк нарисовал на доске схему (рис. А. 4) и сказал: «Смотри, большинство людей именно так проводят оценку. Однако, – добавил он, – взгляни на все это множество переменных.
 |
|
Рис. А. 4. Общепринятый подход к оценке |
Как ты можешь доказать, что какое-то изменение произошло только под воздействием обучения?» Он быстро схематически показал влияние некоторых других факторов (рис. А. 5).
 |
|
Рис. А.5. Побочные переменные общепринятого подхода к оценке |
Подобные разговоры вгоняли меня в депрессию, особенно по тому, что как раз в это время я читал книгу Карла Поппера, философа, известного своим утверждением о невозможности доказать вообще что-либо. Поппер предположил, что единственный способ доказать что-то в науке – снова и снова безуспешно пытаться это опровергнуть. «Можем ли мы воспользоваться таким подходом? – поинтересовался я. – Просто предположим, что, вместо того чтобы пытаться доказать, что обучение повышает продуктивность, мы подойдем к вопросу с обратной стороны и попробуем опровергнуть какое-либо воз действие на продуктивность. Может, так будет лучше?»
Разговор не имел продолжения, но спустя годы, борясь с проблемами тестирования эффективности работы подхода СПИН, я вдруг вспомнил наш разговор с Майком. Стоит ли нам забыть о доказательстве и вместо этого взяться опровергнуть предположение, что описанные в этой книге навыки увеличивают продажи?
Доказательство или опровержение – важно ли это?
Вы можете счесть, что моя исследовательская одержимость доказательством или опровержением – академичный способ загубить дело. В собственную защиту могу сказать, что ежегодно миллиарды долларов впустую тратятся на обучение методам продаж, причем без малейшего доказательства эффективности или неэффективности последних. Ни одна другая сфера бизнеса не проявляет подобную небрежность в вопросах тестирования своих продуктов или методов. Цивилизованное общество рухнет, если производственные разработчики будут так же безразлично относиться к эффективности продукта, как большинство организаций по разработке учебных программ. Сложность измерения эффективности того или иного подхода к продажам не является поводом не предпринимать подобных попыток, – скорее, наоборот, трудности делают измерение еще более необходимым. Оставив всякие попытки как можно точнее измерить эффективность обучения продажам, мы по-прежнему будем терять миллиарды долларов, которые можно было бы потратить на повышение продуктивности в какой-либо другой сфере. Меня не особенно волнует, будет это доказательство или опровержение, но я страстно поддерживаю все, что предоставит лучшее измерение и проверку, потому что без подобных тестов моя профессия – обыкновенная профанация. Если вы простите мне сию недолгую проповедь, то, надеюсь, поймете, что моя забота о тщательной и скрупулезной оценке – в ваших интересах.
Причина, по которой мы проводим все эти измерения и тесты, в том, что нам необходимо убедиться в работоспособности того материала, который мы вам преподаем. Раньше в армии говорили: «Если оно движется – застрели его, если стоит на месте – покрась». Команда Huthwaite перефразировала это высказывание: «Если оно движется, измерь его, если не можешь измерить – застрели». Измерение и тестирование стали для нас навязчивой идеей.
Стадии опровержения
Движимые энтузиазмом по отношению к точному измерению подхода СПИН, я и мои коллеги по команде Huthwaite потратили огромное количество времени на борьбу с проблемами доказательства и опровержения. Прежде чем измерять рост продуктивности, мы решили пройти два других теста, или возможности опровержения, как назвал бы их Поппер.
Тест 1. Эти навыки делают встречи эффективнее? Как мы могли узнать, что преподаем правильные навыки? Прежде чем начать отвечать на сложные вопросы по поводу измерения продуктивности, нужно было проверить, работают ли данные модели. Предположим, что мы обучаем команду по работе с крупными клиентами традиционной модели продаж недорогих товаров, которая предусматривает постановку открытых и закрытых вопросов, предоставление преимуществ и последующее использование техник закрытия для получения обязательства. Из доказательств, представленных ранее, маловероятно, что выбор этой модели повысит эффективность продаж крупным клиентам. Даже значительный рост продуктивности после тренинга может быть результатом воздействия других факторов. То есть, прежде чем мы начнем измерять увеличение продуктивности, нам следует протестировать навыки, которым мы обучаем людей.
Вообще говоря, мы знали, что модели СПИН прошли этот тест, так как они появились в результате исследований успешных продаж. То есть существовала высокая вероятность того, что освоение навыков СПИН позволит продавцам повысить эффективность работы. Однако если мы хотим провести настоящее оценочное исследование, то вынуждены пойти намного дальше. Придется ответить на конкретный вопрос об отдельных продавцах, чью эффективность мы собираемся измерять. Мы не могли положиться на исследования, проведенные нами в других компаниях, на других рынках или с другими группами. Что, если эта группа отличается от остальных? Не было гарантий, что СПИН сработает в этой группе только потому, что срабатывал в других местах. Окончательный оценочный тест мы должны были начать с исследования того, как выглядит успешная встреча для группы людей, которых мы собираемся учить. Мы не могли пойти на риск и позволить факторам, уникальным с точки зрения их географической, рыночной, продуктовой специфики организации продаж, лишить наши результаты законной силы. Если бы этот тест представил нам твердые доказательства того, что преподаваемые нами навыки работают в данной группе, это исключило бы еще один источник опровержения (рис. А. 6).
 |
|
Рис. А. 6. Стадии доказательства или опровержения |
Тест 2. Как мы узнаем, что люди пользуются новыми навыками? Следующий шаг в наших поисках опровержения – выяснить, действительно ли после обучения люди используют в своей работе полученные навыки. Однажды я попался на этом тес те. Мы измеряли повышение продуктивности в группе продавцов одного из отделений компании General Electric. Спустя шесть месяцев после обучения СПИН продажи в среднем вырос ли на 18 %. Могли ли мы отнести это на свой счет? Увы, нет. Наблюдая, как эти люди продавали до и после обучения, мы установили, что частота использования типов поведения СПИН осталась практически на том же уровне, что и до обучения. Мы вновь отвергли предположение, что рост эффективности связан с применением нашей модели.
Этот тест, измеряющий влияние обучения на поведение людей во время встречи, крайне редко проводится разработчиками учебных программ. Очень жаль. Лично мы, проанализировав количество изменений в поведении, имевших место после наших учебных программ, узнали много нового об эффективной разработке тренингов. Уверен, что прочие разработчики тоже оценили бы полезность такого рода измерений, в отличие от обычных тестов-улыбок «тренинг-оказался-хорошим-потому-что-люди-говорят-что-им-нравится». Обычно подобным тестом оценка тренинга и ограничивается.
Постепенно мы разрабатывали спецификацию для очень сложного метода, который намеревались использовать для оценки эффективности наших моделей СПИН. Метод предполагал следующие стадии оценки:
– Понаблюдать за работой группы продавцов, сотрудничающих с крупными клиентами, чтобы выяснить, пользуются ли они типами поведения СПИН в успешных встречах чаще, чем в неудачных. Если да, то первый тест мы прошли – теперь мы знаем, что для этой группы людей модель срабатывает.
– Научить группу пользоваться методами СПИН, которые мы пытаемся оценить.
– После обучения присутствовать на встрече вместе с каждым продавцом из группы, чтобы определить, чаще ли они стали пользоваться во время встречи изученными типами поведения. Если да, мы прошли второй тест – мы знаем, что люди активно используют новые навыки.
– С учетом пройденных тестов измерить рост продуктивности по сравнению с контрольными группами.
Метод представляется сложным, но другой альтернативы мы не видели. Более простые оценочные тесты не выдерживали тщательной проверки. Автор ряда книг и корпоративный эксперт по планированию Майкл Ками однажды сказал мне: «На любой сложный вопрос существует простой ответ, и этот ответ будет неверен». Нам пришлось согласиться с ним, ибо если мы хотели получить объективную оценку комплексной проблемы, то были вынуждены добиваться ее посредством сложных методов.
Тест с компанией Kodak: почти у цели
Мы показали наш план оценки нескольким клиентам в надежде заинтересовать их. Это мягко выражаясь, а грубо говоря – мы хотели уговорить их оплатить очень дорогой тест. Большинство клиентов, предвидя размер грозящих им затрат, предложили нам проводить оценочные тесты где-нибудь в другом месте. Некоторое время мы очень надеялись провести полный тест с Kodak – организацией, имевшей глубокие традиции тщательного тестирования новых методов. Компания Kodak предполагала использовать тренинги на основе СПИН в своих филиалах по всему миру, занимавшихся крупными продажами, поэтому оценочный тест был бы совершенно логичным первым шагом. Мы пришли к соглашению протестировать модель путем наблюдения группы продавцов отделения по работе в области здравоохранения. Естественно, модель СПИН работала именно так, как предсказывало наше исследование. Извлекающие и направляющие вопросы встречались более чем в два раза чаще в успешных встречах, чем в неудачных.
Затем мы обучили пилотную группу и после обучения вместе с продавцами присутствовали на встречах, чтобы выяснить, пользуются ли они новыми навыками. И вновь все было в порядке. Количество выгод и извлекающих вопросов возросло втрое, а направляющих – вдвое. Продавцы теперь использовали больше успешных типов поведения, чем до обучения.
Мы были в восторге. Впервые с момента начала тестирования продуктивности мы могли сказать: «Мы знаем, что модель работает, и знаем, что эти люди пользуются ею на встречах». Затем появились хорошие новости и одна плохая, поразившая нас как гром. Хорошие новости состояли в том, что компании Kodak так понравился пилотный тест, что она решила внедрить методы СПИН по всему миру. Плохой новостью оказался тот факт, что впечатленное отзывами своих сотрудников о пилотном проекте руководство не видело смысла в тщательных и дорогостоящих тестах продуктивности. «Тест-улыбка» нанес нам сокрушительный удар!
Сотрудничество с канадским подразделением Motorola
Мы почти смирились с мыслью, что судьба исследователя беспросветна, как вдруг получили заманчивое предложение от компании Motorola. Как и Kodak, Motorola хотела проверить модель СПИН, чтобы в случае положительных результатов внедрить ее в своих филиалах по всему миру. Для проведения исследования было выбрано отделение коммуникаций в канадском филиале Motorola. Мы намеревались соблюсти все условия, способные обеспечить точность полученной оценки, а в виде бонуса получили независимого исследователя Марти Бишоп, которая раньше работала с нашими моделями и методами в корпорации Xerox в качестве менеджера по оценке. Она должна была оценить эффективность программы СПИН, пройдя через все упомянутые нами стадии идеальной оценки продуктивности. Ниже приведен отрывок из краткой версии ее отчета.
Изучение продуктивности канадского подразделения Motorola
Данный отчет является анализом продуктивности программы СПИН, проведенным в течение третьего квартала 1981 года. Анализ проводился с целью получения ответов на следующие вопросы:
– Работает ли модель СПИН в подразделении компании Motorola, Канада?
– Используют ли сотрудники данную модель после обучения?
– Приводит ли это к измеряемому повышению их продуктивности?
Работает ли эта модель? Первой задачей motorola было проверить, действительно ли типы поведения СПИН предсказывают успех встреч с клиентами продавцов данной компании так же, как в других компаниях, где этот метод оказался успешным.
Чтобы это проверить, мы сопровождали на встречах каждого из 42 торговых представителей, которых планировалось обучить и затем проверить на частоту использования типов по ведения СПИН в удачных и неудачных встречах.
Мы обнаружили, что все типы поведения использовались чаще в успешных встречах.
Успешные встречи
Ситуационные вопросы на 1 % больше
Проблемные вопросы на 17 % больше*
Извлекающие вопросы на 53 % больше*
Направляющие вопросы на 60 % больше*
Выгоды на 64 % больше*
Характеристики на 5 % больше
* Статистически значимые данные.
Обучение СПИН было сосредоточено на развитии навыков постановки большего числа проблемных, извлекающих и направляющих вопросов, а также высказывания выгод. Поскольку все вышеперечисленные типы поведения достаточно часто использовались в успешных встречах продавцов Motorola, мы можем заключить, что тренинг учит людей тем типам поведения, которые должны помочь им продавать эффективнее.
Изменилось ли поведение сотрудников? Доказано, что модель работает в подразделении компании Motorola. Следующий этап должен доказать, что 42 обученных продавца действительно применяют во время встреч новые навыки. Чтобы это проверить, мы наблюдали за продажами этих людей до обучения, во время него и после с целью выяснить, изменилось ли поведение продавцов по отношению к покупателям. Встречи каждого из 42 продавцов мы исследовали пять раз: первый раз непосредственно перед обучением, остальные четыре – с интервалом примерно в три недели в период обучения (рис. А. 7).
 |
|
Рис. А. 7. Канадское подразделение Motorola Изменения типов вопросительного поведения |
В начале периода обучения продавцы задавали больше ситуационных вопросов (в среднем 8,6 за встречу), чем проблемных, извлекающих и направляющих, вместе взятых (в среднем 5,8 за встречу). То есть три типа поведения, по статистике ассоциирующихся с успехом, использовались реже, чем ситуационные вопросы – единственный тип поведения, не имеющий значительной связи с успехом.
Однако к концу периода обучения ситуация кардинально изменилась. Количество успешных вопросов повысилось в среднем до 8,8 за встречу, тогда как число ситуационных вопросов сократилось. С точки зрения вопросов мы можем уверенно заключить, что 42 продавца теперь используют более успешные типы поведения, чем раньше.
Выгоды в начале исследования использовались в среднем 1,2 раза за встречу (рис. А. 8).
 |
|
Рис. А. 8. Канадское подразделение Motorola Изменения количества выгод за встречу |
К концу обучения количество выгод выросло до 2,2 за встречу. Имейте в виду, что из всех типов поведения только выгоды наиболее явно предопределяют успех встреч продавцов из канадского подразделения Motorola. Ваши продавцы теперь предоставляют покупателям почти в два раза больше выгод за встречу, чем до обучения. Неудивительно, если данный пилотный тренинг приведет к существенному росту объемов продаж.
Изменилась ли продуктивность? Чтобы измерить изменения продуктивности, мне было не обходимо:
1. Проверить результаты продаж 42 продавцов из пилотной группы и сравнить полученные результаты с контрольной группой из 42 необученных продавцов канадского подразделения Motorola.
2. Сравнить результаты за три временных периода:
– три месяца до обучения СПИН;
– три месяца во время периода внедрения СПИН;
– три месяца после внедрения СПИН.
Таким образом, результаты охватывают период в девять месяцев.
3. Измерить продажи с точки зрения:
– общего количества заказов;
– количества заказов от существующих клиентов;
– количества заказов от новых клиентов;
– долларового эквивалента.
Рис. А. 9 показывает изменения в общем числе заказов.
 |
|
Рис. А. 9. Канадское подразделение Motorola Изменение общего количества заказов |
С точки зрения общего количества заказов 42 продавца из контрольной группы показали результат на 13 % ниже по сравнению с их уровнем заказов до обучения. Причина снижения – конкуренция на рынке коммуникаций и крайне сложная экономическая обстановка в Канаде. Группа, про шедшая обучение СПИН, наоборот, показала повышение продуктивности на 17 %, несмотря на трудности на рынке. Столь большая разница – 30 % в общем количестве заказов между контрольной и экспериментальной группами – статистически значима.
Руководство канадского подразделения Motorola сосредоточило все усилия на расширении бизнеса и хотело знать, способно ли обучение СПИН внести значительный вклад в продажи новым клиентам (см. рис. А. 10).
|
|
|
Рис. А. 10. Канадское подразделение Motorola Изменения в количестве заказов от новых клиентов |
Как видите, продажи контрольной группы возросли только во время периода обучения, поскольку в этот момент организация сосредоточила на них все свои усилия.
Однако после обучения уровень продаж опустился ниже первоначального значения, отражая трудности на рынке.
В группе, обученной СПИН, количество заказов возросло на 63 %, несмотря на общую неблагоприятную обстановку на рынке. Особенно интересно наблюдать рост количества заказов группы, обученной СПИН, в период после прекращения обучения. Можно предположить, что новые навыки уже укрепляются и, предположительно, могут оказывать продолжительный эффект на продуктивность продаж. До начала обучения некоторые менеджеры по продажам опасались, что модель СПИН слишком «мягкая», что она делает упор на исследование, а не на «жесткие» техники закрытия, которые казались многим менеджерам просто необходимыми в продажах новым клиентам на крайне сложном и конкурентном рынке. Тем не менее результаты показали, что их опасения были напрасны: применение техник СПИН значительно способствовало привлечению нового бизнеса, невзирая на активную конкуренцию.
В отношении бизнеса, полученного от существующих клиентов, дела в контрольной группе обстояли лучше (рис. А. 11).
 |
|
Рис. А. 11. Канадское подразделение Motorola. Изменения в количестве заказов от уже существующих клиентов |
Обе группы во время обучения демонстрировали снижение деловой активности с уже существующими клиентами. Причина этого – в упоре на работу с новыми клиентами со стороны организации продаж именно в этот период. Однако в то время как общее снижение числа заказов в контрольной группе достигло 13 %, показатели группы СПИН повысились всего на 1 %.
Увеличение количества заказов может ввести в заблуждение. Возможно, что повышение продуктивности группы СПИН произошло за счет большого количества мелких заказов, тогда как контрольная группа получила меньшее количество заказов, но более крупных в долларовом эквиваленте. Принимая во внимание подобную возможность, мы сочли необходимым воспользоваться показателем долларового эквивалента продаж. Данные о ценности продаж конфиденциальны, а данный от чет предназначен для широкого использования, поэтому нам пришлось изобразить изменения в долларовом эквиваленте для каждой группы в виде процентов, дабы сохранить конфиденциальность (рис. А. 12).
 |
|
Рис. А. 12. Канадское подразделение Motorola. Изменения долларового эквивалента продаж после тренинга |
Контрольная группа показала снижение «проданных долларов» на 22.1 %. Опять же, подобный результат отражает крайне сложную ситуацию на рынке. Группа, обученная СПИН, несмотря на такую тяжелую ситуацию, показала общий прирост на 5.3 % в долларовом эквиваленте. Заметьте, данные показывают, что некоторая часть 63 %-ноги увеличения числа заказов от новых клиентов в данной группе происходит за счет большего количества малых заказов.
С точки зрения продаж в долларах показатели группы СПИН на 27.4 % выше показателей контрольной группы. Эта разница достаточно важна и статистически значима. Очевидно, что расходы и усилия, затраченные на внедрение под хода СПИН, неоднократно окупились по результатам продаж.
Данные результаты предполагают, что подход СПИН успешно проявил себя:
– изменением уровня навыков обученных людей;
– повышением уровня заказов, особенно от новых клиентов;
– повышением долларового объема продаж в среднем на 27 % по сравнению с контрольной группой.
Два серьезных недостатка
Оценочное исследование Марти Бишоп представило наиболее полную, тщательную и исчерпывающую проверку программы обучения продажам из когда-либо проводившихся. Выше я привел цитаты из краткой версии, но это только верхушка айсберга. Марти использовала дополнительные контрольные группы, методологии, задействовавшие менеджеров по продажам для сбора данных, некоторые сложные компьютерные техники для построения моделей успеха и анализа результатов. Если подобные вещи вам интересны, подробности вы найдете в конце этого приложения. Однако каким бы мощным ни было данное исследование, в нем по-прежнему не было того неуловимого доказательства, которое мы искали.
Если бы я хотел дискредитировать исследование Motorola, то указал бы на два недостатка, каждый из которых мог бы привести в трепет строгих методологов.
– Уровень контрольной группы ниже, чем у группы, обученной СПИН. Если вы посмотрите на число заказов до обучения, то увидите, что контрольная группа в среднем имела 16.3 заказа, тогда как группа, обученная СПИН, – 17.9. Эта разница статистически не значима, так что, воз можно, не о чем и беспокоиться. Тем не менее какой-нибудь циник мог бы возразить, что группа, обученная СПИН, успешнее справлялась со сложной экономической ситуацией потому, что изначально была чуть сильнее.
– Мог иметь место эффект Хотторна. Это технический термин, обозначающий искусственное повышение результатов благодаря вниманию, уделяемому людям. На звание происходит от завода компании Western Electric, где в конце 20-х годов XX века проводились первые изучения продуктивности. В одном из хотторнских экспериментов исследователи обнаружили, что повышение интенсивности освещения на заводе приводит к росту продуктивности. Но, к их большому удивлению, при снижении интенсивности освещения продуктивность продолжала расти. Тогда они пришли к выводу, что, просто уделяя людям внимание, можно добиться кратковременного увеличения продуктивности. Вы можете сказать, что в исследовании с Motorola продуктивность повысилась за счет того внимания, которое получила группа, обученная СПИН, в ходе занятий. Не важно, обучали ли мы эту группу методам СПИН или танцевальной аэробике, – продуктивность все равно бы возросла из-за эффекта Хотторна.
Я запасся парой стандартных ответов для опровержения любого предположения, что изменения были вызваны эффектом Хотторна. Мой первый аргумент состоял в том, что эффект Хотторна – не столь распространенное явление, как некоторые полагают, и продолжительность его измеряется максимум днями. Исследование Motorola охватывало период в девять месяцев, так что эффект Хотторна здесь ни при чем. Второй аргумент: «А кого это волнует? Мы действительно повысили продуктивность. Если это эффект Хотторна, так давайте подвергнем ему всех продавцов, чтобы получить рост продуктивности каждого продавца на 30 %». Однако в глубине души я не симпатизировал ни одному из этих аргументов. Исследователь внутри меня ужасно хотел знать, имел ли место эффект Хотторна, и если да, то в какой мере он содействовал повышению продуктивности.
Новый оценочный тест
Проведенный тест оказался достаточно убедительным для Motorola, чтобы внедрить методы СПИН в своих отделениях по всему миру. Руководство компании было довольно результатом исследования и не видело смысла в дальнейших по пытках опровергнуть связь между использованием модели СПИН и ростом продуктивности. Они интерпретировали мою тревогу как проявление странной эксцентричности, которую англичане демонстрируют в стрессовой ситуации. Нам был нужен новый клиент, достаточно скептичный, – чтобы спонсировать еще од но крупномасштабное исследование. Им оказалась мультинациональная компания – производитель оргтехники, которая, подобно Motorola, хотела испытать СПИН, чтобы затем использовать в своих отделениях по всему миру. Не без труда я убедил их позволить мне провести оставшиеся два теста, которые заполнят пробелы в исследовании Motorola.
Сначала мы воспользовались той же методологией, что в Motorola. Я избавлю вас от подробностей полученных результатов, аналогичных тем, что были отмечены в Motorola, за некоторым исключением:
– Количество ситуационных вопросов в успешных встречах оказалось на 4 % ниже. Это соответствовало результатам нашего основного исследования, в котором ситуационные вопросы оказывали умеренно негативный эффект на покупателей.
– Как и в Motorola, проблемные, извлекающие и направляющие вопросы значительно чаще встречались в успешных встречах. То же касалось и выгод. Однако в Motorola направляющие вопросы сильнее прочих ассоциировались с успехом, тогда как в этом исследовании наиболее эффективным типом поведения оказались извлекающие вопросы.
Изменения в поведении, вызванные обучением, здесь оказались значительнее, чем в Motorola (рис. А. 13).
 |
|
Рис. А. 13. Изменения типов вопросительного поведения |
В данном случае количество проблемных, извлекающих и направляющих вопросов возросло почти вдвое, а количество ситуационных вопросов осталось практически на том же уровне.
Существенно возросло количество выгод – с 1.0 до 2.7 за встречу (рис. А. 14). На первый взгляд разница невелика, но это не так. 55 человек, прошедших обучение, в среднем совершали 16 продаж в неделю. Это означало, что в среднем до обучения СПИН в неделю покупателям предлагалось 968 выгод. В конце обучения в неделю в среднем предлагалось 2992 выгоды. Было бы удивительно не получить значительного увеличения продаж при использовании дополнительных 2000 выгод.
 |
|
Рис. А. 14. Изменения количества выгод |
Равная контрольная группа
В этом исследовании у нас была возможность подравнять контрольную группу таким образом, чтобы обе группы начали с одного и того же количества заказов. Это позволило нам проверить одно возможно слабое место в результатах с Motorola: причина повышения продуктивности могла заключаться в большем количестве заказов у группы СПИН на момент начала обучения (см. рис. А. 15).
 |
|
Рис. А. 15. Изменения продуктивности после обучения |
Вновь, как и при изучении Motorola, мы сравнивали деятельность каждой группы за три месяца до и три месяца после обучения. Результаты равной контрольной группы показа ли снижение количества заказов на 21 %, тогда как группа СПИН повысила этот показатель на 16 %. Данное исследование также проводилось при неблагоприятных экономических и конкурентных условиях, что повлияло на снижение результатов контрольной группы.
Таким образом, уравняв исходный уровень заказов контрольной группы, мы могли с уверенностью отклонить предположение, что причина 30 %-ного повышения продуктивности группы СПИН в компании Motorola состояла в присутствии в ней с самого начала лучших продавцов. Данное объяснение здесь не может быть верным, так как исходный уровень заказов обеих групп был одинаков.
Измерение эффекта Хотторна
Сложнее было проверить вероятность эффекта Хотторна. Насколько мы знали, до нас никто не пытался измерить его влияние в обучении продажам. Вскоре нам стало понятно, почему мы были первыми. По объему выработки несложно измерить влияние освещения завода, но как понять, является ли повышение продуктивности продаж результатом воздействия модели СПИН или все дело во внимании, оказанном людям в виде тренинга?
Выбранный нами метод был несколько сложен, но при сложности предмета, который мы пытались измерить, это было неизбежно. Вот основные положения использованного нами подхода:
– Мы повторно проанализировали результаты продуктивности одной группы из 55 человек, обученных подходу СПИН. Все участники группы обучались одинаковое количество времени, так что все они получили, так сказать, идентичную дозу внимания.
– Мы разделили эти 55 человек на две подгруппы. В любой группе изучение любого навыка – будь то гольф, иностранный язык или продажи – подразумевает, что некоторые люди усваивают больше других. В одну группу мы отобрали половину участников, которые, по нашим измерениям их поведения во время продаж, демонстрировали наибольшее использование типов поведения СПИН. В другую группу попали остальные продавцы, реже пользовавшиеся типами поведения СПИН.
– Мы сравнили результаты продаж обеих групп. Если повышение продуктивности происходило исключительно благодаря эффекту Хотторна, то обе группы должны были показать одинаковый рост продуктивности, ибо обе они получили одинаковый объем знаний и внимания со стороны управляющего персонала. Однако если продуктивность росла из-за использования моделей СПИН, то лучше усвоившая их группа должна была продемонстрировать более высокий рост продуктивности.
– В конце мы сравнили работу обеих групп и такой же по размеру контрольной группы, дабы убедиться, что изменения не вызваны влиянием рынка, продукта или организационной ситуацией.
Определившись с методологией, мы провели повторный анализ наших данных (рис. А. 16).
 |
|
Рис. А. 16. Изолируем эффект Хотторна |
Наши результаты показали, что в процессе работы эффект Хотторна имел место, но его воздействие было кратковременным.
Сначала давайте рассмотрим работу более успешной группы. Результаты ее участников демонстрируют увеличение продуктивности во время обучения, когда они получали максимум внимания. Однако более важен тот факт, что их результаты продолжали улучшаться после окончания обучения.
Результаты группы продавцов, хуже овладевших навыками СПИН, показали резкое улучшение во время четырехмесячного обучения. Однако как только им прекратили уделять внимание в связи с обучением, результаты снизились до начального уровня. Здесь мы впервые наблюдали эффект Хотторна в изолированном виде в сфере эффективности продаж (sales performance).
Наконец, давайте обратимся к контрольной группе. Они продавали те же продукты, в тех же рыночных условиях, однако результаты их продаж снижались как во время, так и после наблюдения. Таким образом, мы можем сделать вывод, что улучшение результатов группы, наиболее успешно прошедшей обучение техникам СПИН, не является следствием влияния факторов рынка или продуктов. По сравнению с контрольной группой даже работа менее успешной группы СПИН выглядела хорошо. Не в пример контрольной группе они хотя бы удержали свои прежние показатели.
Последние мысли об оценке
Есть много тестов, которые я хотел бы провести, чтобы полностью убедиться, что модели, описанные мною в этой книге, значительно улучшают результаты крупных продаж. Это нескончаемые поиски. Когда я рос на Борнео, там не было дорог, поэтому все передвижения осуществлялись по реке. В любой точке любого путешествия, спроси вы у лодочника, сколько еще осталось плыть, всегда получали ответ: «Сату танъёнг ладжи», что означает «еще один поворот». То же самое и с оценочными исследованиями. Стоит подумать, что наконец собрал все необходимые доказательства, как замечаешь еще один поворот.
Возможно, еще один поворот будет всегда впереди. Однако, надеюсь, вы согласитесь, что в поисках доказательства команда Huthwaite не лезла в воду, не зная броду. Мы пытались критически и объективно оценить свои модели. Кроме того, мы смогли повысить практическую эффективность нашего подхода. По иронии судьбы, пройдя через эти академичные тестовые процедуры, мы стали лучше понимать, что образует практический здравый смысл, исходя из его вклада в результаты продаж. Хотел бы я убедить как можно больше людей из сферы обучения воспользоваться схожим подходом. Мы были бы очень рады, если бы книга подвигла наших коллег на дальнейшие исследования эффективности продаж. Хочется верить, что в конце концов путем терпеливых изысканий и экспериментов исследователи придут к разгадке тайны крупных продаж и сделают их столь же ясными и понятными, как прочие бизнес-процессы.
