Post Icon



С помощью какого метода проверяют гипотезы


Проверка гипотез

Общий обзор

Определение нулевой и альтернативной гипотезы, уровня статистической значимости

Получение статистики критерия, определение критической области

Получение значения р (достигнутого уровня значимости)

Применение значения р

Проверка гипотез против доверительных интервалов

Общий обзор

Часто делают выборку, чтобы определить аргумен­ты против гипотезы относительно популяции (генеральной совокупности). Этот процесс известен как проверка гипотез (проверка статистических гипотез или проверка значимости), он представляет количественную меру аргументов про­тив определенной гипотезы.

Установлено 5 стадий при проверке гипотез:

  1. Определение нулевой () и альтернативной гипотезы () при исследовании. Определение уровня значимости критерия.
  2. Отбор необходимых данных из выборки.
  3. Вычисление значения статистики критерия, отвечающей .
  4. Вычисление критической области, проверка статистики критерия на предмет попадания в критическую область.
  5. Интерпретация достигнутого уровня значимости р и результатов.

Определение нулевой и альтернативной гипотез, уровня статистической значимости

При проверке значимости гипотезу следует формулировать независимо от используемых при ее проверке данных (до проведения проверки). В таком случае можно получить действительно продуктивный результат.

Всегда проверяют нулевую гипотезу (), которая отвергает эффект (например, разница средних равняется нулю) в популяции.

Например, при сравнении показателей курения у мужчин и женщин в популяции нулевая гипотеза означала бы, что показатели курения одинаковые у женщин и мужчин в популяции.

Затем определяют альтернативную гипотезу (), которая принимается, если нулевая гипотеза неверна. Альтернативная гипотеза больше относится к той теории, которую собираются исследовать. Итак, на этом примере альтернативная гипотеза заключается в утверждении, что показатели курения различны у женщин и мужчин в популяции.

Разницу в показателях курения не уточнили, т.е. не установили, имеют ли в популяции мужчины более высокие или более низкие показатели, чем женщины. Такой подход известен как двусторонний критерий, потому что учитывают любую возможность, он рекомендуется постольку, поскольку редко есть уверенность заранее в направлении какого-либо различия, если таковое существует.

В некоторых случаях можно использовать односторонний критерий для гипотезы , в котором направление эффекта задано. Его можно применить, например, если рассматривать заболевание, от которого умерли все пациенты, не получившие лечения; новый препарат не мог бы ухудшить положение дел.

Уровень значимости. Важным этапом проверки статистических гипотез является определение уровня статистической значимости , т.е. максимально допускаемой исследователем вероятности ошибочного отклонения нулевой гипотезы.

Получение статистики критерия, определение критической области

После того как данные будут собраны, значения из выборки подставляют в формулу для вычисления статистики критерия (примеры различных статистик критериев см. ниже). Эта величина количественно отражает аргументы в наборе данных против нулевой гипотезы.

Критическая область. Для принятия решения об отклонении или не отклонении нулевой гипотезы необходимо также определить критическую область проверки гипотезы.

Выделяют 3 вида критических областей:

  • двусторонняя:

Рис. 1 Двусторонняя критическая область


  • левосторонняя:

Рис. 2 Левосторонняя критическая область

  • правосторонняя:

Рис. 3 Правосторонняя критическая область

- заданный исследователем уровень значимости.

Если наблюдаемое значение критерия (K) принадлежит критической области (Kкр, заштрихованная область на рис.1-3), гипотезу отвергают, если не принадлежит - не отвергают.

Для краткости можно записать и так:

| K | > Kкр - отклоняем H0

| K | < Kкр - не отклоняем H0

Получение значения р (достигнутого уровня значимости)

Все статистики критерия подчиняются известным теоретическим распределениям вероятности. Значение статистики критерия, полученное из выборки, связывают с уже известным распределением, которому она подчиняется, чтобы получить значение р, площадь обоих "хвостов" (или одного "хвоста", в случае односторонней гипотезы) распределения вероятности.

Большинство компьютерных пакетов обеспечивают автоматическое вычисление двустороннего значения р.

Значение р — это вероятность получения нашего вычисленного значения критерия или его еще большего значения, если нулевая гипотеза верна.

Иными словами, p - это вероятность отвергнуть нулевую гипотезу при условии, что она верна.

Нулевая гипотеза всегда относится к популяции, представляющей больший интерес, нежели выборка. В рамках проверки гипотезы мы либо отвергаем нулевую гипотезу и принимаем альтернативу, либо не отвергаем нулевую гипотезу. Подробнее об ошибках при проверке гипотез

Применение значения р

Следует решить, сколько аргументов позволят отвергнуть нулевую гипотезу в пользу альтернативной. Чем меньше значение р, тем сильнее аргументы против нулевой гипотезы.

  • Традиционно полагают, если р < 0,05, (=0,05) то аргументов достаточно, чтобы отвергнуть нулевую гипотезу, хотя есть небольшой шанс против этого. Тогда можно отвергнуть нулевую гипотезу и сказать, что результаты значимы на 5% уровне.

  • Напротив, если р > 0,05, то аргументов недостаточно, чтобы отвергнуть нулевую гипотезу. Не отвергая нулевую гипотезу, можно заявить, что результаты не значимы на 5% уровне. Данное заключение не означает, что нулевая гипотеза истинна, просто недостаточно аргументов (возможно, маленький объем выборки), чтобы ее отвергнуть.

Уровень значимости (т.е. выбранная "граница отсечки") 5% задается произвольно. На уровне 5% можно отвергнуть нулевую гипотезу, когда она верна. Если это может привести к серьезным последствиям, необходимо потребовать более веских аргументов, прежде чем отвергнуть нулевую гипотезу, например, выбрать значение = 0,01 (или 0,001).

Определение результата только как значимого на определенном уровне граничного значения (например 0, 05) может ввести в заблуждение. Например, если р = 0,04, то нулевую гипотезу отвергаем, но если р = 0,06, то ее не отвергли бы. Действительно ли они различны? Мы рекомендуем всегда указывать точное значение р, обычно получаемое путем компьютерного анализа.

Проверка гипотез против доверительных интервалов

Доверительные интервалы и проверка гипотез тесно связаны. Первоначальная цель проверки гипотезы состоит в том, чтобы принять решение и предоставить точное значение р.

Доверительный интервал (ДИ) количественно определяет изучаемый эффект (например, разницу в средних) и дает возможность оценить значение результатов. ДИ предоставляют интервал вероятных значений для истинного эффекта, поэтому его также можно использовать для принятия решения даже без точных значений р.

Например, если бы гипотетическое значение для данного эффекта (например, значение, равное нулю) находилось вне 95% ДИ, можно было бы счесть гипотетическое значение неправдоподобным и отвергнуть . В этом случае станет известно, что р < 0,05, но не станет известно его точное значение

Связанные определения:
p-уровень
Альтернативная гипотеза, альтернатива
Альфа-уровень
Бета-уровень
Гипотеза
Двусторонний критерий
Критерий для проверки гипотезы
Критическая область проверки гипотезы
Мощность
Нулевая гипотеза
Односторонний критерий
Ошибка I рода
Ошибка II рода
Статистика критерия
Эквивалентные статистические критерии

В начало

Содержание портала

Тестирование гипотез B2B / Хабр

В одном чате зашёл интересный разговор о том, как Продакты тестируют гипотезы для B2B решений. Копья сломались вокруг тезиса, что вкладываться в разработку без подтверждённых гипотез, это потеря денег. Однако - если вы знакомы с Enterprise, неправильная проверка гипотезы вам может стоить контракта с Газпромом. Принять, отвергнуть гипотезу, всё может нести ошибку и всё может сказаться на многомиллиардном контракте.

Является ли проверка гипотез волшебной палочкой? Как бы хотелось инвестору: мы придумали идею, мы проверили идею, мы инвестируем, мы тиражировали результат. В B2C это прекрасно работает. Так ли это в B2B? Забегая вперёд скажу, что есть очень много оговорок и границ применимости такого подхода. Волшебной полчки нет точно.

В этой статье я хочу не столько описать известные мне подходы к тестированию гипотез, я хочу дать тему для обсуждения в комментариях. Я опишу те подходы, которые применяю сам. Я приведу ограничения, когда это будет работать.

Если вы применяете другие подходы, также если вы применяете эти же подходы но в ином контексте, и тем более если вы их не применяете, то поделитесь этим в комментариях! Внесите свой вклад в базу знаний отечественного product management - если кто то будет стартовать B2B продукт, он посмотрит статью и комментарии, будут полностью в теме, как тестировать гипотезы.

Классификация гипотез B2B, влияющая на выбор методов проверки

Чтобы гипотезы проверять, их надо сначала классифицировать. Классификация гипотез может сказаться на методиках проверки: где-то нужно совершить продажу, где-то достаточно "протокола о намерениях". Здесь приводим классификации, которые влияют на проверку. Есть классификации гипотез, не влияющие на технологии проверки: масштаб инвестиций, "важность для ГД". Методы проверки гипотез для них одинаковы, они остаются за рамками.

В B2B развитие бизнеса происходит либо за счёт создания нового продукта, либо за счёт развития существующего. Методики проверки разные - для развития существующего продукта спрос уже в целом определён, вопрос лишь в повышении ценности. Для нового продукта не понятно, есть ли спрос, как таковой. Гипотезы ценности и гипотезы платежеспособного спроса проверяются по разному.

С точки зрения инноваций, гипотезы классифицируется как последовательная инновация vs прорывная инновация. Если продукта ещё нет, то значит в 99% случаев клиент как-то до нас закрывал свою нужду. Мы приходим с чем-то существенно лучшим, он ещё не знает, что за закрытие этой нужды теперь нужно платить. Если же продукт уже есть, то мы последовательно даём больше ценности, не нарушая сложившихся привычек и практик применения.

Как и Инновации, гипотезы можно классифицировать как процессную и продуктовую: процессные гипотезы вроде бы не относятся к поставленной задаче. Однако, они могут сильно влиять на продуктовые характеристики! Гипотезы типа: "а не внедрить ли нам Цифровые Двойники, чтобы снизить издержки на 40% и повысить в 10 раз точность" дают продукту множество возможностей. Гипотезу можно продолжить: "а снизив издержки на 40% мы сможем выйти на рынок, который по своему объёмы в 1000 раз больше".

Таким образом, с токи зрения анализа инноваций, возможна классификация гипотез:

  • Продуктовая Прорывная

  • Продуктовая Последовательная

  • Процессная Прорывная

  • Процессная Последовательная

Ещё гипотезы могут касаться разных этапов цепочки создания ценности: мы можем сомневаться в ЦА, в то же время, мы можем для уже проверенной ЦА изучать гипотезы максимальной полезности. По этапу создания ценности гипотезы (да начинается с воронки продаж, но заканчивается не сделкой а сервисной поддержкой) могут классифицироваться как:

  • Гипотезы создания интереса

  • Гипотезы Привлечения

  • Гипотезы Продажи

  • Гипотезы Внедрения решения

  • Гипотезы максимизации полезности решения

В статье не получится раскрыть методы проверки для каждого типа гипотезы, статья будет чрезмерно длинной.

Способы проверки гипотез B2B

Несмотря на то, что типов продуктовых гипотез B2B реально много, способов их проверки реально столько, что хватит отдельных пальцев.

Здесь может завязаться интересная дискуссия в комментариях: применение способов оценки гипотез, другие способы которые я не учёл, успешные кейсы и т.д. Это всё позволит учесть опыт друг друга и сделать наш продукт в итоге сильнее!

Способ №1 - А/Б тестирование.

Да да, вы не ослышались. С одной стороны, А/Б тест в классическом понимании для B2B применим плохо. В интернет магазине можно сделать 2 разных баннера, один белый другой серый. И проверить, какой будет более кликабельным :) При работе с Газпромом такие шутки не пройдут: предложить туда вариант А, посмотреть купят ли, может быть крайне накладно. Контракт на 100 миллионов вы явно потеряете, а потом ещё и отзыв негативный получите. И этот отзыв убьёт все последующие А/Б тесты.

Однако, А/Б тесты для B2B возможны! Не для проверки продаж, а для проверки попадания Гипотезы в конкретную Боль. Здесь мы проверяем целевое действие: не покупку решения, а всего лишь выполнение какой-то операции, где-то на одной из точек CJM.

В B2B желательно А/Б тестировать подальше от денег: неудачный вариант Б может стоить дорого и убить последующие тесты за счёт отзыва.

Идеально через А/Б проверять гипотезы Usability: если решение используется, мы проверяем как сократить кол-во кликов до, например, события "утверждение плана". Интерфейс А - 100 кликов, Интерфейс Б - 85 кликов. Негатив пользователей это не вызовет, так как когда улучшение внедриться, что для B2B решений на моей практике редкость, пользователь будет счастлив уже от того, что о нём вендор думает (я сам работал и продавал решения, которые по 15 лет не менялись и продавалось это под соусом, что какое дело ТОПу до мук пользователей).

Возможно проверять гипотезы этапа создания интереса к продукту, ознакомления с продуктом, привлечения и т.д. Лендинг в B2B примерно тот же самый, что и для B2B и на нём работают те же законы.

по кнопке покупает в основном малый бизнес - если ваш слоган сработал в Direct, это не значит что вы попали в боль Газпрома!

Способ №2 - Customer Development интервью.

Удивительно, но большинство продакт-менеджеров боготворит этот способ проверки гипотезы. Действительно - как ещё выяснить, что клиенту нужно, как не говорить, говорить, и ещё раз говорить с ним? Говорить можно просто так, можно выстраивать схемы от проблем, можно от решений, от CJM т.д. В итоге, наслушавшись много чего, получаем кучу "Фактуры", на основе которой принимаются продуктовые решения.

Проблема: сколько не говори, пока клиент не заплатит, истину о вашем продукте вы не узнаете. Хотя, конечно без разговоров он не заплатит точно, по этому говорить нужно.

Кейс: для Технологических Стартапов, проблема востребованности продукта, который они пилят, стоит ещё острее, когда стартап рассчитывают продать результат разработки в конкретную компанию. Сколько раз звучало: "Мы запилим эту штуку, потом её купит Google". Главное что фонды дают денег, беря риск что Google не купит, на себя. В целом фонды знают кого Google покупает, страхуют сатратап от неверных продуктовых решений.

Способ №2 - JTBD интервью.

Выделю этот способ отдельно, хоть это в целом такое же интервью, но структурированные за счёт применения чёткой концепции - Just to be Done. Не буду вдаваться в одну из любимых мной методологий, про неё очень много написано.

При применении JTBD мы не просто исследуем, нужно это клиенту или не нужно. Мы увольняем! То есть мы определяем, как клиент это делает сейчас, и кого он хочет уволить, чтобы делать это лучше.

В JTBD клиент может уволить старую привычку, новую привычку, или Product менеджера :)

Способ №3 - Экономическое обоснование.

В принципе, со множеством оговорок, бизнес существует для того, чтобы приносить кому-то деньги. Таким образом, если мы создаём штуку, которая даёт % экономии (денег, материала, жидкости, времени, чего угодно), клиент по идее должен это купить, если мы просим дешевле, чем его выгода (с учётом стоимости риска и стоимости геморроя при переходе). И, зачастую, расчёт экономического обоснования уже является хорошим поводом продукт делать.

Такой подход работает хорошо в одних отраслях, в других не работает совсем. С одной стороны, мы видим как в Аккумуляторной отрасли борьба идёт за проценты эффективности заряда. С другой стороны, в отечественной практике, компании не внедряют слегка устаревшие электронные системы, такие как например ERP, потому что эффект от них не столь велик, а вот риск для конкретного менеджера большой. В моей практике один банк долго динамил проект, дающий ему экономию 0.5% экономии банковской маржи. При этом в прессе везде пишут "Для банка 0.001% маржи это колоссально! Любые деньги за такие решения!". На практике банк систему то внедрял, но по ряду причин у него было много более приоритетных задач.

Другой вопрос, что компании не могут игнорировать технологии, выигрыш от которых масштабен. Как это происходит, мы видим чуть ли не каждый день - какой-нибудь крупный олигархический монстр сидит на аналоге "трубы". И в один день раз, и все уже заказывают такси через Убер, а клиент перешёл с дров сразу на электротягу. Трубы не стало... По этому, находясь в "горячей" отрасли, можно быть гораздо смелее в своих оценках.

Как не "кастомер девелопи" нефтяников и производителей ДВС, ты не поймёшь, что им пора переходить на чистую энергию Эфира (а лично ты кстати слушал об этом?). Но проходит год, другой, а электричество тут как тут. И уже никто не спрашивает: "Какую ценность твоё решение несёт для ТОП менеджера компании? Где твой УТП?". Спрашивают лишь: "Ты даёшь 1% экономии к аналогам"?

Способ №4 - Публичные мероприятия.

Это самый малодостоверный способ проверки гипотезы, но за то самый легко применяемый. Если ваш продукт кому-то нужен, то, наверное, собрав семинар, вы получите массу регистраций и восторженных откликов. Аудитория будет вопить "Мы всю жизнь просили такое решение". Профессионалы с удовольствием заплатят за вход или онлайн трансляцию. С другой стороны, если семинар провалится, значит и продукт не нужен.

Отмечу, что это всё справедливо только для последовательных инвестиций: если мы делаем взрывное улучшение, никто не придёт, потому что все специалисты работают на старой технологии. Напомню, сколько негатива было против электродвигателей в РФ, когда пол страны сидело на нефтедобыче - и статьи заказные в прессе, и обгадить могли на публичном выступлении. Иди потом доказывай что ваша нефть никому не нужна. Национальное достояние ведь!

Ибо сказано: "Они [ветряки] так трясутся, что червяки выползают из земли"

Но, для применяемых технологий, успешный семинар обогатит копилку знаний о рынке и даст % в успех продукта.

Кроме семинара можно провести пресс-конференцию, опубликовать статью, снять фильм и др.

Способ №5 - MVP, созданный на базе картинок.

Эх, когда-то я сам работал в корпорациях и мы жаловались на больших поставщиков ПО, которые рисовали презентации с картинками, а потом это продавали не имея продукт. Потом, за счёт клиента, велась разработка. Клиент конечно страдал: даже если проект стоил не дорого, потери из за плохо отработанной методологии и сырого софта были колоссальны. Собственно, с тех пор даже крупным поставщиками обязательно задают вопрос "А где это уже работает"...

Тем не менее, для проверки гипотезы более железного аргумента не существует: "мы это нарисовали, а клиент это купил"! Купил со скидкой, но ведь купил! B это не сравнится ни с каким иным расчётом.

Способ №6 - работа с отраслевыми экспертами.

В B2B рынке есть категория людей, которые занимаются какой-то проблемой уже 20 лет. Если удаётся выйти на такого человека, он может заменить 100 клиентских интервью. Такие люди знают, кто что в отрасли купит, к кому зайти чтобы это продать. Откуда эта экспертиза? Эта экспертиза с десятков проектов, выполненных для разных бизнесов. Сейчас уже приходишь в компанию, видишь проблему, вспоминаешь кейсы где такая проблема была ранее. Далее решение очевидно. Customer Development не нужен.

Подобная экспертиза бывает почти во всём: в мателлургии, до сих пор ходят легенды о кузнецах, умеющих варить сталь. Химики пыжатся, учёные думают, а Дядя Вася знает, в какой момент надо кинуть окурок в котёл, чтобы сталь для спутника стала лучшей в отрасли. Такой Дядя Вася может быть находкой для продакт-менеджера - он может рассказать, как сделать сталь, а также применимо ли решение для продажи.

Важно не ошибиться с экспертом: чаще всего эти люди вырастают в недрах одной компании и редко знают отрасль в целом. Отраслевые эксперты, те кто консультирует разные компании, обычно известны поимённо.

Оговорки, при проверке гипотез

Если бы всё было так просто в B2B: проверил гипотезу применив метод №2 и №5, получил положительный результат, идём ковать и масштабировать бизнес. Но, в B2B нужно держать в уме несколько важных моментов, чтобы сделают продуктовые исследования успешными, а не провальными.

Особенность №1: каждый бизнес уникален. Постиндустриальный бизнес глобален и инновационен. Он целиком и полностью основан на новизне: одинакового ПО не бывает, одинаковых машин не бывает, одинаковых лекарств не бывает. Машины пока ещё отличаются лишь дизайном. ПО отличается фундаментально: задачей и миссией. В фарме есть рынок "Дженериков" это способ скопировать чужой продукт и продать его дешевле. Но в целом и Дженерики тоже разные - лечат на столько хуже на сколько дешевле стоят.

Исходя из того, что постиндустриальный бизнес уникален, продукт для B2B тоже уникален для каждого клиента! И чем дальше, тем эта уникальность будет выше: сегодня ещё можно производить одинаковые токарные станки или даже 3Д принтеры. Программисты используют одинаковые среды программирования, одинаковые компиляторы. Но, те же программисты выстраивают свою уникальную технологию из кубиков, применяя жёсткий микс из Питона, Java, С++, Kybernates и облачных технологий. Производственники выстраивают из кубиков линию, производящую их продукт, выстраивая из тех 3Д принтеров уникальную цепочку. Отмечу, что если бы программисты могли, они бы разрабатывали под каждую задачу свой язык программирования. Пока это чрезмерно затратно, но, кто знает, что будет в будущем.

Для проверки гипотез эта особенность фатальна: вы сделали коробку-монстра для B2B рынка, все респонденты сказали "Это чушь". А потом раз, и её купил Газпром. Но никому кроме Газпрома это не нужно. Или наоборот - вы поговорили с Газпромом, он вам валидировал ваши гипотезы, сообщил свои проблемы. А потом вышли в Moscow Сity и никто не купил - там другой бизнес с другими потребностями.

"Типовых компаний" всё меньше и меньше. Для примера возьмём банковскую отрасль: в нулевые годы было более 1000 одинаковых банков. Сегодня осталось ~5 банков, при чём каждый, за счёт своей уникальности, готов сожрать всех остальных.

Особенность №2: объём рынка не очевиден. Проведя разговоры с 2-3 клиентами, подписав протокол о намерениях, можно сделать вывод об успехе продукта. Но - смотри особенность №1. Те кого не опросили - они уникальны. И встаёт вопрос - точно ли им это нужно? Может быть у них уже стоит решение конкурента или они вообще по другому видят проблему?

Особенность №3: прорывные технологии нельзя игнорировать, но бизнес ориентирован на текущие технологии. Пример: в строительстве сейчас развивается BIM. Скорее всего, решения по управлению строительными проектами на MS Project он съест. Сейчас, однако, строительные фирмы с удовольствием это внедряют, говорят как это полезно. Решению осталось 3-5-7 лет, дальше отрасль поменяется. При этом, продуктовые гипотезы валидируются на ура!

Выводы

Я постарался привести известные мне способы проверки гипотез, чтобы систематизировать жизнь и работу продакт-менеджеров. Надеюсь в комментариях вы напишете как вы это делаете, и какие особенности при проверке гипотез вы знаете, с чем сталкивались в своей работе.

Главным выводом моих рассуждений можно обозначить:

в B2B проверка гипотез это полезный инструмент, это не волшебная палочка!

Да, в интернет шопе, где торгуют например трусами, легко всё перевести на А/Б тесты. В B2B, где каждый клиент уникален и чертовски сложен (сложнее ли он чем женщина?) это хороший инструмент. Но он не сделает вам бизнес.

Что же делать? При создании B2B решений, крупные успешные вендоры редко делают продукт с нуля. Чаще всего, за основу берут какую-то технологию, отработанную в недрах компании. Далее, продукт развивается в тесном сотрудничестве с клиентами. Новые модули пилятся под конкретные задачи, тиражируются другим клиентам.

Где же тогда роль продакт-менгеджера в B2B? В одной статье видел мудрую мысль, что продакт менеджмент это часть процесса разработки, в которую включили работу с клиентом. Раньше клиент писал ТЗ, команда шла делать. Сейчас ТЗ нет, но есть специальный человек который коммуницирует с клиентом и/или отраслью, подгоняет команде требования.

проверка гипотез выстреливает, когда создаётся прорывная технология.

И этим конечно также нужно заниматься! Только прорывная технология это гораздо сложнее.

5 лайфхаков для проверки гипотез

HADI-циклы — этот метод проверки гипотез уже много лет сохраняет свою популярность и обсуждается среди начинающих предпринимателей и основателей стартапов. Но что делать тем, кто только начал свой путь в этой среде? Тем, для кого эти слова ничего не значат? Как сделать первый шаг?

Попробуем пошагово разобраться в самом понятии HADI-циклов, их применении и убедиться в их преимуществах на примерах.

С чем я часто сталкиваюсь во время работы с компаниями в Акселераторе ФРИИ и не только? Люди формулируют свои цели очень абстрактно. Что они хотят сделать, зачем и к чему это приведет? Я расскажу о том, как можно сделать этот процесс понятным и эффективным.

Что же такое гипотеза? Это предположение, которое требует доказательств, то есть ещё не подтверждено. Люди в компании очень часто не могут договориться, если они мыслят на языке собственного мнения, не сформулированного по определенной системе. Когда мы настраиваем формулировку гипотез в виде единой системы, результаты компании начинают улучшаться и это происходит гораздо быстрее, чем в любом другом случае.

Гипотезы могут быть разного объема, размера. Мы можем сделать гипотезу по поводу чего-то небольшого: одной рекламной кампании или скрипта продаж. Либо это может быть крупная гипотеза о целом направлении бизнеса.

Проверка гипотез по HADI

Это цикл, который состоит из четырех блоков: формирование гипотезы (Hypothesis), ее проверка (Action), получение измеряемого результата (Data) и выводы (Insights), на основании которых мы формулируем дальнейшие гипотезы.


Как правильно формулировать гипотезу?

Здесь вам поможет принцип SMART:

Specifiс: гипотеза должна быть конкретной. Куда мы пойдем, чего мы хотим достичь? Проверить новый рекламный канал или сценарии новых писем, которые принесут нам определенные конверсии. Все должно быть описано четко – куда идем, в кого целимся.

Measurable: в чем должен измеряться результат и какой результат будет для нас хорошим. Мы делаем новые рекламные активности или запускаем кампании по продажам – что мы получим? Какое-то количество заявок или продаж – то есть, измеряемый результат.

Attainable: достижимые цели. Здесь мы проверяем, находятся ли наши цели в реальных пределах. То есть, мы не ставим цель «запустить рекламные кампании завтра по всем клиентским сегментам», потому что на это, скорее всего, физически не хватит времени.

Relevant: все гипотезы должны относиться к бизнесу и должны вести к цели проекта. Нет смысла идти и тестировать рекламный канал, если там всего 10 посетителей в месяц. То есть трафика нет, сегмент небольшой, клиенты платят мало. И зачем туда идти и проверять этот сегмент?

Time-bound: обязательное ограничение во времени. Большие гипотезы надо стараться разбить на более мелкие. Желательный цикл проверки – 1-2 недели.

Когда план работы перед глазами, кажется, что все понятно и никаких сложностей возникать не должно. Но при всей прозрачности системы, многие основатели допускают целый ряд однотипных ошибок. Как избежать этого и ускорить процесс проверки?

5 лайфхаков, на которые стоит обратить внимание, даже если вам кажется, что вы с этим не столкнетесь:

1) Не надо ставить гипотезы «Капитан Очевидность».

Пример: «Если мы спустимся по лестнице, то окажемся на улице». Это не гипотеза. Также, как и все подобные.

2) Проверенные факты – это не гипотезы, а текущие задания.

Пример: у нас уже есть процесс продаж и команда, которая звонит по определенной базе. То есть конверсия понятна. Поэтому не стоит каждый раз ставить гипотезу, что если мы будем продолжать прозванивать свою базу, мы также будем продолжать получать продажи.

3) Определите метрику, на которую влияет гипотеза.

Пример: «Мы хотим поехать на форум в Сочи. Наверное, это будет прикольно». Зачем ехать на форум в Сочи? В чем вы будете измерять успех от участия в конференции?

4) Продумайте этап сбора и оценки результатов.

В противном случае, вы просто потратите время, получите результат, но не сможете его оценить или измерить. Тогда он не будет нести в себе никакой полезной для бизнеса информации.

5) Делегируйте текущие задачи.

Если вы правильно формулируете гипотезы по разным метрикам, то параллельно могут идти несколько гипотез. Соответственно, разные люди в компании могут проверять разные гипотезы.

И вот, вы выполнили все необходимые шаги, постарались учесть каждый нюанс, но остался главный вопрос: как эта гипотеза должна выглядеть?

Для того, чтобы получить результат, проверить сходимость экономики и количество клиентов в выбранном сегменте, нужно выполнить конкретные промежуточные шаги и описать все активности, запланированные для достижения результата. Успехом будет, если мы получим конкретные цифры и показатели.

Пример: чтобы подтвердить клиентский сегмент в салонах красоты, мы проведем 20 встреч и 20 звонков совместно с руководителями этих бизнесов, по определенному сценарию. Успехом будет 5 платных пилотов с конкретным чеком. Это значит, что в целом мы проверяем на релевантность эту гипотезу: доказываем, что в целом этот сегмент нам интересен, мы можем собрать команду продаж, масштабировать этот процесс и выстроить бизнес.

Теперь, когда у нас есть понятия, схема, мы знаем о типичных ошибках и получении результата – как же превратить полученные знания в практику? Все просто! Мы планируем гипотезы по неделям: например, так работают команды стартапов в «Акселераторе ФРИИ». Удобнее всего формулировать их в табличном виде. Далее – прорабатываем каждый пункт, учитывая специфику бизнеса и частые ошибки.

Как пример – оформление заказа. Оно состоит из нескольких показателей. Допустим, мы хотим работать над одним этапом конверсии, переходом из карточки в корзину. Дальше мы описываем гипотезу, задавая себе вопрос: «Что мы будем делать?». Мы изменим структуру контента, расскажем про ценности, которые мы даем с новой стороны, покажем технические характеристики, чтобы потенциальный клиент лучше видел, какие выгоды для него есть. Следующим шагом мы совершаем запланированные шаги, проверяем результаты, обсуждаем в команде и радуемся, когда у нас получилось улучшить показатель.

Ведь главная цель применения HADI-цикла – найти наибольшую ценность своего бизнеса и представить ее для клиента так, чтобы он захотел ее получить.

Автор: Павел Рысков – эксперт ФРИИ по b2b-продажам и выходу на международный рынок, руководитель трекинга «Школы продакт-менеджеров Яндекса».

От выдвижения, обоснования и до постановки гипотез

При написании любых научных работ перед исследователем встает задача постановки гипотезы. Это отправная точка, определяющая содержание и результаты, которые будут получены в ходе проведенного исследования.

Содержание:

  1. Требования
  2. Способы обоснования гипотезы
  3. Проверка гипотезы
  4. Методы научного познания

Гипотеза лежит в основе любой научной теории, она позволяет ученому начать поиск, собрать и проанализировать факты, чтобы обоснованно подтвердить или опровергнуть выдвинутое предположение. Именно поэтому гипотезе уделяется такое пристальное внимание.

Гипотеза (в переводе с латинского hypothesis) – это предположение или догадка, которое невозможно доказать, используя текущий уровень науки. Анализ проблемы позволяет получить ответы на вопросы «Верно ли выдвинутое предположение? Почему оно истинно? Чем это обосновано, какими фактами и аргументами?». Задача исследователя состоит в поиске аргументации, позволяющей считать тезис истиной или же опровергнуть его.

Помощь в публикации научных статей. Издательство «СибАК» обеспечивает полное сопровождение статьи и прозрачность процесса публикации на всех этапах.

Это один из самых распространенных приемов научной и другой познавательной деятельности, позволяющий найти логическое объяснение природы происхождения каких-либо явлений. Различают общие (для группы явлений) и частные (для конкретных событий) гипотезы, а также предсказательные и объяснительные.

Чтобы корректно сформулировать гипотезу любого исследования необходимо соблюсти принципы логического построения научного знания:

  1. Состоятельность выдвигаемой гипотезы. Делая те или иные выдвижения предположения или догадок, ученый обязательно должен как можно полнее раскрыть предметную область исследования.
  2. Приложимость создаваемого знания. Все гипотезы строятся не для пояснения отдельных, конкретных случаев, но для возможности объяснения более широкого круга природных, социальных или теоретических феноменов.
  3. Проверяемость. Чтобы выдвинуть гипотезу, важно понимать и владеть инструментами ее верификации.

Требования, предъявляемые к гипотезе:

  • совместимость с существующими знаниями, фундаментальными научными положениями, ранее установленными фактами;
  • понятность и логичность, отсутствие двоякого толкования;
  • обоснованность (релевантность), то есть проверенная анализом состоятельность выдвинутой теории;
  • она должна быть проверяемой (наблюдением, измерительными приборами, экспериментальными установками и другими достоверными доступными средствами).

Стандартная структура гипотезы состоит из двух частей: эмпирического основания (посылки) и основанного на нем предположения (заключения). Ее выдвижение является результатом объемной работы, которая включает изучение теоретических основ, сбор материала, его анализ, проведение экспериментов и наблюдений. Основные этапы подготовки:

  1. накопление материала, предположений, догадок об исследуемом объекте или явлении;
  2. формулирование следствий, вытекающих из предположительной теории, выдвижение предварительных ответов и решений поставленной проблемы;
  3. опровержение предположений, оказавшихся несостоятельными, их замена на достоверные, соответствующие полученным фактическим данным;
  4. проверка сделанных выводов на практике.

Способы обоснования

Обоснования истинности нового научного знания во многом зависит от его специфики, профильной направленности, практической релевантности. Но для любых гипотез необходимо проводить три общих вида обоснования: теоретическое, логическое и эмпирическое.

Теоретическое обоснование – проверка ее соответствия ключевым принципам научно-предметной сферы. Новое знание должно быть верифицируемым, релевантным категориальному аппарату, соответствовать базовым задачам той или иной сферы научного познания.

Логическое обоснование – соответствие нормам формально-логичного мышления. Нужно соблюсти принцип непротиворечивости, применить для обоснования методы индуктивного и дедуктивного познания.

Эмпирическое обоснование – практическая, экспериментальная, лабораторная проверка. Для разных видов научного знания предполагаются специфические методы эксперимента.

Для подтверждения (или, напротив, опровержения) гипотезы необходимо соблюсти правила логики. Так, заключение (тезис или антитезис) должно быть точным и ясным, неизменным в процессе исследования. В качестве оснований (аргументов) принимаются только истинные факты, уже установленные ранее.

Аргументация должна быть достаточной для формулирования окончательного заключения. Если проверка показывает, что поставленное ученым предположительное утверждение соответствует действительности, гипотеза получает статус научной теории, которая требует дальнейшего изучения.

Не исключено и опровержение гипотезы, обоснованное ложностью ее заключения. В этом случае идут путем фальсификации, устанавливая несоответствие фактов, вытекающих из предположения, следствиям, или при помощи доказательства антитезиса (противоположного гипотезе следствия). Если антитезис доказан, логически это означает несостоятельность (ложность) исходного тезиса.

Построение и проверка

Завершив формулировку гипотезы и ее обоснование, необходимо приступить к завершающему этапу – проверке. Здесь нужно применять метод фальсификации, сформулированный классиками философии науки. По нему, новое знание имеет ценность только в том случае, если есть возможность и путь опровергнуть гипотезу.

Такую проверку истинности гипотезы проводят по тем же принципам, что и обоснование. Обязательно применяют эмпирическую проверку, теоретическую верификацию, логическое доказательство. Но при этом выдвигается ряд альтернативных положений, утверждений.

Такая проверка выполняет двойную задачу. Во-первых, подтверждается истинность сформулированной гипотезы и возможность ее применения в научном или технологическом плане. Во-вторых, готовится фундамент для развития научного знания, выдвижения новых гипотетических умозаключений. Это обеспечивает непрерывность развития науки.

Методы научного познания

Английский философ Ф. Бэкон и логик, экономист Дж. Милль предложили 4 метода выдвижения гипотез на основании установления причинно-следственных связей.

  1. Метод сходства заключается в предположении, что если несколько случаев наблюдаемого явления имеют схожее обстоятельство, то именно оно и является причиной исследуемого объекта. Методика предполагает установление всех возможных случаев и обстоятельств, глубокий анализ различий, определение вероятности.
  2. Метод различия противоположен предыдущему. То есть если в одном случае обстоятельство наступает, а в другом – нет, то, вероятнее всего, причина кроется в исследуемом условии наступления последствий.
Примечание: из первых двух методов образуется дополнительный – сходства и различий.
  1. Метод сопутствующих изменений – установление взаимосвязей различных явлений.
  2. Метод остатков или исключения (то есть если известно, что причиной точно не являются одни условия, то предполагается, что оно вызвано именно исследуемым обстоятельством). Эту методику активно использовал в своей научной деятельности А.С. Попов, проводящий опыты по радиосвязи в 1897 году. Так, он обратил внимание на то, что проходящие между кораблями другие морские суда нарушают радиообмен. Он пришел к выводу, что причиной помех является металлический корпус корабля, экранирующий электромагнитные волны.

Рассмотренные выше методы чаще всего используются для обоснования гипотезв совокупности, гармонично дополняя друг друга. С проблемой обоснованного выдвижения гипотезы сталкиваются даже опытные ученые. Большую роль в этом играют воображение, фантазия и математическая интуиция исследователя.

Способность предчувствовать, интуитивно предугадывать называют предикативностью мышления. Это длительный творческий процесс, не имеющий универсального рецепта реализации.

Тем не менее этому можно научиться на любом уровне – начиная от бакалавриата и специалитета. Умение будет полезно всем, кто занимается исследованиями, публикует свои работы в научных журналах.

Проверка статистических гипотез - Questionstar

5.2 Индуктивная статистика

 5.2.1 Проверка статистических гипотез

Проверка статистических гипотез

Проверка статистических гипотез – это пятиступенчатая процедура, которая на основании данных выборки и при помощи теории вероятностей позволяет сделать вывод об обоснованности гипотезы.

Другими словами, этот способ проверить, действительны ли результаты, полученные на выборке, и для генеральной совокупности.

 

Люди «ошибочно уверенны» в своих знаниях и недооценивают вероятность того, что их убеждения могут оказаться ложными. Им свойственно искать искать такую дополнительную информацию, которая лишь подтверждает их собственные убеждения.

Макс Базерман

 

Пошаговый алгоритм:

1.Формулировка основной и альтернативной гипотезы

2.Выбор уровня значимости

3.Определение подходящего статистического критерия

4.Формулировка правила принятия решения

5.Принятие решения на основании данных выборки

 

Пол и частота пользования интернетом:

Пол
 

Пользование интернетом

 

Мужской

 

Женский

 

Сумма по строке

 

редко

 

5

 

10

 

15

 

часто

 

10

 

5

 

15

 

Сумма по столбцу

 

15

 

15

 

n=30

Вопрос:

Можем ли мы на основании этой выборки утверждать, что во всем населении среди мужчин больше активных интернет пользователей, чем среди женщин?

 

Шаг 1:   Формулировка основной и альтернативной гипотезы

Нулевая гипотеза (H0) – это утверждение статус-кво, что никакой разницы или никакого эффекта на самом деле нет.

Альтернативная гипотеза (H1) утверждает, что некоторая разница (или эффект) все таки должна быть.

 

H0:   в отношении частоты пользования интернетом   разницы между мужчинами и женщинами нет.

H1:   мужчины и женщины пользуются интернетом с разной частотой.

 

Шаг 2:   Выбор уровня значимости

Значимость (α) – вероятность того, что верная нулевая гипотеза будет отвергнута.

βвероятность того, что ложная нулевая гипотеза будет принята.

 

Нулевая гипотеза (H0) верна Нулевая гипотеза (H0) ложна
 

Нулевая гипотеза отвергнута

 

ложноположительное

(ошибка первого рода)

 

H0 верно принята

 

Нулевая гипотеза
не отвергнута

 

H0 верно отвергнута

 

ложноотрицательное

(ошибка второго рода)

 

Аналогия: суд над маньяком
H0: заключенный не виновен

 

Аналогия: шорох в кустах – это лев?
H0: льва в кустах нет

 

 

Уровни значимости, принятые в маркетинговых исследованиях:

α – уровень значимости

0,01 (1%)

0,05 (5%)

(1-α) – уровень доверия (доверительная вероятность)

0,99 (99%)

0,95 (95%)

 

Шаг 3:   Определение статистического критерия

Критерий χ2 (хи-квадрат) используется для проверки статистической значимости взаимосвязей между переменными, наблюдаемых в перекрестных таблицах.

H0: взаимосвязи между переменными нет

Тест χ2  проверяет равенство частотных распределений.
Какие распределения/частоты мы должны проверить?

 

fо – ожидаемые частоты (расчётные значения), которые бы стояли в   ячейках, в случае когда связи между переменными нет.

fн – реально наблюдаемые частоты, т.е. значения, которые стоят в   составленной нами таблице

 

Расчёт χ2 следует производить только на основе абсолютных значений частот. Если исходные данные представлены в процентах, то их необходимо пересчитать а абсолютные частоты.

В нашем примере:

 

Шаг 4:   Формулировка правила принятия решения

Kн – наблюдаемое (расчётное) значение статистического критерия.

Kкриткритическое значение статистического критерия для заданного уровня значимости.

 

Если вероятность Kн меньше уровня значимости (α), то H0 надо отклонить.

или

Если Kн>Kкрит  , то H0 надо отклонить.

 

Таблица критических значений χ2 для различных α

 

df=(r-1)(c-1)

df  – количество степеней свободы
r   – количество строк
c   – количество столбцов

df=(2-1)(2-1)=1

 

H0 не может быть отклонена

 

Шаг 5:   Принятие решения

Нашлись ли доказательства? Что из этого следует?

 

H0 отсутствия различий не может быть отклонена

— Различия не являются статистически значимыми на уровне 0,05

— Полученные на выборке результаты не могут быть обобщены на генеральную совокупность

 

Пол и частота пользования интернетом

Пол
 

Пользование интернетом

 

Мужской

 

Женский

 

Сумма по строке

 

редко

 

5

 

10

 

15

 

часто

 

10

 

5

 

15

 

Сумма по столбцу

 

15

 

15

 

n=30

 

Вопрос:

Можем ли мы на основании этой выборки утверждать, что во всем населении среди мужчин больше активных интернет пользователей, чем среди женщин?

Ответ:

Данная выборка не дает оснований для таких утверждений.
Если выборка была произведена должным образом, то мы можем с 95% доверительной вероятностью констатировать, что взаимосвязи между полом и частотой  пользования интернетом нет. В противном случае – мы не знаем ответа.

Как создавать гипотезы в продуктовом дизайне: пошаговое руководство

(или как ловким ходом сразить наповал разбушевавшегося HiPPO)

Фото @tmdpw

Итак, вы решили заставить свою продуктовую команду работать методом бережливой разработки (Lean). Возможно, вы даже имеете степень в области бихевиоризма и понимаете научный метод, как если бы вас вскормил грудью Карл Поппер, но ваша команда… далека от этого. Что еще хуже, в ту минуту, когда вы начинаете говорить об индукции и дедукции или нулевых и альтернативных гипотезах, их глаза тускнеют. Вы понимаете, что, если бы это был эксперимент, вы бы отвергли гипотезу, что «бережливая разработка поможет создавать лучшие продукты» (и представьте себе попытки объяснить, что вы принимаете нулевую гипотезу). Давай не будем этого делать. Вместо этого, я расскажу вам (с пошаговым руководством) о дизайне, основанном на гипотезах.

(Чит-код: в конце статьи есть сжатый пересказ ее сути).

Что такое гипотеза продуктового дизайна?

Что ж, первое, что нужно принять, это то, что независимо от того, сколько исследований вы проводите, ваш продукт – это всего лишь теоретическое решение человеческой потребности или желания, которое, как вы надеетесь, приведет бизнес к успеху. Гипотеза – это ваше предположение о том, почему конкретное решение будет успешным. Как только вы добьетесь успеха, и люди будут покупать и использовать ваш продукт, это уже не гипотеза. Это факт.

Откуда берутся гипотезы?

Я ленив, поэтому, когда дело доходит до объяснения, зачем нам нужны хорошие гипотезы, ответ таков: из железа нельзя получить золото, потому что алхимия – это сказки. Мы не узнаем ничего полезного, если наши гипотезы не будут проницательными и правильно сформулированными. Многие люди, использующие Lean-подход, похоже, думают, что им нужно просто войти в комнату, «придумать» идею, а затем передать ее клиентам и посмотреть, приживется она или нет. Сделайте это, и, скорее всего, вы потратите много времени и денег. Хорошие гипотезы рождаются из хороших наблюдений. Если вы хотите развивать непрерывный процесс разработки продуктов и инноваций, вам необходимо найти статистически значимые проблемы, которые нужно решить. Вот для чего нужны наблюдения и почему необходимы исследования. Как только вы поймете, в каком пространстве работаете, можно приступить к формированию идей.

Начальное видение

Представьте, вы обнаружили, что многие люди страдают от болей в спине из-за того, что слишком много сидят за офисным столом, и вы хотите создать продукт, который решит эту проблему. После того, как вы обоснованно сформулируете проблему пользователя и расставите приоритеты своего проекта, определив риски, ваши наблюдения и бизнес-цели должны быть сведены в четко сформулированное видение будущего. Как только вы узнаете общее направление движения, вы сможете переходить к решению проблем.

Это нормально использовать воображение

Не позволяйте науке превратить вашу команду в бездушных эмпириков, которые, возможно, научились применять Вулканский нервный захват из «Стартрека», но при этом крайне некомпетентны.

Воображение необходимо и играет очень важную роль. Используйте его, чтобы создавать как можно больше возможных решений. Это и есть ваши гипотезы.

А вот и обещанное пошаговое руководство...

Шаг 1. Представьте себе, какое изменение вы хотите, и запишите его

Как изменится мир пользователей вашего продукта или услуги, когда они у них появятся? Это ваш результат, это ваш грандиозный замысел, видение будущего, в котором ваш продукт или услуга пользуются огромным успехом, а жизни людей изменяются к лучшему. Например:

Люди, использующие наш продукт, больше не страдают от болей в спине. Они считают продукт необходимостью и удовольствием. Фактически, значительное количество клиентов заказывают более одной единицы товара и часто просят расширить ассортимент нашей продукции. Им настолько нравится этот продукт, что они фактически продают его за нас. Так, за первый год выпуска мы продали 300 000 единиц и имеем более 30 дистрибьюторов по всей стране.

Это ваши ожидаемые результаты. Они обеспечивают точку фокусировки для продвижения вперед и должны направлять ваше исследование, а также определять выбор метрик успеха для каждого эксперимента. Хорошо сформированное видение будет охватывать желательность, жизнеспособность и осуществимость продукта.

Шаг 2. Почему статус-кво – это статус-кво

Теперь, когда вы знаете, каким будет мир после того, как вы добьетесь успеха, вам нужно спросить: «Что мешает достижению этого результата?» То есть «почему он еще не такой, как вы этого хотите?»

Если бы эти причины были устранены, ваш результат был бы уже реальностью. Это корень ваших гипотез. Их должно быть несколько, и часто они бывают многослойными. У них есть две части: одна – причины, а другая – препятствия. Причина может заключаться в том, что мышцы сводит, когда они не двигаются, а препятствие может быть поведенческим или ситуативным, например: «Я слишком ленив, чтобы делать регулярные упражнения» ;) Это важно, потому что мы должны работать над тем, на что мы можем повлиять. Проблема, которую мы решаем, может заключаться в том, что у самых бедных людей в нашем сообществе нет сбережений, одна из причин – низкий доход, и это может легко свести к минимуму стремление к увеличению дохода. Однако оказывается, что зачастую этот сегмент пользователей тратит значительные суммы на лотерейные билеты. Выйдя за рамки простых причин и изучив препятствия, мы расширим наш потенциал для решений. И запомните,

Поведение – это средство дизайна – Роберт Фабрикант

Итак, вернемся к нашей проблеме с болями в спине:

  1. У людей плохая осанка, когда они сидят за компьютером, что вызывает нагрузку на межпозвоночные диски, мышцы и связки a) Они сидят слишком близко к экрану b) Они сидят слишком далеко от экрана c) Они сидят на неправильной высоте относительно экрана
  2. Люди сидят слишком долго, что вызывает напряжение связок и мышц a) Они недостаточно двигают мышцами i. Они теряют счет времени ii. У них поблизости нет часов iii. Они слишком сосредоточены, чтобы проверять время iv. Они слишком заняты, чтобы вставать и ходить v. У них недостаточно мотивации, чтобы двигаться, пока не станет слишком поздно
  3. Люди не используют эргономичные стулья, потому что они дорогие и считают их некрасивыми

Вы уловили идею. Напишите столько гипотез, сколько сможете придумать; очевидно, что предпочтительнее, если они основаны на реальных исследованиях.

Шаг 3: Мечтай, как ученый, генерируй идеи, как сумасшедший

Эффективно использовать свое воображение не означает курить травку и ждать, пока муза волшебным образом предложит вам идеальное решение. И наоборот, вам не нужно пытаться быть гением, эксперименты сделают всю работу за нас и сделают нас похожими на Эйнштейна.

Рассматривайте каждое из перечисленных выше препятствий по очереди. Какие новые способы мы можем попробовать, чтобы устранить эти препятствия? Какие есть альтернативы текущему положению дел?

Возьмем причину номер 2. Люди сидят слишком долго, из-за чего связки и мышцы напрягаются
a) Они недостаточно двигают своими мышцами

b) Они недостаточно мотивированы, чтобы двигаться, пока не стало слишком поздно

c) Они забывают регулярно двигаться

...столько, сколько вы можете найти

и придумайте несколько решений…

  1. Сделайте так, чтобы кресло напоминало им двигаться. Если пользователь сидит в кресле 30 минут, заставьте кресло достаточно вибрировать, чтобы вызвать у них раздражение, пока они не встанут.
  2. Заставьте кресло помассировать мышцы, вызывающие боли в спине. Добавьте к креслу массажные подушечки, которые активируются по соответствующему графику и обеспечивают активацию мышц, эквивалентную вставанию с кресла.

Очень легко начать придумывать идеи, когда проблемы, которые вы решаете, достаточно конкретны и детализированы, чтобы ими можно было заниматься напрямую. Очень трудно сформулировать общие и абстрактные цели, потому что параметры слишком расплывчаты. Для меня это все равно, что столкнуться с пустым холстом – это немного подавляет, и очень легко творчески застрять. Что еще более важно, вы на волосок от того, чтобы проверить гипотезу.

Шаг 4: Написание гипотез

Уверен, что все ваши идеи прекрасны, как и мои ). Однако статистически возможно, что некоторые из них более или менее хороши, чем другие. Итак, на данном этапе давайте согласимся, что все еще остается гипотезой, удастся ли нашим идеям успешно устранить препятствия на пути к желаемому результату. Это подводит нас к следующему шагу – написанию гипотез.

Превратите все свои идеи в проверяемые гипотезы. Сделайте это, переписав каждую идею как прогноз, который утверждает, что причины, предложенные на шаге 2, будут устранены, и, кроме того, произойдут изменения в показателях, которые вы обозначили на первом шаге (ваш результат).

Например: встроенные в кресло массажные подушечки, которые запускаются по расписанию и обеспечивают активацию мышц, эквивалентную вставанию с кресла, предотвращают мышечный спазм, вызывающий боль в спине.

(технически это актуальная гипотеза)

что можно было бы перевести так: «Я считаю, что добавление к офисному креслу массажных подушек, которые обеспечивают активацию мышц, эквивалентную вставанию с кресла каждые 30 минут, мы уменьшим боль в спине офисных работников, потому что мышцы будут в достаточной степени активированы».

(технически это прогноз. Он поможет вам разработать свой тест)

Структура вашей гипотезы

Я ВЕРЮ, ЧТО (моя функция / продукт / решение)

БУДЕТ (направление изменения) (то, что изменится)

ДЛЯ (целевого пользователя)

ПОТОМУ ЧТО (причина изменения)

Технически первые две строки являются предсказанием, и только последняя часть (причина изменения) является основной гипотезой, но для нас практично комбинировать их. При разработке продукта будет справедливо сказать, что вы можете опустить (причину изменения), потому что вы хотите знать только, что это сработало, и вам может быть все равно, как и почему. Однако, если вы подойдете к гипотезе таким образом и из первого эксперимента обнаружите, что она не увенчалась успехом, вы не узнаете, почему она не сработала, и будете гораздо менее эффективны в получении успешного продукта. Это также помогает улучшить дизайн эксперимента, потому что нам нужно изолировать переменные.

Гипотеза дизайна цифрового продукта может гласить:

Я считаю, что приложение, которое заставляет смартфоны пользователей вибрировать каждые 30 минут, когда они сидят, уменьшит боль в спине у офисных работников, потому что вибрация будет напоминать им о необходимости чаще вставать, тем самым активизируя их мышцы.

В нашем случае:

Я считаю, что крепление массажных подушечек к офисному креслу, уменьшит боли в спине у офисных работников, которые страдают от перенапряжения, вызванного сидячим положением. Потому что оно будет активировать мышцы и связки достаточно часто, чтобы вызвать кровоток и активизировать ткани, что предотвращает травмы, вызванные застоем.

Отличная работа. У нас есть первая проверяемая гипотеза. Сделайте так с остальными идеями, а когда закончите, не пытайтесь доказать, что они верны. Сделайте наоборот.

Шаг 5. Проверка правильности

К настоящему времени вы, наверное, немного взволнованы моим массажным креслом, я знаю. Я уже вижу высокие офисные здания, заполненные людьми, стонущими от удовольствия, когда мое массажное кресло улучшает их рабочую жизнь. Я знаю, что мой эксперимент докажет, что я прав. Это лучшее кресло на свете!

Но вам, вероятно, придется убедить группу заинтересованных лиц в том, что их мнение ошибочно, а вы правы. Такой подход является ключом к преобразованию мировоззрения в вашей организации. Важно, чтобы они понимали разницу между мнением и фактом. HIPPO (мнение самого высокооплачиваемого человека) не будет знать, что его поразило.

Я не уверен, что доверяю себе разработать честный тест. Экспериментирование – это не только выяснение того, согласны ли люди со мной, но и понимание того, почему что-то работает. Таким образом, это становится ценным знанием. Знания помогают нам избежать неправильных решений. Например, вложить миллионы долларов в кресло, которое обещает избавить от болей в спине и сделать людей более расслабленными, только чтобы обнаружить, что на самом деле не лучше имеющихся на рынке решений. Так что нам нужно быть строгими в нашем тестировании, и один из самых важных шагов на этом пути – убедиться, что вы знаете, что меняете, а это означает опровержение текущих убеждений или статуса-кво. Для этого вам нужно знать, каков статус-кво, и быть уверенным, что его можно измерить.

Наша гипотеза прекрасна и обещает стать отличной альтернативой существующему состоянию (статус-кво) боли в спине, стрессу и общему несчастью. Давайте докажем, что мы можем добиться большего, чем имеем с существующим решением. Если вы так уверены, что ваша гипотеза верна, это вообще не должно быть проблемой.

Перепишите гипотезу следующим образом:

Активация мышц и связок с помощью массажных подушек в офисном кресле не уменьшит боли в спине у членов целевой группы.

или если есть текущее решение, которое, по мнению людей, работает, ваша нулевая гипотеза будет прочитана так:

Активация мышц и связок с помощью массажных подушек в офисном кресле не уменьшит боли в спине у участников целевой группы лучше, чем нынешний метод информирования людей о необходимости вставать каждые 30 минут.

Причина в том, что это заставит эксперимент сосредоточиться на том, оказывает ли решение измеримое влияние или нет. Это означает, что вам нужно будет измерить статус-кво, и это показатель, который, как вы надеетесь, изменится, когда вы протестируете свое новое кресло. Если он не изменится, вам нужно вернуться назад, изменить исходную гипотезу и попробовать еще раз. Если вы не можете измерить статус-кво, ваша гипотеза неверна, потому что ее нельзя проверить. В этом случае вам нужно будет вернуться к шагу 3 или 4 и написать новую гипотезу.

Отличная работа, мы готовы приступить к разработке экспериментов.

Блин, похоже, нужно провести много экспериментов

Помните, я говорил, что я ленивый? Это все еще так. Нам не нужно тестировать каждую идею, и, учитывая, что ресурсы ограниченны, важно снизить риск неудачи, расставив приоритеты. Я использую карту неопределенности, чтобы расставить приоритеты своих экспериментов.

Коротко о главном

  1. РЕЗУЛЬТАТ: Опишите идеальное конечное состояние. Какой идеальный мир вы хотите создать, воплотив в жизнь свой продукт или услугу? Что увидите, когда это будет сделано?
  2. ПРЕПЯТСТВИЯ: Что по вашему мнению или согласно исследованиям, препятствует достижению результата? То есть, почему мир еще не такой, каким вы хотите его видеть?
  3. АЛЬТЕРНАТИВЫ: Какие новые способы мы можем попробовать, чтобы преодолеть эти препятствия?
  4. ГИПОТЕЗЫ: сделайте прогноз, основанный на каждой альтернативе в пункте 3, который утверждает, что изменение произойдет с показателями, которые вы обозначили в нем и в пункте 1 (ваш результат).
  5. НУЛЕВАЯ ГИПОТЕЗА: Напишите контраргумент своей первой гипотезе. Если ваша гипотеза утверждала, что что-то произойдет, замените «будет» на «не будет». Спроектируйте свой эксперимент, чтобы опровергнуть это утверждение.
  6. ПРИОРИТЕТ: примените к своим гипотезам инструмент отображения неопределенности, чтобы определить их приоритетность.
  7. ДИЗАЙН ЭКСПЕРИМЕНТА: Давайте поговорим об этом в другой раз, мне повезло, что вы дочитали до этого места.

Спасибо за прочтение. Надеюсь эта статья принесет вам пользу.


Перевод статьи uxdesign.cc

Как работает наука. 5 ошибок, которые не надо допускать

Если вы получили ссылку на этот текст в ходе спора в интернете, вероятно, вы допустили одну или несколько описанных в статье ошибок. При этом, ваш оппонент верит, что вы достаточно сознательны, чтобы понять и исправить эти ошибки.

 

Человеку свойственно ошибаться. Это естественный ход вещей. В этом тексте я разбираю пять ошибок и заблуждений, которые люди часто допускают в разговорах о научном методе и критическом мышлении.

Чем научная теория отличается от гипотезы

Ошибка № 1: «Это всего лишь теория! Ничего не доказано».

Это распространенная ошибка. Как правило, она основана на том, что в обычной жизни понятия «теория» и «гипотеза» очень схожи, хотя в научном мире между ними есть существенная разница. В быту мы часто начинаем фразу со слов «У меня есть теория…», после которой выдвигаем некое предположение — на научном языке эта фраза должна звучать как «У меня есть гипотеза». Отсюда и непонимание.

Для человека, который ошибочно считает «теорию» и «гипотезу» словами-синонимами, термины вроде «теории эволюции» или «теории большого взрыва» также кажутся всего лишь предположениями, хотя это не так. Чтобы понять разницу между теорией и гипотезой, нужно разобраться, что такое научная теория, из чего она состоит — и как это все работает.

Как строится научная теория

Любая серьезная теория строится с помощью научного метода. Это система ценностей и принципов, которая позволяет максимально объективно понимать предмет изучения. В естественных науках это окружающий мир и его отдельные аспекты.

Давайте рассмотрим на простом примере, из каких этапов состоит построение научной теории. Все начинается с наблюдений окружающего мира, из которых мы получаем эмпирические данные — факты.

Наблюдение (факт): «За окном светло».

Далее мы рассматриваем полученные факты и выводим закон. Как правило, ученые описывают закон при помощи математического аппарата. Чаще всего, он представляет собой формулу, которая обобщает наблюдаемые факты.

Важно понимать, что закон это не непоколебимая истина. Закон только представляет упорядоченные факты в обобщенном виде.

Выведенный закон: «Днем за окном светло».

Закон обобщает факты, но не отвечает на вопрос, почему так происходит. Чтобы объяснить происходящие события, ученые выдвигают предположения — гипотезы. Они могут быть самыми разными, но все обязаны иметь общую черту: для любой из них мы должны сконструировать эксперимент, с помощью которого можно подтвердить или опровергнуть гипотезу. Такой критерий называется опровергаемостью или фальсифицируемостью гипотезы (также он известнен как «критерий Поппера»).

Гипотез может быть бесконечно много, и они могут противоречить друг другу. Это нормально — на то они и предположения.

Гипотеза 1: «За окном светло, потому что солнце находится над линией горизонта».

Гипотеза 2: «За окном светло, потому что за окном висит светящаяся летающая тарелка».

Затем ученые проверяют гипотезы при помощи экспериментов. Некоторые гипотезы они подтверждают, некоторые — опровергают. После такого «просеивания» остаются подтвержденные объяснения событий в реальном мире.

Эксперимент: выходим на улицу и видим солнце над линией горизонта, а летающую тарелку — нет. Подтверждаем гипотезу 1, отвергаем гипотезу 2.

После того, как мы собираем множество подтвержденных гипотез, которые складываются в одну логическую сущность и объясняют класс явлений, мы можем сформировать их в научную теорию — систему из множества предположений, которые подтверждены фактами (наблюдениями) и складываются в единую логическую систему. Любая современная научная теория это следствие колоссальной работы множества ученых, результаты которой привели неоднократные независимые и перекрестные экспериментальные подтверждения гипотез, которые составляют эти теории.

Важной характеристикой хорошей научной теории является способность предсказывать будущие наблюдения. То есть, на основе теории мы можем строить новые гипотезы, которые затем должны подтвердить новые наблюдения. В последствии, на базе этих гипотез и наблюдений мы сможем строить новые научные теории.

Чем научная теория отличается от «знания»

Ошибка № 2: «Если бы теория была верна, она бы перестала быть теорией и превратилась в знание или научную констатацию».

Эта ошибка также следует из непонимания, что такое естественные науки. Вероятно, корни заблуждения тянутся из школьного курса математики: в математике мы действительно можем выдвинуть предположение, доказать его и получить теорему.

Однако математика — не естественная наука, поэтому ей позволены подобные вольности. Математику придумал человек. Люди договорились между собой, что будут строить ее на основе аксиом: постулатов, которые мы изначально приняли за истину без требования доказательств в рамках математики. Если мы захотим их нарушить, то получим уже какую-то другую математику — думаю, вы знаете пример геометрии Лобачевского, которая отрицает аксиому о параллельных прямых.

В случае же с естественными науками мы лишены аксиом, так как не создавали этот мир. Мы лишь наблюдатели. Если мы говорим о естественных науках, которые описывают мир вокруг нас (физика, химия, биология и так далее), то мы никогда не можем предоставить абсолютно полное доказательство чего-либо. Мы даже не можем быть уверены на 100 % в фактах, которые считаем фундаментальными и почти интуитивными.

Если отпустить карандаш, он упадет на пол. Мы лишь можем констатировать: все наши прошлые наблюдения указывают, что, если мы отпустим карандаш, он упадет на пол. Для объяснения этого у нас есть множество гипотез, которые подтверждены другими наблюдениями. Мы сформировали их в научную теорию, которая объясняет поведение отпущенного карандаша — и наша теория предсказывает, что, при следующем отпускании карандаша, он также упадет на пол.

Чем больше мы получаем наблюдений, которые подтверждают это, тем сильнее наша уверенность. Однако она никогда не может быть абсолютной, потому что для ее достижения потребовалось бы бесконечное количество наблюдений.

Даже если мы предположим, что какая-то из научных теорий абсолютно верна, это сразу ее разрушит, потому что «абсолютное знание» подразумевает отказ от фальсифицируемости (то есть, возможности опровергнуть эту теорию путем новых наблюдений). А фальсифицируемость это один из столпов, на которых держится научный метод; именно фальсифицируемость позволяет ему быть гибким и постоянно совершенствовать наши знания о мире.

Поэтому, абсолютное знание в контексте естественных наук и применения научного метода — это оксюморон.

Нужно ли «верить» в науку

Ошибка № 3: «Наука заставляет слепо верить в свои теории. Она ничем не отличается от религии».

Вовсе нет. Никто не заставляет слепо верить в научные теории — напротив, научный метод постоянно стимулирует искать новые наблюдения, которые бы дополняли картину событий, происходящих вокруг нас. Более того: в научном мире есть огромное количество примеров, когда с помощью новых наблюдений теории видоизменялись и дополнялись.

Мне очень нравится эксперимент Майкельсона — Морли. Ученые пытались найти подтверждение гипотезе о существовании эфира, чтобы объяснить распространение электромагнитных волн, но, в итоге, доказали его отсутствие.

В науку не нужно «верить». Научные теории предоставляют не только выводы, но и все эмпирические факты; гипотезы, которые выдвигались на основе этих фактов — и эксперименты, которые затем подтверждали эти гипотезы.

В отличие от религий, в которых есть непоколебимые догмы, любая научная теория допускает, что, в будущем, ученые смогут дополнить ее или даже опровергнуть. Только, чтобы опровергнуть научную теорию, нужно найти в ней фактические ошибки или же наблюдения, которые противоречат существующей теории.

С какими учеными соглашаться, а с какими нет

Ошибка № 4: «Ученые постоянно не соглашаются друг с другом. Значит, и верить им тоже нельзя».

Да, ученые постоянно не соглашаются друг с другом. Но крайне ошибочно делать из этого вывод, что наука сама не может определиться, чего хочет. В большинстве случаев ученые спорят как раз в области гипотез. То есть, несогласие между ними состоит в обсуждении аспектов той или иной теории. СМИ же, зачастую, подают это в сильно гиперболизированном виде, что создает ложное впечатление о масштабах расхождений между учеными.

Если механики находят неисправность в детали автомобиля, они ремонтируют ее, а не выкидывают весь автомобиль на свалку и ищут новый. При этом, они могут долго спорить, какой способ ремонта лучше. Так же и ученые; они коллективно дорабатывают отдельные аспекты теорий, вместо того, чтобы выбрасывать весь механизм, который исправно выполняет свои остальные функции.

Впрочем, существуют ученые, которые пытаются полностью опровергнуть какие-то устоявшиеся теории. Но условия для них ровно те же, что и для остальных. Звание «ученых» не делает для них уступок или исключений. Пока их альтернативные гипотезы не будут подтверждены экспериментами и эмпирическими наблюдениями, они ничего не опровергнут.

Сомнения и отрицание — это не критическое мышление

Ошибка № 5: «Я считаю ложной теорию эволюции, теорию большого взрыва и теорию относительности. Мне они не нравятся. Я сомневаюсь и, значит, мыслю критически».

Сомневаться похвально. Серьезно. Но голого сомнения и фраз «все это кажется непонятным бредом» недостаточно. А безосновательное отрицание, которое основано на интуиции или личных ощущениях, не тождественно критическому мышлению.

Как и в случае с несогласными учеными, сомневаться и пытаться опровергать существующие теории можно только с помощью научного метода. Процедура не меняется: сначала нужно получить факты при помощи наблюдений, которые не укладываются в существующую модель, затем — выдвинуть новую гипотезу, которая объяснит как новые наблюдения, так и все старые. После этого необходимо сконструировать эксперимент, который бы проверил эту гипотезу, провести его и получить результат.

Утверждение, что какая-то теория неверна, будет иметь смысл только тогда, когда каждый описанный выше шаг пройдет успешно. В противном случае, смысла в сомнениях не очень много.

Скрывают ли от нас правду

Бонусная ошибка: «Науку выдумало правительство, чтобы манипулировать нами».

Звучит довольно дико, однако это вполне нормальная гипотеза. Но, насколько мне известно, пока никто не провел убедительных экспериментов, наблюдения которых бы указывали на ее правдивость.

Надеюсь, этот текст помог вам лучше понять, как работает научный метод. Еще лучше, если вы прочитали его, узнали собственные заблуждения — и поняли, в чем заключались ошибки.

Если вы встретите в реальной жизни примеры перечисленных заблуждений и решите указать на них человеку (в надежде, что он или она сможет осознать их и изменить свое мнение), смело прикладывайте ссылку на этот текст. Только не расстраивайтесь, если не получите желаемого результата. Бывают безнадежные ситуации.

Также, если у вас есть другие примеры заблуждений о работе науки, или же вы хотите обсудить, поспорить и опровергнуть перечисленные тезисы, смело пишите комментарии к этому тексту.

2 Проверка гипотез | Методы обработки и анализа данных в R

Презентация - Отчеты

Презентация - тесты

Введение

Для решения отдельных задач статистического анализа достаточно методов проверки статистических гипотез. Такой процесс можно представить в виде следующих шагов:

  1. Формулировка двух взаимоисключающих гипотез - нулевой \(H_0\) и альтернативной \(H_1\)
  2. Выберите соответствующий статистический тест
  3. Определение допустимой вероятности совершения ошибки I рода (т.е. уровня значимости \(\альфа\))
  4. Решение принято

Новые термины, упомянутые выше, будут объяснены ниже.

Статистическая гипотеза

Предположение о свойствах анализируемого признака, например, среднее значение в совокупности равно 10, распределение признака нормальное.

Всегда есть две гипотезы: нулевая гипотеза (\ (H_0 \)) и альтернативная гипотеза (\ (H_1 \)). Нулевая гипотеза - это гипотеза равенства:

\ (H_0: \ бар {х} = 10 \)

Альтернативная гипотеза, напротив, предполагает обратное:

\ (H_1: \ bar {x} \ neq 10 \)

Вместо знака неравенства (\ (\ neq \)) может также стоять знак меньше (\ (<\)) или больше (\ (> \)) .

Уровень значимости и p-значение

Статистические гипотезы проверяются с определенным уровнем значимости \(\альфа\), который указывает максимально допустимую частоту ошибок (обычно \(\альфа = 0,05\)).

Большинство статистических программ сообщают в результатах своих тестов значение p. Это самый строгий уровень значимости, при котором мы можем отклонить гипотезу \ (H_0 \). Это очень популярное решение, но оно не лишено недостатков. Подробное описание потенциальных угроз можно найти в статье.

Вообще, если \(p<\alpha\) - отвергаем нулевую гипотезу.

Статистические тесты

В зависимости от того, что вы хотите проверить, выберите соответствующий тест. В таблице ниже представлена ​​довольно исчерпывающая классификация тестов, взятая с веб-сайта.

Набор данных

Мы будем работать с набором данных сотрудников предприятия. Ниже приводится описание функций, найденных в этом наборе

.
  • id - код сотрудника
  • пол - пол сотрудника (0 - мужской, 1 - женский)
  • дата рождения - дата рождения
  • образование - образование (в годы обучения)
  • employee_cat - группа сотрудников (1 - специалист, 2 - менеджер, 3 - консультант)
  • б оклад - текущий оклад
  • р оклад - начальный оклад
  • интернатура - опыт работы (в месяцах)
  • стаж - предыдущее место работы (в месяцах)
  • unions - членство в профсоюзах (0 - нет, 1 - да)
  • возраст - возраст (в годах)

Тест на независимость

С помощью критерия независимости \ (\ хи ^ 2 \) (хи-квадрат) можно проверить, существует ли взаимосвязь между двумя признаками качества.Система гипотез такова:

  • \(H_0:\) переменные независимы,
  • \ (H_1: \) переменные не являются независимыми.

В программе R тест на независимость можно вызвать с помощью функции chisq.test() из пакета stats . Вы должны передать таблицу непредвиденных обстоятельств в качестве аргумента этой функции. При работе с единичными данными можно создать с помощью функции таблицу (). Если мы вводим числа вручную, то следует убедиться, что введенный объект имеет тип матрицы .

Пример

Есть ли связь между переменным полом и переменным членством в профсоюзе?

На первом этапе мы определяем исследовательские гипотезы:

\ (H_0 \): нет связи

между полом и членством в профсоюзе

\ (H_1 \): существует связь

между полом и членством в профсоюзе

и примем уровень значимости - примем стандартное значение \(\альфа=0,05\).

Во-первых, давайте посмотрим на кросс-таблицу (непредвиденные обстоятельства), содержащую номера конкретных комбинаций вариантов.2\).

90 114 ## ## Критерий хи-квадрат Пирсона с поправкой Йейтса на непрерывность ## ## данные: таблица (сотрудники $ beg, работники $ union) ## X-квадрат = 2,3592, df = 1, p-значение = 0,1245

На уровне значимости \(\альфа=0,05\) p-значение (0,1245) больше, чем значение \(\альфа\), поэтому нет оснований отвергать нулевую гипотезу. Можно сделать вывод об отсутствии связи между переменными пола и членством в профсоюзе.

Пример

Есть ли связь между полом и медианной текущей заработной платой?

\(H_0\): нет связи

между полом и платными группами

\(H_1\): есть связь

между полом и платными группами

Сначала мы создаем новый признак, заменяя признак bwage качественной переменной с двумя вариантами: ниже медианы и выше медианы.

90 114 ## ## [1.58e + 04.2.89e + 04] (2.89e + 04.1.35e + 05) ## 0 73 185 ## 1 164 52 90 090 90 117

В этом случае внешний вид кросс-таблицы может свидетельствовать о наличии зависимости.

90 114 ## ## Критерий хи-квадрат Пирсона с поправкой Йейтса на непрерывность ## ## данные: таблица (сотрудники $Plec, сотрудники $bwyn_mediana) ## X-квадрат = 104,8, df = 1, p-значение <2,2e-16

Тест \(\chi^2\) подтверждает это - у нас есть основания отвергнуть нулевую гипотезу в пользу альтернативной гипотезы - существует взаимосвязь между полом и платными группами.

Проверка пропорции

Тест на пропорции позволяет ответить на вопрос, существенно ли отличаются друг от друга проценты в одной, двух или более группах. Для одной выборки система гипотез представлена ​​ниже:

  • \ (Н_0: р = р_0 \)
  • \ (H_1: p \ neq p_0 \) или \ (H_1: p> p_0 \) или \ (H_1: p

Гипотеза с двумя выборками выглядит следующим образом:

  • \ (Н_0: р_1 = р_2 \)
  • \ (H_1: p_1 \ neq p_2 \) или \ (H_1: p_1> p_2 \) или \ (H_1: p_1

Для \ (k \) проверенных образцов нулевая и альтернативная гипотезы могут быть записаны следующим образом:

  • \ (H_0: p_1 = p_2 = p3 =... = п_к \)
  • \ (H_1: \ существует \; p_i \ neq p_j \)

В этом случае альтернативная гипотеза означает, что по крайней мере один процент значительно отличается от других.

Функция prop.test из пакета stats позволяет протестировать пропорции в программе R. В качестве аргументов необходимо передать вектор, содержащий числитель тестируемых процентов - x , и вектор, содержащий знаменатель значения - н . В случае одной выборки следует добавить аргумент p , значением которого является проверенный процент.

Пример

Предполагается, что курильщики сигарет составляют равное количество мужчин и женщин. Для проверки этой гипотезы случайным образом были отобраны 500 мужчин и 600 женщин. Выяснилось, что среди мужчин было 200 курильщиков и 250 среди женщин.

\(H_0\): Процент курящих по полу одинаков

\ (H_1 \): процент курильщиков различается по полу

90 114 ## ## Двухвыборочный тест на равенство пропорций с поправкой на непрерывность ## ## данные: c (200, 250) из c (500, 600) ## Х-квадрат = 0.24824, df = 1, p-значение = 0,6183 ## альтернативная гипотеза: двусторонняя ## 95-процентный доверительный интервал: ## -0,07680992 0,04347659 ## примерные оценки: ## реквизит 1 реквизит 2 ## 0,4000000 0,4166667

При уровне значимости 0,05 нет оснований отбрасывать Н0 - процент курящих в гендерных группах одинаков.

Тест на нормальность - тест Шапиро-Уилка

Параметрические тесты обычно требуют допущения, что распределение является нормальным. Для проверки этого предположения следует использовать один из тестов на нормальность.

Тест Шапиро-Уилка можно использовать для формальной проверки распределения функции. Схема гипотезы для этого теста выглядит следующим образом:

  • \(H_0:F(x)=F_0(x)\) - распределение признака имеет нормальное распределение
  • \(H_1:F(x)\neq F_0(x)\) - распределение признаков не имеет нормального распределения

Моделирование, проведенное до сих пор, показало, что тест Шапиро-Уилка является самым мощным из тестов нормальности, но его ограничением является максимальное количество наблюдений, равное 5000.

В программе R можно запустить тест Шапиро-Уилка, используя в качестве аргумента функцию shapiro.test() , дающую вектор числовых значений, которые мы хотим проверить.

Проверка нормальности — квантильный график

Нормальность распределения также можно проверить, создав график, на котором сравниваются исходные значения и соответствующие значения нормального распределения. Дополнительно проводится линия регрессии между полученными значениями.Точки, идущие рядом с этой линией, указывают на то, что распределение признака нормальное.

На диаграмме показан график квантилей-квантилей для 50 значений, полученных из нормального распределения и из равномерного распределения.

Как видно, точки на графике слева существенно не отличаются от прямой линии, поэтому можно предположить, что распределение этого признака нормальное. В свою очередь, график справа показывает отклонение от нормального распределения — значения на концах линии находятся дальше от него.

Пример

Является ли опыт нормально распределенным? Проверьте с помощью соответствующего теста и графика квантилей-квантилей.

\(H_0\): Опыт нормально распределяется

\(H_1\): Опыт нормально не распределяется

90 114 ## ## Критерий нормальности Шапиро-Уилка ## ## дата: сотрудники $ опыт ## W = 0,8136, значение p <2,2e-16

На уровне \(\alpha=0.05\) Отбрасываем \(H_0\)(p<\(\alpha\)) - опыт нормально не распределяется.2_j\)

Функция bartlett.test () в программе R позволяет использовать этот тест. Есть два способа передать аргументы этой функции. Первый — присвоить аргументу x вектор, содержащий значения признаков, а аргументу g — вектор, содержащий идентификаторы каждой группы. Второй способ — объявить формулу как analysis_variable ~ group_variable и указать набор данных, связанный с аргументом date .

Пример

Проверим, одинаковы ли дисперсии переменной опыта в гендерных группах.

\ (H_0 \): различия в опыте одинаковы в

половых группах.

\ (H_1 \): различия в опыте неодинаковы в

половых группах

Функцию проверки \(H_0\) можно написать двумя способами - результат всегда будет одинаковым.

90 114 ## ## Критерий Бартлетта однородности дисперсий ## ## дата: сотрудники $ опыт и сотрудники $ попрошайничество ## K-квадрат Бартлетта = 4.7659, df = 1, p-значение = 0,02903 90 114 ## ## Критерий Бартлетта однородности дисперсий ## ## дата: сотрудники $ опыт сотрудников $ назад ## K-квадрат Бартлетта = 4,7659, df = 1, p-значение = 0,02903

Приняв уровень значимости \ (\ альфа = 0,05 \), мы отклоняем нулевую гипотезу, утверждающую, что дисперсии различаются между полами. С другой стороны, допуская более низкий уровень значимости \(\альфа=0,01\), мы бы приняли решение об отсутствии оснований для отбраковки\(Н_0\) и о том, что между группами нет значимой разницы.

Тестирование средних значений

Если вы тестируете средние значения, введите понятие зависимых и независимых испытаний:

  • парные образцы - анализируются одни и те же единицы, но разные характеристики.

  • непарные образцы - анализируются разные единицы, но с одним и тем же признаком.

В зависимости от того, выполняются ли соответствующие предположения относительно нормальности признака и равенства дисперсии, следует выбрать соответствующий тест в соответствии с приведенной ниже диаграммой.

Тест T-средних

Равенство средних может быть проверено путем сравнения среднего значения в одной группе с произвольно принятым уровнем или в двух разных группах. В первом случае рассмотрим систему гипотез:

  • \ (Ч_0: м = м_0 \)
  • \ (H_1: m \ neq m_0 \) или \ (H_1: m m_0 \)

, а во втором случае гипотезы будут выглядеть так:

  • \ (Ч_0: м_1 = м_2 \)
  • \ (H_1: m_1 \ neq m_2 \) или \ (H_1: m_1 m_2 \)

В качестве альтернативы нулевая гипотеза может быть записана как \ (m_1 - m_2 = 0 \), т.е. мы проверяем, существенно ли разница между группами отличается от нуля.

В функцию t.test() из пакета stats в случае одной выборки ввести аргумент x , т.е. вектор со значениями, которые анализируются и значением, с которым это среднее сравнивается (аргумент mu , что по умолчанию равно 0). Кроме того, в аргументе альтернатива мы указываем, какую альтернативную гипотезу мы принимаем во внимание.

Чтобы проверить равенство среднего в двух выборках, сложите аргумент и со значениями во второй выборке.В этом случае у нас также есть возможность определить, являются ли выборки зависимыми (аргумент в паре с ) или же дисперсия в обеих выборках одинакова ( var.equal ). Если дисперсии различны, программа R выполнит t-критерий Уэлча, и количество степеней свободы не будет целым числом.

Анализ

Однофакторный дисперсионный анализ (ANOVA) используется для большего количества групп. Этот анализ требует выполнения предположений о нормальности распределения и равенстве дисперсии в изучаемых группах.Система гипотез такова:

  • \ (H_0: m_1 = m_2 = m_3 = ... = m_k \)
  • \(H_1:\exist_{i,j\in\{1,..,k\}}\; m_i\neq m_j\)

Вы можете выполнить односторонний дисперсионный анализ в R, используя функцию aov () . В качестве аргумента функции должна быть приведена формула отношения тестируемой переменной к группирующей переменной с использованием символа тильды ( ~ ) в следующем контексте: анализируемая_переменная ~ группирующая_переменная .При такой записи имя набора данных также должно быть указано в аргументе дата .

По сравнению с описанными ранее функциями, aov() не возвращает в качестве прямого результата значение p. Чтобы получить это значение, результат этой функции должен быть присвоен объекту, а затем функция summary() надо на него позвонить.

Если нулевая гипотеза отвергнута, можно выполнить тест Тьюки для выявления различающихся пар, используя функцию TukeyHSD () и указав в качестве аргумента объект, содержащий ANOVA.

В ситуации, когда допущения для использования параметрического теста не выполняются, используйте непараметрические тесты. При тестировании показателей центральной тенденции разница между параметрическими и непараметрическими тестами заключается в замене среднего значения медианой. С точки зрения вычислений исходные значения признака заменяются рангами, т.е. ослабляется шкала измерения - от частного к порядковому.

Тест Уилкоксона

Критерий Уилкоксона — это непараметрическая версия t-критерия.Гипотезы в этом тесте касаются равенства распределений:

  • \ (Н_0: Ф_1 = Ф_2 \)
  • \ (H_1: F_1 \ neq F_2 \)

Значение тестовой статистики будет зависеть от типа теста, в то время как в R используется функция wilcox.test () . Аргументы этой функции такие же, как и для теста бара

.

Тест Краскела-Уоллиса

В свою очередь, критерий Крускала-Уоллиса является непараметрическим эквивалентом ANOVA. Гипотезы следующие:

  • \ (H_0: F_1 = F_2 = F_3 =...=Ф_к\)
  • \(H_1:\exist_{i,j\in\{1,..,k\}}\; F_i\neq F_j\)

Программа R использует функцию kruskal.test() , которая принимает те же аргументы, что и функция для метода ANOVA aov() . Основное отличие заключается в способе представления результата проверки, ведь в этом случае мы сразу получаем значение p.Если нулевая гипотеза отвергнута, необходимо проверить, какие группы отличаются друг от друга. Это можно сделать с помощью функции pairwise.wilcox.тест () .

Пример

Мы проверим, одинаковы ли средний опыт в гендерных группах.

\(H_0\): средний стаж в гендерных группах одинаков

\(H_1\): средний стаж в гендерных группах не одинаков

В связи с тем, что тестируемый признак не имеет нормального распределения, будет выполнен критерий Уилкоксона. Здесь мы имеем дело с тестом для независимых выборок — один признак (опыт) проверяется в непересекающихся гендерных группах.

90 114 ## ## Критерий суммы рангов Вилкоксона с поправкой на непрерывность ## ## дата: сотрудники $ опыт сотрудников $ назад ## W = 36295, p-значение = 1,372e-08 ## альтернативная гипотеза: истинное смещение местоположения не равно 0

Принимая уровень значимости \(\альфа=0,05\) отбрасываем \(H_0\) - средний опыт не тот.

Пример

Стартовая и текущая зарплата сильно отличаются?

\(H_0\): Средняя начальная и текущая зарплата одинаковая

\(H_1\): Не совпадает средняя начальная и текущая зарплата

Сначала мы проверяем нормальность распределения анализируемых признаков.

90 114 ## ## Критерий нормальности Шапиро-Уилка ## ## дата: сотрудники $ p зарплата ## W = 0,71535, p-значение <2,2e-16 90 114 ## ## Критерий нормальности Шапиро-Уилка ## ## дата: сотрудники $ b зарплата ## W = 0,77061, значение p <2,2e-16

Зарплата в этом наборе данных далека от нормального распределения. В этом случае мы анализируем зависимые выборки — изучаем две разные характеристики для одних и тех же единиц (наблюдений).

90 114 ## ## Знаковый ранговый тест Уилкоксона с коррекцией непрерывности ## ## дата: сотрудники $ p заработная плата и сотрудники $ bwages ## V = 0, p-значение <2.2е-16 ## альтернативная гипотеза: истинное смещение местоположения не равно 0

Исходя из заданного значения p, отбрасываем \(H_0\) - средняя начальная и текущая зарплата статистически значимо отличаются друг от друга.

Пример

Точно так же можно проверить, отличается ли, например, опыт более чем в двух группах — в этом случае мы в основном рассматриваем независимые испытания.

\(H_0\): Средний стаж в группах категорий сотрудников одинаковый

\(H_1\): Средний стаж в группах категорий сотрудников не одинаков - хотя бы одна пара отличается

90 114 ## ## Критерий суммы рангов Краскела-Уоллиса ## ## дата: сотрудники $ опыт сотрудников $ employee_directory ## Хи-квадрат Крускала-Уоллиса = 57.466, df = 2, p-значение = 3,322e-13

Приняв уровень значимости \ (\ альфа = 0,05 \), мы отвергаем нулевую гипотезу - хотя бы одна пара категорий сотрудников различается по средней заработной плате.

.

Непараметрические тесты - Статистическая аварийная служба

Непараметрические тесты

Непараметрические тесты — это статистические тесты, используемые для проверки непараметрических гипотез. Упомянутое в названии «непараметрическое» говорит о том, что эти тесты, в отличие от других классических статистических методов, не полагаются на оценку параметров заранее определенного распределения случайной величины в совокупности.

Непараметрические тесты могут (должны) использоваться, когда основные допущения для параметрических тестов не выполняются.

* количественная шкала измерения зависимой переменной (или обе для корреляционного анализа) - вы уже знаете, что при выполнении, например, критерия Стьюдента мы должны иметь независимую переменную на двух уровнях и зависимую переменную, измеряемую на количественный масштаб. Если мы хотим сравнить две группы с точки зрения некоторой переменной, которая измеряется по порядковой шкале, мы должны использовать непараметрический эквивалент t-критерия Стьюдента.

* выбросы - непараметрические критерии относятся к семейству так называемых робастных статистических методов ( надежные методы ). Это означает, что большие отклонения от средних значений не оказывают негативного влияния на наши результаты, как в случае с параметрическими методами

.

* нормальное распределение - как было сказано в первом абзаце, при использовании непараметрических методов нам не нужно беспокоиться о том, что наши количественные переменные имеют распределение, согласующееся с нормальным распределением. В целом распределение переменных в случае непараметрических тестов не имеет большого значения

* групповая эквивалентность - это также относительно важное допущение для параметрических тестов, сравнивающих для нас средние значения в нескольких группах.Если мы хотим проверить, зарабатывают ли люди с начальным, средним или высшим образованием больше всего, и в группе 1 у нас есть 10 респондентов, в группе 2 у нас есть 18 респондентов и в группе 3 у нас есть 67 респондентов, хорошо выбрать не- параметрический тест вместо параметрического

Наиболее часто встречающиеся непараметрические тесты:

1. Критерий Манна-Уитни – Эквивалент критерия Стьюдента для независимых выборок

2. Критерий Крускала-Уоллиса — эквивалент однофакторного дисперсионного анализа (ANOVA) для независимых выборок

3. Критерий Уилкоксона — Эквивалент критерия Стьюдента для зависимых выборок

4 Критерий Фридмана. Эквивалент одностороннего дисперсионного анализа (ANOVA) для зависимых выборок

5 Непараметрические корреляции - ро Спирмена и тау Кендалла b

6. Критерий хи-квадрат согласованности распределения или критерий хи-квадрат независимости

.

Как выбирать методы исследования, или как выбирать с умом и не сойти с ума?

Этот список разбивает методы исследования (которых много, здесь перечислены только примерные методы для каждого квадранта) в соответствии с простыми противопоставлениями - является ли метод главным образом количественным или качественным , и исследует ли метод в основном отношения или поведения .

Методы исследования: выбрать количественное или качественное исследование?

Одним из основных делений методов исследования является метод количественного и качественного - они различаются размером выборки данных, которые вы используете в том или ином методе, но это не самое главное.Что вам нужно понять, так это то, что количественные методы ответят на следующие вопросы: Что? Когда? Сколько?

Количественные методы расскажут вам, что происходит, когда это происходит и сколько происходит. Например, анализ количественных данных из FB подскажет, что популярно в соцсетях, сколько людей изъявили желание участвовать в тех или иных мероприятиях и когда повышается активность того или иного профиля. Часто, имея доступ к таким данным, хочется сразу делать выводы.К сожалению, сами по себе количественные методы редко позволяют это сделать. Одной из наиболее распространенных ошибок является вывод о причинно-следственной связи на основе недостаточных количественных данных. Вам нужен более широкий контекст? Обратитесь к качественным методам.

Если вы хотите выяснить почему что-то происходит или почему люди ведут себя одинаково, используйте качественные методы. Именно глубинные интервью, наблюдение или качественный анализ текста позволят исследовать причины того или иного положения дел.Таким образом, деление на качественные и количественные методы лучше понять не с точки зрения того, какой объем людей/артефактов вы будете изучать, а какую информацию вы от них получите.

Вы хотите знать отношение или поведение?

То же самое можно сказать и о втором подразделении методов, которые я хочу вам представить, — о методах, изучающих отношения, и о методах, изучающих поведение. Как вы, наверное, знаете, люди могут говорить одно, а… делать совершенно другое. Вы можете назвать это ложью, но несоответствие между заявлениями и поведением не всегда является результатом преднамеренного введения в заблуждение.Часто просто трудно определить наше поведение, если мы просто подумаем об этом. Признайтесь, мы, люди, не умеем предсказывать или объяснять даже собственное поведение.

Вы лучше поймете разделение на исследования отношения и поведения, если рассмотрите, какие вопросы позволяют нам найти ответы. Методы тестирования отношения могут сказать вам: Что говорят люди? Чего они ожидают? (они думают, что ждут) Что они декларируют? С другой стороны, есть поведенческие методы, которые позволят вам проверить: Что делают люди? или как они ведут себя в реальных ситуациях.

Для лучшей иллюстрации методом исследования поведения будет, например, этнография, т. е. непосредственное наблюдение за субъектами в их естественной среде, без вмешательства в их деятельность. А методом изучения мнений являются, например, фокус-групповые интервью (Focus Group Interviews).

Методы исследования на практике, или как выбирать методы для проектов?

Среди представленных поломок, как и среди методов исследования, нет худших или лучших - их пригодность зависит от того, что вы хотите исследовать и получить.Иногда стоит знать, чем занимаются люди, но часто необходимо знать их мнение по заданной теме — благодаря этому вы не только сможете предоставить им проект или услугу, которыми они реально будут пользоваться, но и будете также быть в состоянии сообщить им об этом точным и надлежащим образом убедительным образом.
Как вы могли заметить, два подразделения накладываются друг на друга — метод может быть как качественным, так и поведенческим, количественным и отношениям и т. д.

Зная разделение методов и имея набор исследовательских вопросов, на которые вы хотите ответить, и ограниченный бюджет и время на исследования, вы можете выбирать методы исследования таким образом, чтобы охватить интересующие вас области и получить актуальные данные .

Здесь стоит отметить, что исследования представляют собой итеративный процесс — поиск ответа на один вопрос может вызвать ряд последующих вопросов. Это означает, что очень часто исследовательский процесс начинается, например, с этапа количественного исследования, ориентированного на поведение той или иной группы людей, а затем собранные данные требуют качественного углубления с целью выявления причин наблюдаемых явлений или их фальсификации. принятые гипотезы о них.

Теперь пришло время подвести итоги — в приведенном выше примере:

  1. На первом этапе проекта вы сосредоточитесь на качественном исследовании отношения.Чтобы понять, что люди понимают под новыми формами культурной деятельности и почему они так думают.
  2. На втором этапе (или параллельно) вы можете перейти к количественным исследованиям поведения, в основном в социальных сетях.
  3. На следующих этапах проекта, зная ответы на часть вопросов, вы, вероятно, попытаетесь углубить тему, задав более точные вопросы и выдвинув новые гипотезы.

Возвращаясь, однако, к выбору первых методов в этом проекте - зная, какие методы вам нужны на данном этапе - качественные отношения и количественные исследования поведения - вы можете выбрать соответствующие методы, адаптируя их к другим ограничениям в проекте - время реализации и расходы.Для этого проекта хорошо подойдут глубинные индивидуальные интервью как качественный метод изучения отношения и анализа существующих данных, например, количественный анализ данных из социальных сетей.

.

Поиск в Интернете

Логика проверки статистических гипотез

Вернуться к базе знаний

Логика проверки статистической гипотезы

Одним из ключевых элементов исследовательского процесса является определение гипотез, которые мы хотим проверить в ходе анализа собранных данных. В количественных исследованиях мы часто пытаемся быть в состоянии статистически подтвердить ожидаемую связь между некоторыми явлениями (Mayntz, Holm, Hübner 1985).Для этого необходимо перевести их на язык нулевых статистических гипотез (Иверсен 2003а).

H и нулевые гипотезы статистические тесты обычно предполагают отсутствие существенных различий между статистическими параметрами (например, средними значениями) или отсутствие связи между переменными. Исследователь обычно формулирует так называемую , альтернативная гипотеза предполагает, что такие различия или отношения существуют. Большинство исследований стремятся доказать, что нулевая гипотеза неверна (Iversen 2003a).

P ПРИМЕР: Нас интересует разница между доходами мужчин и женщин. Мы предполагаем, что средний доход мужчин будет значительно выше, чем у женщин. Чтобы доказать истинность этой гипотезы (которую мы будем называть альтернативной нулевой гипотезе), мы должны сначала доказать, что нулевая гипотеза о том, что средний доход мужчин и женщин существенно не различается, неверна.

Процедура фальсификации статистических гипотез неразрывно связана с проблемой статистической значимости .Обычно в случае количественных исследований мы не имеем возможности изучить всю интересующую нас совокупность, поэтому мы используем данные исследований на случайных, репрезентативных выборках. Использование статистической значимости позволяет решить, можно ли считать различия между значениями достаточно значительными, чтобы можно было определить их как нечто большее, чем совпадение, вытекающее из специфики выборки (Iversen 2003a). Другими словами, статистическая значимость позволяет исследователю заявить, насколько он может быть уверен в том, что его результаты, полученные на выборочных данных, отражают фактические значения в популяции (Sutton, Davis 2004).Мерой этой «уверенности» является вероятность.

При проверке статистических гипотез мы используем p-значение ( p-значение ), которое является мерой вероятности получения заданного значения тестовой статистики, предполагая, что нулевая гипотеза верна. Другими словами, это вероятность того, что полученное значение является результатом случайности. Чем меньше значение p, тем больше вероятность того, что проверяемая нулевая гипотеза окажется ложной (там же).

Важным шагом в процедуре проверки статистических гипотез является определение минимального предела p-значения, выше которого мы принимаем решение отклонить нулевую гипотезу. В статистике обычно принимается один из двух уровней значимости — 0,01 или — чаще используется — 0,05. Если мы согласны принять уровень значимости , равный 0,05, мы решаем считать нулевую гипотезу ложной, когда вероятность того, что результат является результатом случайности, меньше 0.05. Мы принимаем на себя 5%-й риск совершения так называемого ошибка первого вида , заключающаяся в отклонении истинной нулевой гипотезы. Принимая такой уровень значимости, мы соглашаемся с тем, что в 1 из 20 случаев, следуя описанной выше процедуре, мы совершим ошибку, отвергнув нулевую гипотезу, когда она действительно окажется верной (ср. Iversen 2003c). Если, в свою очередь, мы решим оставить нулевую гипотезу, которая на самом деле ложна, мы совершим так называемый ошибка второго типа (ср. Рубин 2012).

Модель цитирования:

Магеровски М. Логика проверки статистических гипотез. Доступно: http://www.researchonline.pl/baza?podkategoria=27, дата обращения: .././../2013.

Библиография

Дэвид, М., Саттон, округ Колумбия Социальные исследования. Основы. Лондон: публикации Sage.
Иверсен, Г.Р. 2003а. Гипотеза. В: Алан Э. Брайман, Тим Футинг Ляо, Майкл Льюис-Бек (редакторы) SAGE Encyclopedia of Social Science Research Methods.Издание I. Лодон: Sage Publications.
Иверсен, Г. Р. 900 09 2003b. Тестирование значимости. В: Алан Э. Брайман, Тим Футинг Ляо, Майкл Льюис-Бек (редакторы) SAGE Encyclopedia of Social Science Research Methods. Том II. Лодон: Sage Publications.
Иверсен, Г. Р. 900 09 2003c. Ошибка I типа. В: В: Алан Э. Брайман, Тим Футинг Ляо, Майкл Льюис-Бек (ред.) Энциклопедия методов исследования социальных наук SAGE, том II. Лодон: Sage Publications.
Майнц Р., Холм К., Хюбнер П. 1985. Введение в методы эмпирической социологии, Варшава: PWN.
Рубин, А. 2012. Статистика для доказательной практики и оценки. Cengage Learning.

.

Смотрите также