Ловушка
Уверенные, плавные и ошибочные
Каждый день вы сталкиваетесь с источниками, которые звучат абсолютно уверенно: гладкий сайт, популярное видео, друг, который никогда не оговаривается, приложение для покупок, инструмент для помощи в учёбе, трекер здоровья. Они быстро дают ответы, в чётких предложениях, без видимых сомнений.
Вот неудобная истина, на которой построён этот урок: уверенность — не доказательство. Источник может утверждать что-либо с полной уверенностью и при этом быть абсолютно неправ. Внешняя безупречность ответа не говорит ни о чём относительно его истинности.
Так как же вы на самом деле знаете что-то? Не по ощущению уверенности и не доверяя тому, кто звучит увереннее всех. Вы знаете, рассуждая внимательно и проверяя утверждения по независимым доказательствам. Этот навык состоит из четырёх частей, и вы отработаете каждую из них сегодня:
1. Базовые частоты : почему даже очень точный тест на редкое явление по-прежнему выдаёт в основном ложные срабатывания.
2. Корреляция и причинно-следственная связь : почему то, что две вещи меняются одновременно, не означает, что одна вызывает другую.
3. Предвзятость подтверждения : почему мы чрезмерно доверяем ответам, которые совпадают с тем, во что мы уже верим.
4. Верификация : как проверить утверждение, сверяя его с независимыми источниками, прежде чем действовать на его основе.
Разминка
Прежде чем мы начнём, небольшое размышление. Ошибаться, будучи уверенным в своей правоте, — это не редкость : это нормальное человеческое состояние. Назовите случай, когда это произошло с вами, — и остальная часть этого урока запомнится лучше.
Тест на редкое заболевание
Почему точные тесты все равно вводят нас в заблуждение
Базовая частота — это то, насколько часто что-либо встречается до проведения любого теста. Игнорирование этого фактора — одна из самых дорогостоящих ошибок в рассуждениях: и почти все на нее совершают.
Вот сценарий. Прочитайте его внимательно; вы вычислите ответ на следующем экране.
- Заболевание поражает 1 человека из 1000 (это базовая вероятность).
- Существует тест с точностью 99%: если вы больны, он покажет положительный результат в 99% случаев, а если вы здоровы — отрицательный в 99% случаев (то есть он ошибается в 1% случаев у здоровых людей).
- Вы сдаёте тест. Результат — положительный.
Интуитивно почти все скажут: точность 99%, значит, вероятность того, что я болен, составляет около 99%. Запомним это. Теперь мы проверим это утверждение, опираясь на базовую вероятность, а не на интуицию.
Метод: представьте 1000 человек и посчитайте.
- Из 1000 человек примерно 1 действительно болен. Тест выявляет этого человека: назовём это 1 истинно положительным результатом.
- Остальные 999 здоровы. Тест ошибается в 1% случаев: 999 × 0,01 — это примерно 10 ложноположительных результатов.
Таким образом, среди всех, у кого тест дал положительный результат, есть примерно 1 истинно положительный и около 10 ложноположительных.
Сделайте подсчёт
Ваш расчёт
Используйте данные из дерева: примерно 1 истинно положительный результат и примерно 10 ложноположительных.
Что учит нас это число
Главный вывод
Самая важная привычка, которую даёт этот раздел: когда что-то редкое, даже очень точный тест даёт в основном ложноположительные результаты. Базовая частота может перевесить точность.
Это касается не только медицинских тестов. Это касается предупреждений о мошенничестве, фильтров спамa, сканеров безопасности и любой уверенной системы, которая сигнализирует о редком событии. «Положительный» результат от такой системы — это повод разобраться подробнее, а не приговор. Чем реже событие, тем больше один сигнал должен вызывать проверку, а не доверие.
Когда две вещи движутся вместе
Корреляция и причинность
Два явления коррелируют, когда они изменяются вместе: если одно растёт, другое, как правило, тоже. Складывается соблазн сделать вывод, что одно вызывает другое. Обычно такой вывод не обоснован. Для любой корреляции существует как минимум три безобидных объяснения:
1. Спутник (скрытая третья причина). Продажи мороженого и число утоплений растут одновременно. Мороженое не вызывает утоплений; жара является движущей силой обоих явлений. Спутник — это истинный двигатель.
2. Обратная причинность. Люди, использующие фитнес-приложение, здоровее, значит, приложение должно вызывать здоровье? Возможно, именно изначально здоровые люди выбирают это приложение. Стрелка причинности может указывать в обратную сторону.
3. Совпадение. При измерении достаточного количества переменных некоторые из них могут совпасть чисто случайно, не имея никакой реальной связи.
Профессиональный подход: прежде чем принять утверждение «X вызывает Y», спросите что ещё может это объяснить? Источник, который с уверенностью пропускает этот вопрос, продаёт вам историю, а не научный факт.
Найдите скрытую причину
Ваша очередь
Исследование сообщает: «Ученики, владеющие большим количеством книг, получают более высокие баллы на тестах по чтению. Следовательно, покупка большего количества книг повышает результаты тестов». Приложение для покупок даже ссылается на это, чтобы с большой уверенностью продавать родителям пакеты книг.
Вера в то, что подходит
Предвзятость, которая питает ваши убеждения
Предвзятость подтверждения — это склонность замечать, верить и запоминать доказательства, которые соответствуют тому, что мы уже думаем, игнорируя или обесценивая доказательства, которые этому противоречат. Она тихо действует в фоне почти при любом суждении.
Современные инструменты усугубляют эту проблему. Результаты поиска, ленты новостей и системы рекомендаций изучают ваши предпочтения и подают вам всё больше того же самого. Задайте наводящий вопрос, и вы часто получите уверенный ответ, сформированный так, чтобы согласиться с вами. Результат ощущается как независимое подтверждение, но это лишь эхо: то же самое убеждение, отражённое обратно и замаскированное под доказательство.
Антидот требует осознанности: намеренно ищите самые сильные доказательства того, что вы неправы. Если вы не можете их найти или слишком быстро их отбрасываете, значит, говорит предвзятость.
Заметьте предвзятость
Ваш ход
Майя уверена, что определённая добавка вылечила её от простуды. Она помнит случаи, когда принимала её и выздоравливала, пересказывает эти истории и забывает о случаях, когда добавка не помогла. Когда друг упоминает исследование, показывающее, что добавка не работает, она говорит, что исследование «обязательно предвзятое», и переходит к следующему. Она также спрашивает у уверенного в себе приложения о здоровье: «Хороша ли эта добавка от простуды?», и оно с энтузиазмом соглашается.
Независимая верификация
Привычка, которая связывает всё воедино
Каждый инструмент, рассмотренный до сих пор, указывает на один навык: не доверяйте уверенным утверждениям; проверяйте их. Самый надежный метод — это триангуляция : проверка утверждения по двум или более независимым источникам перед тем, как действовать на его основе.
Слово независимый здесь играет ключевую роль. Три сайта, которые скопировали одну и ту же пресс-релиз, — это не три источника : это один источник, прозвучавший трижды. Для настоящей триангуляции необходимы источники, которые могли бы не согласиться, но не делают этого.
Практический чек-лист перед тем, как действовать на основе любого утверждения, имеющего большое значение:
- Независимость: Возвращаются ли мои источники к одному и тому же первоисточнику, или они были собраны независимо?
- Базовая вероятность: Насколько это действительно распространено? Может ли уверенное предупреждение в основном быть ложноположительным?
- Причина: Вам предлагают причинно-следственную историю, основанную лишь на корреляции?
- Моя собственная предвзятость: Верю ли я в это отчасти потому, что уже хотел, чтобы это было правдой?
- Ставки: Чем больше решение (здоровье, деньги, безопасность), тем больше независимых подтверждений оно заслуживает.
Проверка реального утверждения
Ваш ход
Приложение для подготовки к экзаменам с большой уверенностью и в беглом изложении сообщает, что историческая дата — 1847 год, и что формула работает определённым образом. У вас завтра экзамен, и ответ имеет значение.
Чему вы научились
Одна последняя мысль
Теперь у вас есть четыре инструмента против уверенных ошибок: проверяйте базовую вероятность перед тем, как доверять сигналу о редком событии, разделяйте корреляцию и причинно-следственную связь, следите за предвзятостью подтверждения в себе и в своих инструментах, и триангулируйте данные, сверяя их с независимыми источниками, прежде чем действовать.
Ни один из этих методов не требует от вас гениальности. Они требуют лишь одной привычки: воспринимать уверенность — вашу собственную или гладко отлаженного источника — как вопрос, подлежащий проверке, а не как ответ, который нужно принять.
Меньше всех обманываются не те, кто чувствует себя наиболее уверенно. Это те, кто проверяет.