Эксперименты естественные и нечаянные урок № 15. Нечистоплотный избирком можно поймать за руку с помощью статистики

В естественных науках основной критерий истинности придуманной учеными теории – эксперимент. Если результаты эксперимента не совпадают с тем, что предсказывала теория, – что ж, теорию придется отбросить или как минимум модифицировать. К сожалению, экономистам трудно тестировать свои теории в лабораторных условиях: невозможно провести лабораторный эксперимент, чтобы проверить какую-то макроэкономическую теорию. Экономистам приходится искать “естественные эксперименты” – ситуации, максимально близкие к искусственным лабораторным условиям. В идеале для анализа последствий экономической политики нужно было бы взять одинаковые страны и, выбрав одну из них с помощью жребия, провести там ту политику, которую мы хотим сравнить со статус-кво. В реальности одинаковых стран нет, да и страны, в которых эксперимент проводится, и те, которые будут “контрольной группой”, выбираются не по жребию. А без случайного выбора может оказаться, что последствия политики определяются не ею самой, а теми же самыми факторами, вследствие которых страна предпочла ее проводить…

Что такое полевой эксперимент? Вместо лаборатории (за лабораторные эксперименты получил Нобелевскую премию 2002 года Вернон Смит) используется то, что проводится в реальной жизни и без всякого эксперимента, но к этому добавляется специальная компонента – например, правильно подобранная “случайность”. Скажем, правительство решает ввести новую образовательную программу. Если ввести ее во всех школах, нельзя будет определить, повлияла ли эта программа на успеваемость (и в какую сторону). Если ввести ее в “пилотных” школах, то будет трудно определить, как она станет работать в других школах, потому что может оказаться, что выборка “пилотных” школ оказалась непредставительной по отношению ко всем школам относительно этой новой программы. Это может быть сложно – понять, представительной будет выборка или нет. У нас в стране оценку программ или массовых проектов с помощью рандомизированных экспериментов пока не проводят, а зря: это примерно такое же отставание в технологическом плане, как если бы чиновники не умели пользоваться мобильной связью. Жизнь бы продолжилась, но эффективность была бы ниже.

Мой собственный опыт работы с экспериментальными данными невелик, однако парламентские выборы 2011 года дали такой интересный материал для анализа, что было жалко упустить возможность.