Наша статистика ок

Пришло время тестировать реальность и статистику на закон Бенфорда! В двух словах, числа из реального мира начинаются на 1, не в 11% случаев, а в 30%. На 9 — меньше, чем в 5%. Конечно, это касается только чисел, меняющихся на два-три порядка величины и больше (хорошо удовлетворяет распределение численности населения по городам и странам, размеры файлов и т.д.). Этот малоизвестный и кто-то скажет контринтуитивный факт недавно начали использовать, чтобы находить подозрительную статистику.

В 2001 году Греция вступила в еврозону, скрывая бюджетный дефицит, занижая его раз в 5-6, чтобы удовлетворять Маастрихтским критериям. Году к 2004 это выяснилось, но было поздно. Из-за таких стран как Греция в Европе в 2010-2012 годах был долговой кризис и вообще рецессия в 2012-2013. А потом многие поняли, что можно было посмотреть на их бюджетную статистику — отклонения там от закона Бенфорда были достаточно большие -, чтобы  заметить неладное пораньше — «Fact and Fiction in EU-Governmental Economic Data«. Конечно, это преувеличение, потому что суть скандала была в том, что все главари как бы знали, что греки вообще не алё: «Over the last few months, former European Commission President Romano Prodi, Greek Prime Minister George Papandreou and EU Commissioner for Trade Karel de Gucht have all admitted that Greece was literally «allowed to cheat» on its accounts in order to comply with the Maastricht criteria and therefore join the euro.» Но тем не менее — это не было достоянием общественности.

Российскую статистику частенько ругают. Но я многое проверил (Нацсчета, демографию, цены, торговую, банковскую, бюджеты) — следов подгонки в смысле распределения первой цифры у нас не видно, ни по годам, ни суммарно. Либо все ок, либо подтасовка осуществляется образованными людьми, статистическими педантами и виртуозами).

Вот, например, распределение первой цифры в выборках из некоторых показателей нашей статистики:

benford

Правда, мою любимую статистику по надоям я пока побаиваюсь проверять: http://www.mcx.ru/moloko/

Еще:

  1. Много статей про приложения и обоснование.
  2. Крутая статья крутого математика Теренса Тао про законы Бенфорда, Ципфа и Парето
  3. Популярно про историю вопроса вообще
  4. Древняя Греция за 18 минут от Арзамаса — очень хорошо

 

Реклама

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s