Дэвид Хэнд - Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных
Название: Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных
Автор:
Жанры: Экономическая статистика | Базы данных
Серии: Нет данных
ISBN: Нет данных
Год: 2021
О чем книга "Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных"

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас нет? Допустимо ли игнорировать то, чего мы не замечаем? Британский статистик Дэвид Хэнд считает, что это по меньшей мере недальновидно, а порой – крайне опасно. В своей книге он выделяет 15 влияющих на наши решения и действия видов данных, которые остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы подать жители бедных районов, если бы у них были смартфоны, результатах медицинского исследования, которые намеренно утаили или случайно исказили, или данных, ставших «темными» из-за плохого набора критериев для включения в выборку. Хэнд также рассказывает о том, какие меры могут сгладить эффект «темных данных» и как их можно обратить себе на пользу. Книга будет интересна широкому кругу читателей, интересующихся дата-сайенс, программированием и статистикой.

Бесплатно читать онлайн Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных


Переводчик М. Белоголовский

Редактор В. Ионов

Главный редактор С. Турко

Руководитель проекта А. Василенко

Корректоры Е. Аксёнова, А. Кондратова

Компьютерная верстка К. Свищёвв

Художественное оформление и макет Ю. Буга


© 2020 by David J. Hand

This edition published by arrangement with the Science Factory, Louisa Pritchard Associates and The Van Lear Agency LLC.

© Издание на русском языке, перевод, оформление. ООО «Альпина Паблишер», 2021


Все права защищены. Данная электронная книга предназначена исключительно для частного использования в личных (некоммерческих) целях. Электронная книга, ее части, фрагменты и элементы, включая текст, изображения и иное, не подлежат копированию и любому другому использованию без разрешения правообладателя. В частности, запрещено такое использование, в результате которого электронная книга, ее часть, фрагмент или элемент станут доступными ограниченному или неопределенному кругу лиц, в том числе посредством сети интернет, независимо от того, будет предоставляться доступ за плату или безвозмездно.

Копирование, воспроизведение и иное использование электронной книги, ее частей, фрагментов и элементов, выходящее за пределы частного использования в личных (некоммерческих) целях, без согласия правообладателя является незаконным и влечет уголовную, административную и гражданскую ответственность.

Посвящается Шелли


Предисловие

Перед вами необычная книга. Почти все, что издается на эту тему – будь то популярная литература о больших или открытых данных, обработке данных или пособия по статистическому анализу, – основывается на том, что у вас уже есть. Речь идет об информации, хранящейся в компьютере, ящиках рабочего стола или аудио-, видеозаписях вашего смартфона. Но эта книга совсем о другом. Она о данных, которых у вас нет. Возможно, вы пытаетесь получить их прямо сейчас или когда-то безуспешно пытались сделать это, а может быть, ошибочно полагаете, что они у вас имеются. Как бы то ни было, речь пойдет о данных, которых у вас нет.

Я утверждаю и далее продемонстрирую это на многих примерах, что отсутствующие данные важны не менее тех, которыми мы располагаем. Вы сможете сами убедиться, что неизвестные нам данные являются причиной многих заблуждений, порой имеющих катастрофические последствия. Я покажу, как и почему это происходит. Затем я расскажу, как этого можно избежать – на что именно стоит обращать внимание, чтобы обойти неприятности. А в завершение, когда вы поймете, как возникают темные данные и как они создают нам проблемы, я покажу, как с их помощью перевернуть с ног на голову традиционное представление об анализе данных и, если вы достаточно проницательны, глубже вникнуть в свою область, улучшить процесс принятия решений и выбора действий.

Мое собственное понимание темных данных развивалось постепенно, на протяжении всей карьеры. Я благодарю всех, кто подкидывал мне проблемы, которые, как я постепенно осознал, были не чем иным, как проблемами темных данных. Я выражаю признательность всем, кто вместе со мной искал способы их решения. Сферы, где возникали эти проблемы, варьировались от медицинских исследований и фармацевтической промышленности до государственной и социальной политики, финансового сектора и производства – ни одна сфера человеческой деятельности не свободна от рисков, которые несут с собой темные данные.

Отдельно хочу поблагодарить тех, кто любезно согласился пожертвовать своим временем, чтобы прочитать рукопись этой книги, а именно Кристофороса Анагностопулоса, Нила Ченнона, Найла Адамса и трех анонимных читателей от издательства. Они помогли мне избежать неловкости перед вами, сократив число допущенных ошибок. Питер Таллак, мой агент, помог найти идеального издателя для этой работы, любезно давал мне советы и направлял работу над книгой в целом. Мой редактор из издательства Princeton University Press Ингрид Гнерлих была мудрым и ценным гидом в вопросах оформления проекта. Наконец, я особенно признателен своей жене профессору Шелли Ченнон, за ее вдумчивую критику моих рукописей. Благодаря ее вкладу книга стала значительно лучше.

Имперский колледж, Лондон

Часть I

Темные данные

Происхождение и последствия

Глава 1

Темные данные

Незримая сила, которая формирует наш мир

Призрак данных

Как-то во время прогулки я встретил странного пожилого человека, который что-то высыпал на пешеходную дорожку примерно через каждые 15 м. Я не смог сдержать любопытства и поинтересовался, что это он такое делает.

– Рассыпаю слоновий порошок, – совершенно серьезно ответил он. – Слоны не выносят его запах, поэтому держатся подальше.

– Постойте, но в наших краях нет слонов, – улыбнулся я.

– Вот именно! – воскликнул он. – Это очень эффективное средство.

Этот забавный случай служит хорошим прологом для вещей куда более серьезных, о которых я собираюсь рассказать.

Каждый год корь убивает почти 100 000 человек. Один из 500 заболевших умирает от осложнений, многие страдают от необратимой потери слуха или от поражения головного мозга. К счастью, для Соединенных Штатов это редкое заболевание – например, в 1999 г. было зарегистрировано всего 99 случаев. Однако внезапная вспышка кори в январе 2019 г. привела к тому, что в штате Вашингтон была объявлена чрезвычайная ситуация. Некоторые штаты также сообщили о резком увеличении числа случаев заражения корью[1]. Подобное отмечалось и в других местах. На Украине в середине февраля 2019 г. число заразившихся превысило 21 000[2]. В Европе в 2017 г. было отмечено 25 863 случая, а в 2018 г. – уже более 82 000[3]. С 1 января 2016 г. по конец марта 2017 г. в Румынии зарегистрировано более 4000 случаев заражения и 18 летальных исходов.

Корь – коварное заболевание, распространяющееся незаметно, поскольку симптомы проявляются лишь через несколько недель после инфицирования. Болезнь поражает организм намного раньше, чем обнаруживаются ее признаки.

Это не означает, что корь нельзя предотвратить. Простая вакцинация способна иммунизировать организм, эффективно снижая риск заражения. И, действительно, национальные программы вакцинации, подобные тем, которые проводились в Соединенных Штатах, доказали свой успех. В результате большинство родителей в странах, где осуществляются такие программы, никогда не видели и тем более не испытывали на себе ужасных последствий этого заболевания.

Именно поэтому, когда родителям рекомендуют делать детям прививку от кори – заболевания, которого они и в глаза не видели, которым не болели ни их друзья, ни соседи и которое Центр по контролю и профилактике заболеваний признал неэндемичным для Соединенных Штатов, – они принимают такой совет с изрядной долей скепсиса.


С этой книгой читают
Обладание ископаемыми ресурсами (нефть, газ, уголь) уже давно дает практически неограниченную экономическую и политическую власть, которая назначает и смещает президентов, покупает политиков, ведет войны. Но сегодня мы становимся свидетелями того, что мир начинает меняться. Использование возобновляемых источников энергии во многих странах постепенно выходит на первый план. Владимир Сидорович рассказывает, что такое возобновляемые источники, как о
В книге даны временны́е ряды более ста важнейших показателей промышленности и строительства нашей страны с середины прошлого века. В этом издании уточнены прошлые данные и добавлен ряд новых наглядных показателей, а некоторые убраны, поскольку они признаны читателями малоинформативными или не вполне понятными. По сравнению с предыдущими изданиями эта книга освещает не только экономическую реформу 1990-х гг. в промышленности, но и ее длительную пр
Статистика помогает принимать важные решения, находить скрытые взаимосвязи между явлениями, лучше понимать ситуацию в бизнесе и на рынке. Автор книги профессор Чарльз Уилан с юмором и блестящими наглядными примерами рассказывает о том, как это происходит.Эта книга будет полезной для студентов, которые не любят и не понимают статистику, но хотят в ней разобраться; маркетологов, менеджеров и аналитиков, которые хотят понимать статистические показат
Эта книга сформирована как коллекция наиболее интересных примеров из разработанных авторами в последние 12 лет десятков прогнозных документов социально-экономического развития городов, районов и регионов России. Главное кредо авторов состоит в необходимости индивидуального, «штучного» подхода в этом процессе. Уход от рутины в региональном стратегировании напрямую связан со значительным вниманием к пространственным факторам развития – экономико-ге
Сборник включает в себя десять сказок для детей от трех до десяти лет. Герои сказок – трудолюбивый муравьишка, веселая стрекоза, сверчок-музыкант и жужжащий майский жук. От сказки к сказке вы узнаете о занимательных приключениях друзей, а еще о том, почему муравьишек называют санитарами леса, кто купается в муравейниках, где можно найти лесной зонтик, кого пасут муравьи на ферме, что друзья подарили сверчку на день рождения и многое другое. Сказк
«Не лишняя в библиотеке» – книга во многом случайная. Идея ее написать пришла ко мне спонтанно, и воплощение этой книги в итоге оказалось далеким от первоначального замысла. Что, впрочем, совсем не означает, что книга неинтересна. Напротив, я уверен – для дам она будет очень полезной и познавательной. И читать ее нескучно – что, безусловно, плюс.И да – «магический» подтекст в книге показан. Выражен. Обозначен. Ведь, как известно, без магии – нику
В книге описаны встречи с интересными людьми, волею судеб попавших в Индию и Непал. У кого-то это был осознанный выбор, у кого-то – обстоятельства. Но все они так или иначе практикуют духовность, считают себя особенными. Как на адептов влияют их практики, что из этого всего получается. Книга начинается с наивного рассказа о поиске гуру, продолжается описанием разрушительного землетрясения в Непале, жизни в секте мирового масштаба и заканчивается
Вы верите в карму? В любовь сквозь века? Молодой маг погибает, став жертвой в политических играх власть имущих, и возрождается на Земле. Какие приключения и удары судьбы ему придётся пройти, чтобы восстановить справедливость? Читайте в этой книге. Книга содержит нецензурную брань.