Потенциал коллективного разума: когда предскажут «черных лебедей»?

Потенциал коллективного разума:

когда предскажут «черных лебедей»?

Использование коллективного интеллекта для предсказаний уже несколько лет активно разрабатывается военными, разведкой и крупнейшими корпорациями. Уже получено немало практических результатов, подтверждающих такую возможность.

The potential of collective intelligence:

Using collective intelligence to predict several years actively developed by the military, intelligence, and major corporations. Already received a lot of practical results that confirm this possibility.

Christine Daniloff

Недавно обнародованные планы Пентагона, который хочет предсказывать будущее с помощью Twitter, многие восприняли как сенсацию. Хотя, конечно, это вовсе не сюрприз. Использование коллективного интеллекта для предсказаний уже несколько лет активно разрабатывается военными, разведкой и крупнейшими корпорациями. Уже получено немало практических результатов, подтверждающих такую возможность.

Сила безмасштабной сети

В последние годы ученые уже довольно убедительно показали, что сеть, образованная миллиардами нейронов человеческого мозга, и сеть, образованная взаимодействием миллиардов людей и компьютеров, работают по одним и тем же информационным законам и обладают одними и теми же свойствами так называемых безмасштабных сетей (scale-free network). Более того, выяснилось, что все живые организмы образованы в виде безмасштабных сетей, состоящих из клеток этих организмов. Получается, что состоящая из нейронов безмасштабная сеть служит механизмом реализации индивидуального интеллекта. Тогда можно предположить, что безмасштабная сеть, состоящая из этих самых индивидуальных интеллектов, может быть механизмом реализации нового носителя интеллекта (в данном случае – коллективного). По этому поводу есть даже гипотеза, что целью научно-технического прогресса как раз и является создание носителя интеллекта более высокого уровня – общечеловеческого интеллекта.

Способность к предсказаниям, по мнению ряда известных ученых, является одной из главных отличительных особенностей интеллекта. Например, в 2001 году в своей книге «I of the vortex» Рудольфо Ллинас из Нью-Йоркского медицинского университета писал: «Способность предсказывать исход будущих событий – критическая для успешного продвижения, – вероятнее всего, является предельной и наиболее общей из всех функций мозга». А Джефф Хокинс, основатель компании Numenta, в своей потрясающей книге «On Intelligence» описывает принципиально новую модель работы мозга на основе иерархических структур памяти, осуществляющей постоянные предсказания (модель так и называется – «память-предсказание»). Следовательно, логично предположить, что и коллективный интеллект также сможет делать предсказания. При этом он, скорее всего, будет делать предсказания лучше индивидуального интеллекта – просто за счет своей несоизмеримо большей мощности. За доказательствами последнего можно, например, обратиться к исследованию корпорации Microsoft «Crowd IQ – Aggregating Opinions to Boost Performance».

Несколько упрощая, можно выделить два метода предсказаний с помощью сетевого коллективного интеллекта: статистический и нестатистический.

Статистический подход, как следует из его названия, опирается на анализ значительных массивов накопленной информации относительно конкретного события, которое может произойти (или не произойти) в будущем. Когда же такого массива информации нет (или же дорого/долго его обрабатывать), используют нестатистический подход, базирующийся на анализе мнений экспертов. Слово эксперты означает всего лишь то, что на экспертизу этих людей собираются положиться. И это могут быть как штатные эксперты, так и люди, просто набранные из некоего «пула потенциальных экспертов» (например, из пользователей интернета) по тем или иным критериям.

Нестатистический подход

Поскольку в общем случае эксперты редко придерживаются одной позиции, нестатистические методы используют различного рода агрегаторы мнений, с помощью которых разноголосый хор экспертов преобразуется в итоговое предсказание. Такие агрегаторы мнений (Opinion Pools) использовались еще задолго до интернета, например при групповом принятии решений, анализе рисков.

С распространением интернета, предоставившего почти неограниченные возможности для мобилизации экспертов, самыми популярными стали нестатистические сетевые методы, основанные на так называемых информационных рынках: рынки предсказаний (Prediction Markets), рынки идей (Idea Markets), рынки событий (Event Markets) и так далее. Популярность этой группы методов весьма высока (см., например, «Осьминог Пауль уже не нужен» на Slon). Как и всякие рынки, информационные рынки понятны даже неподготовленному человеку. Цена котирующейся на информационном рынке ценной бумаги зависит от ее спроса и предложения. Если сейчас можно купить ценную бумагу дешево и если есть уверенность, что она потом вырастет в цене, – покупай. Если же уверен, что цена на эту бумагу будет только падать, – немедленно продавай. Ну а что выражает эта цена, какая разница: вероятность какого-то события в будущем (как на рынках событий), шансы того, что идея будет признана лучшей (как на рынке идей) и так далее. С помощью нестатистических сетевых методов сегодня предсказывают все подряд: какой из фильмов получит «Оскар», кто выиграет на выборах, а также – выйдет ли Финляндия из Еврозоны, понизит ли S&P кредитный рейтинг Великобритании, найдет ли марсоход Curiosity следы жизни на Марсе, будет ли Россия до 2014 года поддерживать свое военное присутствие в Сирии, выпустит ли в 2013 году корпорация Microsoft новую версию приставки Xbox...

Важно отметить, что: 1) точность предсказаний этих методов примерно одинакова у Opinion Pools и Prediction Markets; 2) эта точность для одних типов предсказаний (например, выборы президента США) крайне высока, а для других типов (например, кто станет чемпионом мира по футболу) не очень; 3) в целом по части повышения точности предсказаний нестатистических методов есть над чем работать.

Статистический подход

Статистический подход к предсказаниям с помощью коллективного интеллекта начали использовать сравнительно недавно (ранее просто не были накоплены массивы данных). Одной из первых публикаций на эту тему стала статья «Using web-based search data to predict macroeconomic statistics» (2005). А в 2009 году, когда ежегодное число поисковых запросов в США превысило 150 млрд, результаты их анализа оказались уже сенсационными – они позволили в 4 раза уменьшить ошибку в предсказаниях цен и объемов рынка жилья (по отношению к существовавшим до этого методам предсказаний).

За прошедшие с того времени три года было убедительно показано, что точность статистических методов превышает точность рынков предсказаний. А области использования предсказаний по анализу поисковых запросов практически любые: в эпидемиологии – это предсказание эпидемий, в анализе финансовых рынков – предсказание скачков стоимости акций, в шоу-бизнесе – предсказание сборов от кинофильма, в экономике – предсказание уровня безработицы. Именно поэтому, отмечая ключевые факторы влияния интернета на бизнес, глобальный институт McKinsey в вышедшем недавно отчете «Internet Matters. Essays in digital transformation» посвятил данной теме отдельный раздел – «The predictive value of search».

Следующим шагом стало использование статистики социальных медиа. Уже в 2010 году было показано, что даже весьма простая модель на основе числа твитов в Twitter про конкретные фильмы позволяет прогнозировать киносборы точнее, чем рынки предсказаний. А в 2011-м анализ 133 млн твитов, посвященных 18 тысячам тем, показал высокую эффективность этого метода для любых прогнозов, касающихся популярности кого-либо или чего-либо.

К 2012 году был сделан качественный скачок в предсказаниях по сетевой статистике – от ответов на вопрос «когда это может случиться?» перешли к ответам на вопрос «почему это может случиться?».

Этот скачок оказался возможен за счет перехода от анализа статистики количества поисковых запросов и/или твитов к анализу динамики сетевого контента и выявления в ней так называемых временных серий.

Сегодня с помощью инструментов статистического анализа поисковых запросов довольно просто прогнозировать краткосрочную динамику экономических индикаторов по регионам, типа: безработица, продажи автомобилей или турпутевок, спрос на продукцию массового потребления и так далее. А с помощью статистического анализа социальных медиа делаются весьма точные прогнозы для маркетинга, задач распространения информации (пропаганда, слухи, мемы), выборов, макроэкономики и пр. Но это только начало перехода к новому качественному уровню предсказаний сетевого коллективного интеллекта.

Что дальше

На повестке дня предсказание непредсказуемого – «черных лебедей», событий, имеющих мизерную вероятность свершиться, но все равно свершающихся и приносящих за собой огромные изменения. Пока задача, казалось бы, непостижимая. Ведь предсказать, куда пойдет конкретный тренд, в конце концов можно, зная наперед, что он может пойти либо вверх, либо вниз, либо остаться в текущем положении. А «черных лебедей» как предсказать? Вот ведь не смогли же предсказать «арабскую весну» при наличии всех вышеназванных инструментов!

Военные и разведка уже движутся в сторону предсказания «черных лебедей». Пока что весьма специфических, касающихся в основном терроризма. Но процесс пошел. В прошлом году Белый дом обнародовал «Оборонные приоритеты XXI века» (21st Century Defense Priorities), которые значительно повышают роль науки и технологий в вопросах обороны и предотвращения всевозможных угроз национального уровня (военных, террористических и даже внутренних). Причем два из семи направлений новой парадигмы непосредственно связаны с необходимостью совершить прорыв в области сетевых коллективных предсказаний. И вот здесь, я уверен, и стоит ждать настоящего прорыва.

http://slon.ru/future/potentsial_kollektivnogo_razuma_kogda_predskazhut_chernykh_lebedey_-881003.xhtml

© Christine Daniloff