Возрастные изменения когнитивных свойств мозга: нейросетевой подход - umotnas.ru o_O
Главная
Поиск по ключевым словам:
страница 1
Похожие работы
Название работы Кол-во страниц Размер
Нейросетевое моделирование когнитивных функций мозга: обзор основных... 2 524.06kb.
Особенности нейрометаболизма и перфузии головного мозга с позиции... 2 589.25kb.
Научные темы 1 26.07kb.
Адрес: Лаборатория когнитивных исследований 1 87.8kb.
Тема выступления 1 33.24kb.
Периодический закон и периодическая система д. И. Менделеева. 1 12.12kb.
Классификация структурных свойств онтологий 1 192.42kb.
Электромагнитный подход 1 73.03kb.
«Основы нейробиологии» 1 28.09kb.
Основная часть. Психология умственно отсталого ребенка Особенности... 1 163.24kb.
С. А. Ясинский, д-т техн наук Альтернативная модель для инвариантов... 1 40.43kb.
Серегин А. Н., Киселев С. С., Аничков А. Д., Полонский Ю. З. 1 32.92kb.
Викторина для любознательных: «Занимательная биология» 1 9.92kb.

Возрастные изменения когнитивных свойств мозга: нейросетевой подход - страница №1/1



А.Т. Терехин, Е.В. Будилова, М.П. Карпенко, Л.М. Качалова, Е.В. Чмыхова
ВОЗРАСТНЫЕ ИЗМЕНЕНИЯ КОГНИТИВНЫХ СВОЙСТВ МОЗГА: НЕЙРОСЕТЕВОЙ ПОДХОД

___________________________________________________________________________

Анатолий Тимофеевич Терехин (род. 17.02.1942) окончил в 1964 г. механико-математический факультет МГУ им. М.В. Ломоносова, доктор биологических наук, профессор кафедры общей экологии биологического факультета МГУ. Область научных интересов – построение математических моделей биологических и социальных процессов. Тексты работ можно найти на веб-странице http://ecology.genebee.msu.ru/3_SOTR/CV_Terekhin.htm или запросить по электронной почте terekhin_a@mail.ru.

Будилова Елена Вениаминовна (род. 7.12.1947) кандидат технических наук, ст. научный сотрудник кафедры общей экологии биологического факультета МГУ. Область научных интересов – эволюционная экология человека, сетевые механизмы физиологической регуляции. E-mail: evbudilova@mail.ru.

Михаил Петрович Карпенко (род. 15.10.1936), доктор технических наук, профессор, основатель Современной гуманитарной академии и ее ректор с 1992 г. В области образовательных технологий и дидактических основ обучения им получено около 200 авторских свидетельств и патентов. Основные научные интересы – трансформация систем образования в современных условиях, социология образования, управление образовательными системами. E-mail: rectorat@muh.ru.

Лариса Михайловна Качалова (род. 06.07.1955), кандидат биологических наук, директор Института когнитивной нейрологии Современной гуманитарной академии. Область научных интересов – когнитивные функции мозга, дизайн-эргономика образовательной среды. E-mail: lefi@muh.ru.

Екатерина Витальевна Чмыхова (род. 17.10.1969) – кандидат социологических наук, директор Департамента науки и инноваций Современной гуманитарной академии. Область научных интересов – психология обучения, измерение обучаемости и оценка эффективности обучения. E-mail: niipo@muh.ru.

___________________________________________________________________________

С целью выявления общих закономерностей изменения когнитивных свойств мозга в течение его жизненного цикла исследуются изменения свойств модельной нейронной сети, средняя интенсивность межнейронных связей в которой сначала увеличивается, а затем уменьшается. Первоначальное усиление межнейронных связей ассоциируется с развитием мозга, а их последующее ослабление – с его инволюцией. Показывается, что период развития характеризуется когнитивной дифференциацией, выражающейся в увеличении числа аттракторов сети, а период инволюции – интеграцией, сопровождающейся сглаживанием рельефа функции энергии сети и уменьшением числа ее аттракторов. Этап дифференциации (от общего к частному) принципиально необходим для структуризации и эффективного усвоения мозгом непрерывно поступающего к нему интенсивного потока информации, а последующий этап интеграции (от частного к общему) позволяет мозгу обрести новые когнитивные способности, которые можно квалифицировать как проявления мудрости.

В [Карпенко и др. 2009а] нами была предложена нейросетевая модель изменения когнитивных способностей мозга при его старении. Идея состояла в том, чтобы разнообразные нейрофизиологические изменения, происходящие в мозге в пожилом возрасте, рассматривать, в целом, как приводящие к ослаблению интенсивности синаптических связей между нейронами и, соответственно, исследовать изменения свойств модельной нейронной сети, происходящие при ослаблении ее межнейронных связей. Было показано, что ослабление межнейронных связей приводит к сглаживанию рельефа функции энергии модельной сети и уменьшению числа ее аттракторов, т.е. устойчивых состояний, соответствующих запомненным и затем ассоциативно воспроизводимым сетью образам. На основании этих результатов был сделан вывод о том, что при старении мозга наряду с отрицательными, на первый взгляд, изменениями его когнитивных свойств, такими, например, как ослабление памяти на детали повседневной жизни, у него появляется ценная способность видеть проблемные ситуации с более общей точки зрения, выделять в них главное и, в конечном итоге, находить наиболее эффективные решения, т.е. возникает способность, которую можно рассматривать как составляющую часть мудрости – когнитивного свойства, традиционно ассоциирующегося с пожилым возрастом.

В данной работе мы распространяем использованный подход на описание закономерностей изменения когнитивных свойств мозга в течение всего его жизненного цикла. Предполагая, что в процессе развития реального мозга в начальный период жизни организма в нем происходит усиление синаптических связей и учитывая, что в модельной нейронной сети усиление межнейронных связей приводит к увеличению числа ее аттракторов, мы делаем вывод о том, что в этот период мозг развивается в направлении усиления дифференциации – от общего к частностям.

Следующий параграф посвящен описанию используемой нейросетевой модели и исследованию ее свойств, после чего, опираясь на полученные математические результаты, будут обсуждены содержательные аспекты закономерностей изменения когнитивных свойств мозга в процессе его онтогенетической эволюции и инволюции.

Нейросетевая модель


В качестве математической модели, описывающей ключевые аспекты когнитивной деятельности мозга (хеббовское обучение, ассоциативное воспроизведение, спонтанное образование комбинированных и обобщенных образов), мы используем сеть, состоящую из формальных нейронов с сигмоидной функцией активации и симметричной матрицей весов межнейронных связей, основные свойства которой были исследованы Дж. Хопфилдом [Hopfield 1984]. Наша задача состоит в том, чтобы применить эту модель для описания изменения когнитивных свойств мозга в течение его жизненного цикла.

Предполагается, что каждый нейрон i рассматриваемой сети, состоящей из n нейронов, характеризуется своим состоянием , которое может изменяться от –1 до 1. Совокупность состояний всех нейронов определяет состояние сети.

Состояние нейрона в каждый момент времени определяется значением его функции активации, зависящим от взвешенной суммы сигналов, поступающих к нему от других нейронов. Мы будем использовать в качестве функции активации следующую сигмоидную кривую

(1)
где параметр G определяет крутизну сигмоидной кривой. Зависимость крутизны кривой от величины параметра G проиллюстрирована на рис. 1. При больших значениях G кривая приближается к пороговой функции, когда совсем небольшие отклонения аргумента от нуля в отрицательную или положительную сторону приводят к значениям функции близким к –1 или 1, а при малых значениях G функция активации, наоборот, слабо чувствительна к изменениям аргумента.
Рис. 1. Форма сигмоидной кривой для разных значений параметра крутизны G.
Веса в (1) характеризуют силу синаптической связи между нейронами (предполагается, что и ). Их формирование осуществляется в процессе обучения сети по правилу Хебба, в соответствии с которым при каждом предъявлении сети внешнего образа , т.е. при установлении сети в состояние , веса изменяются по формуле
(2)

т.е. к старому значению веса синаптической связи между нейронами i и j прибавляется произведение – соответственно, вес связи увеличивается, если знаки и одинаковые и уменьшается – если разные [Hebb 1949].


Отметим, что параметр G входит в формулу (1) как множитель при взвешенной сумме входов нейрона, поэтому его увеличение или уменьшение может интерпретироваться как одновременное увеличение или уменьшение по абсолютной величине всех синаптических весов.

Для рассматриваемой сети можно построить соответствующую ей функцию энергии (функцию Ляпунова)
(3)
обладающую тем свойством, что состояние сети всегда изменяется в направлении уменьшения функции энергии и стабилизируется в ее локальных минимумах – аттракторах сети – подобно тому, например, как дождевая вода стекает в направлении понижения уровня ландшафта, вливается в ручьи и реки и, в конечном итоге, концентрируется в озерах и морях [Hopfield 1984]. В силу своей интуитивной наглядности функция энергии является удобным инструментом для анализа свойств нейронной сети.

Старение мозга


При старении мозга происходит уменьшение чувствительности нейронов к входным сигналам? которое связывается, прежде всего, с постоянным снижением активности дофаминэргической системы. В ряде работ предлагалось на уровне моделирования учитывать это уменьшение чувствительности путем уменьшения величины параметра крутизны сигмоидной функции активации G, что позволило авторам объясненить механизм возрастного ослабления ряда когнитивных способностей мозга [Sikström 2007].

Наш подход к данной проблеме отличается тем, что мы рассматриваем влияние уменьшения G на когнитивные свойства мозга с точки зрения изменения функции энергии нейронной сети. В результате мы приходим к выводу о том, что ослабление межнейронных связей позволяет мозгу обрести новые положительные когнитивные способности.


Рассмотрим изменение свойств функции энергии при изменении G. Начнем с рассмотрения ситуации, когда G велико, т.е. сигмоидная кривая (1) близка к пороговой функции. В этом случае второй член в правой части (3) становится пренебрежимо малым и функция энергии приобретает более простой вид

(4)

Рассмотрим следующий пример. Пусть имеется n=200 нейронов, расположенных в линейку в порядке возрастания номеров и пусть сети предъявляются образы специфического вида: нейроны с номерами от 1-го до k-го устанавливаются в состояние «1», а от (k +1)-го до n-го – в состояние «–1» (можно представлять эту ситуацию как предъявление сети объектов разной длины k). На рис. 2 показана функция энергии (3) – нижний график, вычисленная по формуле (4) с использованием весов, полученных по формуле (2) для заданного набора предъявленных образов – верхний график.

Наиболее часто предъявлялись образы, соответствующие k = 15, 50, 100, 130, 180 и именно этим образам соответствуют минимумы функции энергии, что является ее характерным свойством. В таблице 1 приведены значения числа предъявлений образов, соответствующих этим значениям k и соответствующие этим образам величины функции энергии.

Рис. 2. Функция энергии (нижний график), соответствующая заданному набору предъявленных образов (верхний график).

Таблица 1. Число предъявлений образов и значения функции энергии в точках ее локальных минимумов.


k

15

50

100

130

180

Число

предъявлений

образа

1200

1000

1700

1200

1000


Значение

функции


энергии

–650105


–638105


–800105


–727105


–605105


В целом, тенденция состоит в том, что более часто встречающимся образам соответствуют более глубокие минимумы. Но эта зависимость не прямо пропорциональна – на значение минимума влияют и частоты предъявлений других образов, похожих на данный. Например, минимум для k = 130 более глубокий, чем для k = 15, хотя число предъявлений одинаково. Причиной этого является то, что часто предъявлялся образ, соответствующий k = 100, который близок к образу, соответствующему k = 130. Этот эффект можно рассматривать как проявление упомянутого выше свойства сети к обобщению предъявляемой информации.

Что касается другого важного свойства сети – способности к ассоциативному воспроизведению запомненной информации, то оно состоит в том, что после предъявления любого образа сеть, в соответствии с уравнением (1), будет изменять свое состояние, двигаясь в направлении минимума функции энергии. На рис. 2 такая ситуация проиллюстрирована наглядно в виде шарика, который, находясь в положении k = 60, стремится к аттракторному состоянию k = 50, в области притяжения которого он находится.

Посмотрим теперь, как меняются свойства сети, когда G становится меньше.

Во-первых, поскольку функция активации (1) уже не будет пороговой, то состояния нейронов не будут ограничены только крайними значениями «–1» и «1» , а смогут принимать промежуточные между ними значения.

Во-вторых, вторая составляющая функции энергии в (3)



(5)

уже не будет пренебрежимо малой и будет вносить свой вклад в функцию энергии. Рассмотрим влияние этого вклада на примере простейшей сети, состоящей из двух нейронов.

Пусть и . На рис. 3-5 приведены соответствующие графики двух составляющих функции энергии и их суммы.

Первую составляющую E1 полной энергии E, представленную на рис. 3, можно также рассматривать и как полную энергию сети при очень больших G, когда влияние второй составляющей пренебрежимо мало. Аналогично, вторую составляющую E2, представленную на рис. 4, можно рассматривать как полную энергию при очень малых G, когда вклад второй составляющей является преобладающим. В первом случае аттракторы сети находятся в углах квадрата с координатами и , что естественно, поскольку связь между нейронами положительна () и, следовательно, они должны стремиться прийти в одинаковые состояния. Во втором случае минимум функции энергии находится в точке , т.е. нейроны абсолютно не чувствительны к поступающим на их вход сигналам (см. поведение сигмоидной кривой на рис. 1 при малом G) и устанавиваются в нейтральное состояние.



Рис. 3. График первой составляющей E1 функции энергии для сети из двух нейронов.


Рис. 4. График второй составляющей E2 функции энергии для сети из двух нейронов.


Рис. 5. График полной функции энергии для сети из двух нейронов.


В промежуточном случае G = 1, представленном на рис. 5, как и в случае рис. 3, имеется два минимума энергии с одинаковыми знаками состояний нейронов, однако теперь эти минимумы соответствуют промежуточным, а не в крайним состояниям нейронов и глубины минимумов функции энергии гораздо менее выражены. На рис. 6 все три случая представлены вместе в сечении .

Рис. 6. Графики функций энергии, представленных на рис. 3-5, в сечении .


Таким образом, в случае сети из двух нейронов минимумы функции энергии наиболее выражены (и соответствуют крайним состояниям нейронов) при больших значениях G (или, что то же самое, при больших абсолютных значениях синаптических весов), а при уменьшении G (уменьшении абсолютных значений весов) минимумы становятся все менее и менее выраженными (и соответствуют значениям нейронов, приближающимся к нулю), пока при некотором достаточно малом G не исчезают полностью.

При большем числе нейронов, n > 2, характер расположения минимумов функции энергии и его изменение при изменении G аналогичны случаю n = 2. Подобно тому, как в двумерном случае при больших G минимумы функции энергии находятся в противоположных вершинах квадрата и при уменьшении G перемещаются к центру квадрата вдоль диагонали, соединяющей эти вершины, в n-мерном случае они находятся в противоположных вершинах n-мерного куба и при уменьшении G также перемещаются к центру куба вдоль соединяющей эти вершины диагонали.

Например, в случае рассмотренной выше сети из n = 200 нейронов минимумы функции энергии, соответствующие аттрактору k = 15, находятся в противоположных вершинах 200-мерного гиперкуба (1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,-1, -1, -1, -1,…, -1, -1, -1) и (-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 1, 1, 1, 1, 1,…, 1, 1, 1), т.е. у первой вершины положительны первые 15 координат и остальные отрицательны, а у второй – наоборот.

Рис. 7. Графики функции энергии сети из 200 нейронов вдоль пяти аттракторных диагоналей для разных значений параметра G.

На рис. 7 приведены графики функции энергии для пяти диагоналей, соответствующих пяти аттракторам сети, представленным на рис. 2 (k = 15, 50, 100, 130, 180), для разных значений G. Мы видим, что при уменьшении G рельеф функции энергии сглаживается, глубины минимумов уменьшаются и, в конечном итоге, минимумы, отличные от нулевого, исчезают. При этом разные минимумы исчезают при разных уровнях уменьшения G – сначала (при G, равном примерно 5610-5) сглаживаются самые мелкие минимумы, соответствующие k = 50 и k = 180, затем (при G, равном примерно 6410-5) сглаживаются более глубокие минимумы, соответствующие k = 13 и k = 130, и, наконец, при G, равном примерно 7210-5, исчезает и самый глубокий минимум, соответствующий k = 100.

Общий вывод состоит в том, что в случае многих локальных минимумов функции энергии при уменьшении G (т.е. при уменьшении интенсивностей межнейронных связей) минимумы начинают сглаживаться и, в конечном итоге, исчезать – сначала самые мелкие, а затем все более и более глубокие. И наоборот, при увеличении G (т.е. при увеличении интенсивностей межнейронных связей) минимумы начинают проявляться – сначала самые глубокие, а затем и все более мелкие.

Рис. 8. Когнитивный эффект возрастного сглаживания функции энергии сети (G1>G2>G3>G4)

.

Таким образом, энергетический подход позволяет увидеть положительный аспект возрастного сглаживания рельефа сети – сглаживание позволяет сети легко достигать наиболее глубоких минимумов функции энергии, не застревая в более мелких (рис. 8). С содержательной точки зрения это означает появление с возрастом способности отвлекаться от несущественных деталей и, благодаря этому, находить стратегически более эффективные решения, т.е. появление способности, которую можно рассматривать как проявление мудрости [Карпенко и др. 2009].


Развитие мозга


В соответствии с нашей моделью, в период развития мозга межнейронные синаптические связи усиливаются, в результате чего становится более неровным рельеф функции энергии и увеличиваться число ее локальных минимумов (аттракторов), т.е развитие мозга идет в направлении дифференциации. На первый взгляд, это справедливо только для периода младенчества и раннего детства, когда растет число межнейронных связей и их интенсивность увеличивается. В последующие годы детства, отрочества и юности значительная часть межнейронных связей (до 40%) элиминируется, соответственно падает плотность дофаминовых рецепторов [Huttenlocher 1979] и, казалось бы, рельеф функции энергии должен сглаживаться. Однако расчеты показывают, что при не слишком больших масштабах элиминации наиболее слабых межнейронных связей локальные минимумы функции энергии, наоборот, углубляются – происходит как бы контрастирование сформировавшихся образов (понятий).

В таблице 2 показана зависимость глубины минимума функции энергии для аттрактора k = 100 рассматривавшейся выше сети из 200 нейронов при G = 7210-5 (см. рис. 7) от процента элиминированных связей. Мы видим, что элиминация 20% наиболее слабых связей приводит к углублению данного минимума с –538105 до –650105. Это говорит в пользу того, что усложнение рельефа функции энергии и увеличение числа ее аттракторов продолжаются и после периода раннего детства – вплоть до завершения процесса развития мозга примерно к 20 годам.

К этому возрасту мозг достигает своей максимальной продуктивности с точки зрения успешности усвоения новых знаний и выполнения сложных интеллектуальных заданий. Но в то же время, в отличие от более зрелого мозга, он больше подвержен риску зацикливания на частностях в ущерб более общему видению проблем.

Таблица 2. Процент элиминированных межнейронных связей и значения функции энергии сети из 200 нейронов в локальном минимуме k = 100 при G = 7210-5.



Процент

элиминированных

связей

0%

10%

20%

30%

40%


Значение

функции


энергии

–538105


–594105


–650105


–342105


–605105


Изменение когнитивной структуры мозга в направлении его дифференциации, т.е., в нашей интерпретации, в направлении усложнения рельефа функции энергии, имеет принципиальное значение, особенно в начальный период его развития. Сложный неструктурированный мозг не способен эффективно усвоить захлестывающий его поток слабо структурированной внешней информации. Он должен стать сначала простым, уловить наиболее общие внешние закономерности и, постепенно усложняясь, усвоить детали. На уровне компьютерного моделирования эта «важность начинания с малого» была продемонстрирована Дж. Элманом на примере спонтанного усвоения правил грамматики искусственной нейронной сетью [Elman 1993]. Обширная монография Н.И. Чуприковой содержит детальный анализ истории и современного состояния дифференциального подхода к развитию мозга с точки зрения психолога [Чуприкова 2007].



Заключение

В [Карпенко и др. 2009б] нами была построена модель возрастной динамики автобиографической памяти, из которой, в частности, следует, что с возрастом увеличивается относительная доля воспоминаний о более давних событиях. Модель, рассматриваемая здесь, усиливает этот результат в том смысле, что в пожилом возрасте и сам характер мышления начинает приближаться к детскому – в обоих случаях функция энергии нейронной сети более сглажена по сравнению со средним возрастом.

Выше, при изложении гипотезы о дифференциальности эволюции и интегральности инволюции в онтогенезе, мы говорили только о мозге. Однако мозг – лишь часть общей нейрогеногуморальной регуляторной сети организма [Терехин, Будилова 1995]. Предстоит понять, как принципы дифференциации и интеграции действуют в других частях регуляторной сети и каково взаимодействие генной, иммунной, эндокринной и нервной регуляторных систем в этом отношении. Также необходимо понять, каковы те эволюционные императивы, которые определили тайминг дифференциации и интеграции регуляторных процессов в жизненном цикле человека, поскольку, по утверждению Феодосия Добжанского, «ничто в биологии не имеет смысла кроме как в свете эволюции» [Dobzhansky 1973].


Литература


Карпенко и др. 2009аКарпенко М.П., Качалова Л.М., Будилова Е.В, Терехин А.Т. Когнитивные преимущества третьего возраста: нейросетевая модель старения мозга. Журнал высшей нервной деятельности, 2009, т. 59, №2, 291–295.

Карпенко и др. 2009бКарпенко М.П., Чмыхова Е.В., Терехин А.Т.  Модель возрастного изменения восприятия времени, основанная на кривых запоминания и забывания.  Вопросы психологии. 2009 , №2, 75-81.



Терехин, Будилова 1995Терехин А.Т., Будилова Е.В. Сетевые механизмы биологической регуляции. Успехи физиологических наук. 1995. т. 26, № 4, 75-97.

Чуприкова 2007Чуприкова Н.И. Умственное развитие. Принцип дифференциации. С.-Петербург: Питер Пресс. 2007.  

Dobzhansky 1973Dobzhansky T. Nothing in biology makes sense except in the light of evolution. American Biology Teacher, 1973, v. 35, 125-129.

Elman 1993J. L. Learning and development in neural networks: the importance of starting small. Cognition. 1993, v. 48, 71-99.

Hebb 1949Hebb D.O. The Organization of Behavior. A Neuropsychlogical Theory. New York: Wiley. 1949.  

Hopfield 1984Hopfield J.J. Neurons with graded response have collective computational properties like those of two-stat neurons. Proc. Natl. Acad. Sci. USA. 1984, v. 81, 3088-3092.

Huttenlocher 1979 — Huttenlocher PR. Synaptic density in human frontal cortex - developmental changes and effects of aging. Brain Res. 1979, v. 163, no 2, 195–205.

Sikström 2007 Sikström S. Computational perspectives on neuromodulation of aging. Acta Neurochir. Suppl. 2007, v. 97, no 2, 513-518.