В искусственных нейронных сетях иногда происходят высокоуровневые и непредсказуемые явления.
Что происходит в нашем мозге? Почему так много внимания уделяется работе Суцкевера и его искусственному нейрону, который был обнаружен при помощи OpenAI микроскопа для визуализации для понимания нейронных сетей? Долгое время считалось, что на уровне отдельных нервных клеток в мозге не должно происходить ничего особенного.
В монадологии Лейбница есть знаменитый пассаж, в котором он утверждает, что если бы мы могли сделать мозг очень большим, как мельница, и заглянуть внутрь, то не увидели бы ничего, кроме движущихся механических частей. Не было бы ничего, что свидетельствовало бы о процессах восприятия, сознания, мышления и так далее. Однако современные исследования в этой области показывают иное.
В лаборатории имени Суркова Института психологии были проведены эксперименты с кроликами. Когда кролик нажимает на педаль, он получает пищу из кормушки, затем нажимает на другую педаль и получает пищу из другой кормушки. В это время регистрируются нейроны — работа отдельных нервных клеток.
Например, когда кролик тянет за кольцо, активируется нейрон, который делает это каждый раз. Но не за любое кольцо, а только за левое. В жизни этого животного никогда не было колец, и это совершенно новый объект, который появился с его индивидуальным опытом. Оказывается, существуют популяции нервных клеток, которые знают о кольцах и отличают левое от правого.
Есть нейроны, которые активируются только тогда, когда кролик нажимает на педаль. Опять же, объекты, которые в его среде совершенно отсутствуют. А есть нейроны, которые работают и при нажатии на педаль, и при подтягивании кольца, поскольку и то, и другое, вероятно, приводит к получению пищи.
В мозге животного существует огромный зоопарк таких нервных клеток, который формирует индивидуальный субъективный опыт. Некоторые из них могут быть врожденными. Например, у мышки есть нейрон-гнезда, который активируется каждый раз, когда она забирается в объект, который может служить гнездом. Если перевернуть этот объект так, чтобы мышка могла забраться на него сверху, но не нашла бы места для гнезда, нейрон не будет работать. Другой объект, другого размера или из другого материала, тоже будет вызывать такую активацию. Это специализированные нейроны, которые, скорее всего, были подготовлены эволюцией.
Действующие нейроны, которые узнают в мозге животных, людей, птиц, детей и кошек, представляют собой огромный репертуар, по которому мы можем понять, что знает мозг данного организма.
Системы искусственного интеллекта с глубокими генеративными сетями создают изображения и предъявляют их обезьяне так, что она может видеть их, а в это время в её зрительной коре регистрируется нервная клетка. Можно создать петлю, похожую на OpenAI микроскоп, которая будет максимизировать реакцию нейрона, добиваясь изображения, которое для этого нейрона является самым важным, то есть вызывает максимальный ответ. Это позволяет посмотреть, что именно видит этот конкретный нейрон.
Среди этих специализированных нейронов есть нейроны, которые запоминают пространство и места. Это так называемые клетки места, которые были открыты Джоном О’Кифом и его учениками Мэй-Бритт Мозер и Эдвардом Мозером, открывшими нейронные решетки. Это своего рода система GPS, открытие которой принесло им Нобелевскую премию.
Эти нейроны специализируются на кодировании уже не объектов, а пространства, мест и пространств. Благодаря им мы воспринимаем пространство. Например, если поместить крысу в такое поле и давать ей разные подкрепления, бросая кусочки кекса или шоколадки, она будет ходить собирать их и регистрировать нейроны. Вы можете найти нейрон, который имеет вот такое рецептивное поле.
Каждый раз, когда животное проходит через это пространство, неважно, как оно двигалось, нейрон будет работать в этом месте. Это было приобретено благодаря опыту животного нахождения в этом пространстве. По краям стены висят разные ориентиры, которые позволяют ей составить карту своего местоположения.
Если вы повернёте это пространство, то есть внешние ориентиры, на какой-то угол, вся карта работающих нейронов сместится на этот же угол. Животное будет думать, что теперь оно находится в другом месте относительно внешних ориентиров.
Сейчас мы регистрируем такие нейроны оптическими методами с помощью специальных микроскопов. Мы помещаем их в головы свободно передвигающихся животных, и здесь показан нейрон, который работает только в одном секторе, когда животное кругами бегает по лабиринту.
Как появилась специализация нейрона? Последние 12 лет я занимаюсь теорией, которая направлена на понимание того, как возникают эмержентные свойства в нашем головном мозге, в мозге животных и человека. Это называется теорией нейронных гиперсетей, которая имеет глубокие традиции в истории нейронауки у нас в стране.
Она базируется на идее, выдвинутой Сеченовым ещё в конце XIX века, что есть так называемые естественные группы клеток в нервной системе, которые воспринимают какие-то события внешнего мира. Также она основана на идеях Ивана Петровича Павлова о связях, которые устанавливаются в мозге, ассоциативных связях.
Это физиологические процессы, происходящие в нейронной сети. Когда возникают группы нейронов и связи между ними, формируется слой, условно названный слоем N. На этом слое появляются новые когнитивные свойства, такие как связи между событиями или объектами. Всё это генерируется сложными функциональными системами, что является третьим компонентом данной теории.
Эту теорию можно представить как алгоритм, который объясняет, как в нервной сети, рождающейся, как и у всех нас, в виде группы нервных клеток, появляются новые, высокоуровневые свойства. Эти свойства, такие как знания, понимание, мышление и, в конечном счёте, субъективный опыт и сознание, абсолютно воспроизводимы в развитии каждого организма.
Теория утверждает, что в основе этого лежит рекуррентная петля, которая непрерывно производит новые элементы высокого уровня. На начальной стадии этой петли организм рождается с небольшим набором врождённых поведений. Когда он сталкивается с задачами реализации этих поведений и неожиданными препятствиями, он начинает генерировать новые варианты функциональных систем, которые называются оперонами.
Наш мозг постоянно, начиная с раннего детства, является генеративной нервной системой. Он непрерывно создаёт новые пробы и варианты, необходимые для достижения результатов уже имеющихся функциональных систем в условиях неожиданных новых ситуаций. В этом смысле наш мозг представляет собой растущее дерево из множества функциональных систем с перекрещивающимися ветвями. Каждая ветвь является отростком какой-то базовой функциональной системы — питательной, пищедобывательной, оборонительной, комфортной и так далее. Но она генерирует огромное разнообразие новых вариантов решений, которые со временем могут стать самостоятельными целями.
Мы начинаем принимать пищу, даже когда не голодны, в тех или иных социальных условиях. То, что было средством достижения результата, например, деньги для ребёнка, когда ему нужно купить машинку, пойти в кино или купить мороженое, может стать самостоятельной целью, которая рождает новые цели. Так растёт огромное дерево.
Восходящая петля строится из сложных интеграций большого количества клеток, каждая из которых решает свою задачу. Каждая из этих систем — это мини-я, которое управляет организмом в данный момент. А наш организм в этом смысле — это огромный швейцарский нож, имеющий множество функциональных систем, направленных на достижение разных результатов.
Это даёт огромную вариативность. У каждого это дерево различается в связи с его индивидуальным опытом. Кролик, который учился в клетке экспериментатора и выучил, что такое кормушка, педаль и кольцо, имеет другое дерево по сравнению с кроликом, который находился в свободной деятельности на природе или в других домашних условиях.
Но самым важным является то, что одновременно с генерацией новых комбинаций и композиций функциональных систем, в нервной системе возникают пересечения и вовлекаются одни и те же нейроны в глубоких слоях. Эти нейроны начинают приобретать свойства, общие для разных функциональных систем.
Например, одна функциональная система, связанная с игрой с красным мячом, и другая, связанная с поеданием красного яблока, оказываются пересекающимися на одних и тех же нейронах. Эти нейроны способны становиться нейронами красного, то есть приобретать свойства, такие как нейроны лица, нейроны цвета, нейроны форм, нейроны объектов, нейроны концепции, нейроны математических символов, нейроны слов и так далее.
Одновременно с формированием следующей декомпозиции, она в этот же момент рассыпается на нейронах, которые были задействованы в прошлый раз. Этот процесс происходит в любой биологической системе, обладающей функциональными системами, то есть целенаправленным поведением, свойствами памяти и глубокой нервной сетью. Особенно в глубоких слоях нервной сети, где на нейроны конвергируются предобработанные сигналы из разных сенсорных и моторных участков, формируются высокоабстрактные характеристики.
Теория утверждает, что вслед за этой бета-петлёй, которая идёт вниз, возникает уровень N-1. То есть это разбиение сложных систем на маленькие компоненты. Но несмотря на то, что это уровень разбиения, в нём возникает эмерженция — новые качественные свойства, которые мы наблюдаем как в естественных нейронных сетях, так и в искусственных.
© По материалам доклада Константина Анохина «Эмерджентность в нейронных сетях искусственного и естественного интеллекта».
Комментарий по поводу этого фрагмента доклада
Доклад Константина Анохина , содержит смесь научных фактов, гипотез и художественных интерпретаций. Некоторые части доклада соответствуют современным научным представлениям о работе мозга, тогда как другие элементы сильно упрощены, для понимания не подготовленного слушателя. Давайте разберем основные аспекты:
1. Нейроны и их специализация
- В докладе упоминается, что существуют нейроны, которые активируются в ответ на конкретные стимулы, такие как кольца или педали. Это соответствует действительности. Например, в зрительной коре мозга существуют нейроны, которые реагируют на определенные формы, цвета или направления движения. Также известны «клетки места» (place cells), открытые Джоном О’Кифом, которые активируются, когда животное находится в определенном месте в пространстве. За это открытие О’Киф и супруги Мозер получили Нобелевскую премию в 2014 году.
- Однако утверждение, что нейроны «знают» о кольцах или других объектах, является упрощением. Нейроны не «знают» в буквальном смысле, они просто реагируют на определенные стимулы благодаря своей специализации и обучению.
2. Искусственный интеллект и нейроны
- В докладе упоминается использование искусственного интеллекта для изучения нейронов, например, создание изображений, которые максимизируют реакцию определенных нейронов. Это действительно используется в современных нейробиологических исследованиях, например, в методах, подобных «оптогенетике» или «нейронному декодированию». Действительно компания OpenAI, создала инструмент под названием «Microscope» (Микроскоп), который помогает визуализировать и лучше понимать внутреннюю работу нейронных сетей.
3. Теория нейронных гиперсетей
- В докладе описана теория нейронных гиперсетей, которая, как утверждается, объясняет, как возникают сложные когнитивные свойства, такие как мышление и сознание. Теория нейронных гиперсетей, предложенная российским нейробиологом Константином Владимировичем Анохиным, представляет собой концепцию, которая пытается объяснить сложные процессы обработки информации в мозге, включая сознание, память и когнитивные функции. Эта теория развивает идеи о том, как нейронные сети могут организовываться и функционировать на более высоких уровнях сложности, чем традиционные модели нейронных сетей. Упоминание идей Сеченова и Павлова корректно, но их работы относятся к более ранним этапам развития нейронауки и не объясняют всех современных данных.
4. Эмерджентные свойства
- В докладе отмечено, что сложные свойства, такие как сознание, возникают благодаря взаимодействию множества нейронов. Это соответствует современным представлениям о том, что мозг работает как сложная сеть, и его функции не могут быть сведены к работе отдельных нейронов. Показаны конкретные механизмы, например, «рекуррентная петля» и «опероны»). В рамках теории нейронных гиперсетей важное место занимают такие понятия, как рекуррентная петля и опероны, которые помогают описать механизмы самоорганизации и функциональной интеграции нейронных ансамблей.
Рекуррентная петля
Рекуррентная петля (или обратная связь) в контексте нейронных гиперсетей — это механизм, при котором выходные сигналы нейронной сети возвращаются на её вход, создавая циклическую структуру. Такие петли играют ключевую роль в поддержании динамической активности нейронных ансамблей, обеспечивая устойчивость и гибкость обработки информации.
В теории Анохина рекуррентные петли рассматриваются как основа для формирования функциональных систем — временных объединений нейронов, которые координируют свою активность для достижения конкретных целей (например, обработки сенсорной информации или реализации поведенческих актов). Рекуррентные взаимодействия позволяют нейронным сетям самоорганизовываться, адаптироваться к изменяющимся условиям и поддерживать активность даже после прекращения внешних стимулов.
Опероны
Термин опероны заимствован из молекулярной биологии, где он обозначает функциональные единицы генома, состоящие из группы генов, регулируемых совместно. В теории нейронных гиперсетей Анохина опероны представляют собой функциональные модули нейронных сетей, которые объединяют группы нейронов для выполнения конкретных задач.
Опероны в нейронных гиперсетях — это динамические ансамбли, которые формируются в ответ на внешние или внутренние стимулы и способны быстро перестраиваться в зависимости от контекста. Они обеспечивают модульность и иерархичность обработки информации в мозге, позволяя одновременно поддерживать специализацию и интеграцию различных функций. Опероны могут включать в себя как локальные группы нейронов, так и распределённые сети, охватывающие разные области мозга.
5. Эксперименты с животными
- Упоминание экспериментов с кроликами и мышами соответствует реальным исследованиям в нейробиологии. Такие эксперименты действительно проводятся для изучения работы нейронов и их роли в поведении. Однако описание того, как нейроны «учатся» различать объекты, является упрощением. Нейроны не «учатся» в буквальном смысле, а изменяют свои связи и активность в результате опыта.
6. Нейроны и индивидуальный опыт
- В докладе утверждается, что индивидуальный опыт формирует «зоопарк» нейронов. Это верно в том смысле, что опыт влияет на формирование нейронных связей и специализацию нейронов. Однако утверждение, что нейроны «знают» о конкретных объектах или концепциях, является метафорой, а не точным научным описанием.
Итог:
Фрагмент доклада содержит как научно обоснованные факты (например, существование специализированных нейронов, клеток места, роль опыта в формировании нейронных связей), так и авторские интерпретации или гипотезы (например, теория нейронных гиперсетей, «рекуррентная петля» и «опероны»). Некоторые формулировки являются упрощениями или метафорами, которые могут быть поняты не точно, если воспринимать их буквально.
Дорогие друзья! Эти знания помогают нам лучше понимать себя и окружающих, а также избегать поспешных и зачастую неверных выводов.
С радостью приглашаю вас подписаться на мой телеграм-канал — https://t.me/uraevigor. Там я делюсь множеством интересных и полезных материалов, которые обязательно изменят вашу жизнь к лучшему.
Добавить комментарий