1288
Авторский канал Павла Смольникова. Про поиск фундаментальных основ интеллекта, нейробиологию и путь к сильному ИИ. Теории, разработки, книги, научные статьи и авторские размышления @pavel_smolnikov
ㅤ
#лекции Посмотрел с удовольствием на днях лекцию Артема Яшина «Нужна ли философия наукам о мозге и разуме?».
Одной из характерных черт наук о мозге и разуме является использование ментальных терминов, восходящих к обыденному языку. Последние десятилетия показали, что сопоставление этих терминов с физиологическими механизмами и формулирование научных теорий на их основе представляет собой серьезную трудность.
Многие философы утверждают, что без прояснения таких понятий эмпирических данных недостаточно для ответа на фундаментальные вопросы о природе разума и сознания.
#исследования Авторы статьи «Neuroplasticity in Artificial Intelligence — An Overview and Inspirations on Drop In & Out Learning» предлагают переосмыслить архитектуру нейросетей, вдохновляясь нейропластичностью мозга.
Современные нейросети, включая LLM, имеют статичную структуру: количество и соединения нейронов фиксированы. Однако в мозге нейроны могут появляться (нейрогенез), погибать (апоптоз) и самое главное — перестраивать связи (нейропластичность).
Авторы предлагают комплексно перенести эти процессы в ИИ, чтобы модели могли динамически адаптироваться к новым задачам и данным.
Dropout — давно известная техника, в рамках которой отдельные нейроны отключаются во время обучения.
Dropin — подход, при котором в сеть вводятся новые нейроны, имитируя нейрогенез. Это позволяет модели расширять свои возможности по мере необходимости.
Таким образом, сеть может не только «забывать» ненужное, но и учиться новому, подобно мозгу. Менять размер своей архитектуры, оптимизируя объем памяти и вычислений.
В статье авторы также проанализировали другие публикации последних лет, в которых использовались сходные принципы.
Upd: Один из подписчиков поделился записью доклада «Нейросети с адаптивно обучаемой архитектурой через выращивание новых синапсов», который он делал на Data Fest 2024.
Как мёд для моих ушей 🍯 Наконец кто-то из значимых фигур мира ИИ обозначил реально важную вещь.
В начале месяца вышло отличное интервью Яна Лекуна, в котором он говорит, что эра LLM как инновации закончилась. Всё, что сейчас происходит — это инженерная гонка: больше параметров, больше обучающих данных. Но никакой новой парадигмы, никакого сдвига в понимании интеллекта уже не произойдет.
Он прямо говорит: «такие модели не могут по-настоящему понимать реальный мир». Фундаментальные модели должны опираться на фундаментальные свойства мира. Гравитацию, причинно-следственные связи, постоянство объектов и т.д. Язык лишь поверхностно описывает их. Это скорее иллюзия интеллекта. Китайская комната, которая стала реальностью.
Какие-то альтернативные идеи уже существуют. В академических кругах, в препринтах, в статьях, которые пока никто не читает. То, что сегодня кажется «маргинальным», через несколько лет может стать мейнстримом.
Путь к настоящему сильному ИИ — не в следующем «GPT 6», а в теоретических сдвигах. В попытке понять, как работает разум. И это главный смысл канала — найти, из каких «фотонов» состоит это вечное сияние ✨
#лекции В 2019 году мне посчастливилось вживую попасть на экспериментальный курс ВШЭ по «Вычислительной нейробиологии» моих друзей из лабораторий JetBrains. В ковидный год они записали и выложили в свободный доступ этот цикл лекций. С 22 года из-за переезда компании курс больше не ведется, но актуальность материалов, по большому счету, не изменилась.
Для меня в свое время курс был чрезвычайно полезным. И в первую очередь он даже не про «вычислительную» часть, а про базу самой нейробиологии. Поэтому может быть интересен самому широкому кругу слушателей.
Содержание слайдов на английском, но курс читается на русском языке. В плейлисте курса собраны следующие темы:
1. Introduction
2. Biological perspective
3. Neuron physiology and biophysics
4. Neuron models
5. Large-scale electrophysiology
6. Conductances and morphology
7. Neurotransmitters and receptors
8. Neural encoding
9. Plasticity and learning
10. Networks in brain
11. Neural system regulation
12. Neural tissue development
13. Machine learning and neuroscience
Не успел я опубликовать статью по Thousand Brains, которая начиналась со слов «несмотря на некоторые успехи VLA-моделей», Google DeepMind анонсировали свою новую VLA-модель Gemini Robotics. Сделал об этом по горячим следам новость на Хабре.
В любом случае, подход VLA-моделей и Thousand Brains не имеют ничего общего. О чем я, собственно, писал в статье выше. Thousand Brains не использует не только языковых моделей, но и самого принципа глубокого обучения.
По результатам прошедшей лекции Константина Анохина составил конспект, в котором привел и разобрал все ссылки на упомянутые статьи и технологии. А также привел ссылки на все интерактивные демонстрации.
Читать полностью…
Хорошее #видео «A Surprising Way Your Brain Is Wired» от Артема Кирсанова, про баланс локальных кластеров и глобальных связей в сетях.
Если связать каждый элемент сети со всеми остальными, то, с одной стороны, это удобно и можно в один шаг передать куда угодно информацию. С другой стороны, крайне затратно в количестве соединений или вычислений. Кроме того, бо́льшая часть этих соединений никогда не будет использована. К слову сказать, новорожденный мозг сначала имеет избыток связей, но со временем те что не передают сигналы — редуцируются.
Намного эффективнее соблюдение баланса между кластерами сильно связанных элементов и глобальными связями между этими кластерами.
#исследования Хорошее дополнение к прошлому посту — выступление Андрея Кузнецова (его канал — @complete_ai) «Можно ли научить модель text-to-video физике?».
Он разбирает статью «How Far is Video Generation from World Model: Physical Law Perspective» от команды Bytedance (китайский холдинг, который владеет TikTok). Ребята сделали также хороший лендинг-эксплейнер для публикации и выложили код.
Исследователи пытаются понять, насколько генеративные модели способны «ухватить» законы физики и качественно их воспроизводить в дальнейшем. Даже передовые модели вроде Sora до сих пор не могут похвастаться этим.
Для этого они написали простейший двумерный симулятор физики. И сгенерировали большую выборку коротких видеороликов, на которых происходят элементарные физические взаимодействия, вроде столкновений, падений и т.д.
Модель ожидаемо демонстрирует самые общие закономерности, но постоянно ошибается, галлюцинирует и показывает полное «непонимание» даже самых простых законов, вроде поступательного движения или постоянства объектов, спонтанно разворачивая катящийся при горизонтальном движении круг в обратном направлении или превращая круг в квадрат и обратно.
Генеративные модели потрясающе себя показали на статичных изображениях, но видео — это переход «zero to one», т.к. у нас появляется компонента времени, то есть проявление причинно-следственных связей, продиктованных законами физики. И для этого модели нужно иметь хотя бы возможность перемещения в среде, если мы говорим о трехмерном пространстве. А это уже сенсомоторное действие, т.к. каждый акт движения изменяет проекцию сцены и понимание положения в пространстве. И далее — взаимодействовать с объектами. Как это делает, к примеру, команда Thousand Brains.
Мы с детства начинаем разбираться в модели мира не потому что «сидим в углу комнаты» и наблюдаем, а через сенсомоторное взаимодействие. Мы понимаем «смысл» веса и инерции через приложение к предметам разных усилий. Каким образом, к примеру, без этого можно понять «по видео» как некий шар соударится с другим при одинаковых размерах, если вы не «попробовали покатать или поднять их»?
#книги На праздниках под треск камина погрузился в изучение фантастической книги-альбома с рисунками Сантьяго Рамона-и-Кахаля (1852—1934) — «The Beautiful Brain».
Рамон-и-Кахаль (двойная фамилия по испанской традиции — по отцу и матери) с детства был одержим рисунком и фотографией. Его отец был доктором и постепенно вдохновил поступить сына в медицинскую школу. Развитие микроскопии и клеточной теории в те годы, выводило гистологию на совершенно новый уровень, и Кахаль выбрал ее в качестве основного направления исследований. Начав еще в юности с подготовки анатомических иллюстраций для преподавательской деятельности отца, Кахаль и тут совместил две свои главные страсти — визуальное искусство и научные поиски, создавая детальные рисунки к своим статьям.
В 1887 году он отправился в Мадрид к своему другу, только что вернувшемуся из Парижа, где тот изучил передовую технику окрашивания клеток итальянского гистолога Камило Гольджи (впоследствии Кахаль и Гольджи получат Нобелевскую премию по физиологии или медицине в 1906-м). Техника впервые позволяла получить необычайно контрастные границы отдельных нейронов. Этот момент положил начало главному вектору жизни ученого.
За десятки лет работы Рамон-и-Кахаль создал около трех тысяч иллюстраций, бесчисленное множество научных статей (большая часть которых была посвящена именно нервной ткани), а также несколько книг, заложив тем самым основу современной нейронауки.
Ученые в то время склонялись к ретикулярной теории, по которой тела нейронов были физически соединены между собой, образуя непрерывную ткань. Именно Кахаль выдвинул нейронную доктрину, рассматривающую каждый нейрон как отдельную клетку, которая через шипики (ранее считавшимися погрешностью метода окрашивания) устанавливает связь с другими нейронами. Кахаль также выдвинул принцип динамической поляризации, по которому нейрон получает входной сигнал от других нейронов через дендриты и передает его дальше через аксон.
Сама книга-альбом состоит из вводных статей и 80 рисунков Кахаля, разбитых на четыре раздела — Cells of the Brain, Sensory Systems, Neuronal Pathways и Development and Pathology. Кахаль помимо срезов нервной системы, зарисовывал и другие виды тканей. Его любимым объектом изучения, к примеру, была сетчатка глаза (представленная как раз в разделе Sensory Systems).
Один из авторов книги абсолютно оправданно, на мой взгляд, сравнивает вклад Кахаля в науку с Дарвином и Пастером. Практически все его рисунки актуальны и по сей день. А учитывая то, что каждый рисунок дополнен комментариями нейробиолога, книга читается как современный учебник. Подавляющее число гипотез, которые выдвинул Кахаль, получили научное подтверждение в дальнейшем. Свой талант он проявил также в разработке первых методов цветной фотографии.
На обложке книги представлен один из рисунков Кахаля, иллюстрирующий клетку Пуркинье (по имени Яна Эвангелисты Пуркине) — один из видов нейронов мозжечка человека.
#книги Дочитал потрясающую книгу Макса Беннета «A Brief History of Intelligence: Evolution, AI, and the Five Breakthroughs That Made Our Brains».
Книга разбита на пять блоков, каждый из которых описывает важную ступень в эволюции интеллекта:
✨ Breakthrough #1: Steering and the First Bilaterians
Вы никогда не задумывались, почему у нас есть осевая симметрия, а не радиальная как, скажем, у медуз? Оказывается, именно так нашим очень далеким предкам, вроде небольших червей, было проще управлять телом. Всё о чем нужно было «думать» — это двигаться вперед, влево или вправо! Двигайся в сторону «хорошего» и избегай «плохого». Так и была устроена одна из первых нервных сетей.
✨Breakthrough #2: Reinforcing and the First Vertebrates
В более сложном окружении с растущей конкуренцией нужно уметь не просто ситуативно реагировать на сигналы, но и постепенно учиться распознавать паттерны во времени и пространстве, то есть строить модель мира. И стремиться через это к своим «целям» не только исходя из текущей картины, но и того как устроено пространство вокруг и что может случиться дальше.
✨Breakthrough #3: Simulating and the First Mammals
Если вы мышь, которая находится на развилке лабиринта, вам нужно принять решение. И здесь появляется одно из главных изобретений эволюции мозга. Что если не просто действовать в пространстве на основе модели, а уметь с ее помощью проиграть в голове разные сценарии будущего и действовать уже на основе оценки результатов этих вариантов?
✨Breakthrough #4: Mentalizing and the First Primates
Большинство животных существует в одиночестве. Но если вы живете большой стаей, то вам нужно учиться понимать своих «близких», то есть строить модель не только внешней среды, но и модель внутреннего мира другого существа. Понимать, что он знает, какие у него намерения, в каком состоянии он сейчас находится или даже будет находиться в будущем.
✨Breakthrough #5: Speaking and the First Humans
Наш мозг почти ничем глобально не отличается от мозга приматов. Язык — одна из тех способностей, которая позволяет нам обмениваться своими моделями мира. Причем не только фактическими, но и результатами симуляций! И это создает «кембрийский взрыв» возможностей. Теперь вам не обязательно получать опыт непосредственно, вы можете узнать об этом из опыта другого человека.
В книге очень много отсылок к экспериментам и теориям. Особенно приятно было увидеть среди них Павлова и Маунткасла. Много качественной содержательной графики. На обороте есть ревью Хоккинса, где он говорит, что «если бы эта книга попалась ему в самом начале пути, то он сэкономил бы массу времени». Thousand Brains Project также включили ее в свой список литературы. Очень рекомендую к прочтению ✌🏻
Сам Макс Беннет занимается AI-стартапом и помимо книги, публиковал несколько научных статей, в том числе по теме свой книги и непосредственно по теме канала. На мой взгляд, это отличное сочетание научной и предпринимательской деятельности, к которой я сам стремлюсь.
#исследования Некоторое время назад команда Google Research в коллаборации с другими лабораториями опубликовали в Nature исследование, в котором попытались найти сходства между паттернами активации нейронов в реальном мозге во время восприятия и производства речи и внутренними представлениями (эмбеддингами) трансформерной модели, распознающей речь (speech-to-text).
Несмотря на то что мозг и трансформерная модель имеют совершенно разную природу, исследователи обнаружили удивительно стойкую корреляцию. Кроме того, в дальнейшем это позволило предсказывать активность мозга по получаемым эмбеддингам.
✨ Когда человек воспринимает речь, сначала активируются слуховые области коры (например, верхняя височная извилина), и эта активность хорошо предсказывается акустическими эмбеддингами (speech embeddings) модели.
Когда начинается осмысление сказанного, активируются языковые области, такие как область Брока, активность которых хорошо предсказывается языковым эмбеддингами (language embeddings).
✨ При намерении произнести какую-то фразу, наоборот, сначала наблюдается активность в области Брока, которую можно так же предсказать по языковым эмбеддингам.
Затем активируется моторная кора, которая отвечает за подготовку артикуляции — хорошо прогнозируемая акустическими эмбеддингами модели.
Наконец, после произнесения слова, активируются слуховые области, когда человек слышит собственную речь — и это снова соответствует акустическим эмбеддингам.
В блоге Google Research есть хорошие анимации, наглядно объясняющие всю последовательность.
В качестве субботнего поста для вдохновения хочу рассказать про конкурс научной микрофотографии Small World, которому в этом году исполняется, на секундочку, 50 лет! Номинация Photomicrography Competition существует с 1975 года. А с 2011 года была добавлена еще номинация Small World in Motion, в которой соревнуются видеоролики, отснятые так же под увеличением микроскопа.
Помимо возможности посмотреть работы по годам в каждой номинации (по ссылкам выше), их можно также отсортировать по технике съемки (а там чего только нет — стереомикроскопия, флуоресценция, оптогенетика, поляризованный свет, разные виды томографии и т.д.).
Но так как нас с вами в первую очередь интересует тема «нервной ткани», есть еще прекрасная сортировка по темам, среди которых можно найти, к примеру:
— Мозг
— Нейрон
— Мозжечок
— Гиппокамп
А также можно найти ретину, клетку Пуркинье (ту самую, что была на обложке книги The Beautiful Brain c рисунками Сантьяго Рамона-и-Кахаля, о которой я рассказывал ранее) и небольшие категории гипоталамуса и коры.
На обложке поста (ниже) ссылка на 48-часовой таймлапс роста нейронов нервной системы эмбриона курицы, занявший 1-е место в 2023 году.
В разрезе упомянутой книги, интересно наблюдать как развивались техники нейровизуализации, от метода Гольджи, который использовал Кахаль, до различных современных методов оптогенетики вроде Brainbow, который, к слову, тоже есть в техниках конкурса.
#события На предстоящей неделе в центре «Архэ» начнется курс лекций Ольги Сварник «Введение в когнитивную нейронауку». Как минимум часть лекций лично я планирую послушать.
Когнитивная наука — это междисциплинарная область исследований на стыке психологии и нейробиологии (или нейронауки), имеющая много названий, в том числе, в российской традиции, психофизиология. Основная цель этого раздела науки — описание нейронных основ ментальных (психических) процессов человека и других животных и установление соотношений психических и физиологических процессов. В рамках этого курса будут рассмотрены основные принципы функционирования мозга и представлено современное понимание процессов, лежащих в основе нашего поведения, субъективного опыта, когнитивных процессов.
#книги В эпоху «больших языковых моделей» не лишним иногда спрашивать себя — что такое вообще язык, как он работает, как зародился. На последнюю тему закончил читать как раз великолепную книгу Светланы Бурлак «Происхождение языка».
Автор не только разбирает гипотезы, но и дает целый антропологический экскурс, от археологических находок до особенностей физиологии и того, как осваивают в раннем возрасте язык дети. Но что еще более интересно лично мне, часть книги посвящена исследованиям языка животных. Как существующих между ними сигналам, так и экспериментам, когда животных обучали какой-то форме языка искусственно.
Я и раньше читал про обучение обезьян (обезьянообразных, если быть точнее) языку жестов, но некоторые записи из реальных экспериментов меня поразили. К примеру, жестовый диалог гориллы Коко со своей наставницей (просто оцените):
Коко: ЭТО Я (показывает на птицу)
Воспитатель: РАЗВЕ?
Коко: КОКО ХОРОШАЯ ПТИЧКА
Воспитатель: Я ДУМАЛА ТЫ ГОРИЛЛА
Коко: КОКО ПТИЦА
Воспитатель: ТЫ МОЖЕШЬ ЛЕТАТЬ?
Коко: ДА
Воспитатель: ПОКАЖИ
Коко: ПТИЦА ПОНАРОШКУ ДУРАЧУСЬ (смеется)
Воспитатель: ТАК ТЫ МЕНЯ ДУРАЧИЛА?
Коко смеется.
Воспитатель: А КТО ТЫ НА САМОМ ДЕЛЕ?
Коко (смеется): КОКО ГОРИЛЛА
Длительное время я работал над началом цикла статей по Thousand Brains Project и наконец-то опубликовал первую часть на Хабре, в которой рассказал немного теории, про общие принципы, базовую архитектуру модулей и показал пример архитектуры «в сборке». Обратите внимание на судьбоносный номер, который мне сгенерировал Хабр для статьи — 886868 🤘🏻
Я уже писал на канале про книгу Хокинса «1000 мозгов». И собственно, начало каналу как раз положил анонс запуска проекта Thousand Brains. Поэтому данный цикл статей, помимо глубокого уважения к работе Хокинса, имеет особую важность для меня.
Кроме того, то что они делают — это один из немногих подходов (а может единственный такого уровня), который основан на изучении колонок неокортекса и имеет по-настоящему сенсомоторные и пространственные механизмы в основе.
#события 19 февраля в 19:00 в центре «Архэ» пройдет лекция Константина Анохина «Мозг: итоги 2024 года». Речь в первую очередь пойдет о связи нейронаук и искусственного интеллекта.
«В 2024 году было опубликовано около 550 тыс. статей о мозге и его функциях. После краткого обзора статей на эту тему в ведущих научных журналах группы Nature, Science и Cell разберем подробнее работы, составляющие один из главных трендов 2024 года — мозг и ИИ.
Рассмотрим, какие ранее неизвестные стороны работы мозга раскрывают методы искусственного интеллекта, какие новые понимания принципов работы мозга можно вынести из принципов работы искусственных нейронных сетей, и что нового для создания таких сетей приносят знания о биологическом мозге»
Посетить ее можно будет как вживую, так и в виде онлайн-трансляции. Мероприятие бесплатное, но можно купить билет с благодарностью.
#события 13 февраля в 18:30 в рамках лектория Нейрокампуса пройдет первая в сезоне лекция, посвященная нейронаучным итогам прошедшего года.
Научные журналисты, создатели телеграм-канала «Новости нейронаук и нейротехнологий» Алексей Паевский и Анна Хоружая расскажут о самых значимых открытиях в области нейронаук в 2024 году.
Для живого посещения необходимо зарегистрироваться до 13 февраля 12:00 и иметь с собой паспорт. Также будет доступна онлайн-трансляция на VK Видео.
#исследования Несмотря на то что канал совсем не про мейнстрим-подходы, вроде LLM, а скорее наоборот про мысль, что всё это — прекрасные вещи, но вряд ли путь к сильному ИИ; некоторые темы из мира глубокого обучения все же актуальны в разрезе этого вопроса. Таковым стало выступление Михаила Бурцева — «Learning Cellular Automata with Transformers».
Тема клеточных автоматов с ранних лет очаровывала меня. В статье и прикрепленном докладе, пытаясь понять, происходит ли абстрагирование внутри LLM, Михаил использует одномерный клеточный автомат как простейшую модель мира, и обучает трансформер предсказывать следующие состояния.
Казалось бы, что может быть еще проще? Клеточный автомат — это то что можно «рассчитать» с ребенком на салфетке. Автор показывает, что модель в целом справляется с этой задачей неплохо, но никогда не достигает предельной точности, особенно если мы просим прогнозировать ее хотя бы на несколько шагов вперед. А ведь это простейшая и полностью детерминированная бинарная система.
Примерно то же самое проделывает Стивен Вольфрам в своей статье «Can AI Solve Science?». И приходит к следующим выводам:
«Мы видим то, что и ожидали: пока поведение достаточно простое, сеть в большинстве случаев предсказывает правильно. Но когда поведение становится более сложным, модель справляется уже не так хорошо. Она все равно зачастую делает это «примерно правильно» — но не в деталях».
При этом, ни размер архитектуры, ни объем или глубина обучения, принципиально не меняют картину.
#книги Прочел русский перевод книги «Thousand Brains» — «1000 мозгов. Новая теория интеллекта», вышедший в этом году. Оригинал я читал еще в 2021-м, когда книгу только анонсировали. Было приятно освежить в памяти уже на родном языке, а заодно посмотреть как перевели некоторые термины.
За эти годы появился ряд материалов по теории, а совсем недавно был запущен Thousand Brains Project с массой документации, thousandbrainsproject">видео и исходным кодом. Всё это дало возможность на совсем другой глубине перечитать книгу. И многие детали в голове встали на свое место.
Про саму теорию я сделаю чуть позже отдельную статью. Как ни странно, ей посвящена только одна из трех частей книги — «Новый взгляд на мозг». В этом плане мне немного не хватило подробностей, так как это было в его первой книге «Об интеллекте». Но с другой стороны, Хокинс писал «1000 мозгов» для широкой аудитории, а саму теорию теперь есть чем дополнить.
В оставшихся двух частях — «Искусственный интеллект» и «Человеческий интеллект», Хокинс рассматривает более общие вопросы, от проблем ложных убеждений до экзистенциальных угроз и миссии по сохранению знаний, накопленных человечеством.
Если вы не знакомы с Хокинсом, то в 2019-м я переводил небольшой обзор о нем и команде Numenta. Даже с того времени они прошли огромный путь проб и ошибок, поиска доказательств в нейробиологии, опубликовали целый ряд научных статей.
Закончить хотел бы цитатой из финальной главы:
«...подумайте о том, чтобы заняться нейробиологией и искусственным интеллектом. Однако должен предупредить: вам будет трудно следовать идеям, которые я изложил в этой книге. И нейробиология, и машинное обучение — это большие области с огромной инерцией. Я почти не сомневаюсь, что описанные мною принципы будут играть центральную роль в обеих областях исследований, но на это могут уйти годы. А пока вам придется проявить решительность и находчивость».
#события 4 декабря Джефф Хокинс и команда Numenta проведут онлайн-симпозиум по запуску нового ИИ-фреймворка Thousand Brains Project, созданного на основе 20 лет исследований и множества научных публикаций.
Ранее я уже писал немного про Хокинса на Хабре. Если очень кратко, то это основатель той самой Palm, которая выпускала одни из первых массовых карманных компьютеров. В начале двухтысячных после продажи Palm и еще одной компании (Handspring), основал в Калифорнии небольшой нейробиологический институт, а еще через пару лет компанию Numenta, в рамках которой велись все дальнейшие исследования и разработки. Главной целью Хокинс поставил поиск путей к сильному ИИ через глубинное изучение нейробиологии.
Возможно вам попадалась в прошлом его потрясающая книга Об интеллекте, написанная и переведенная на русский как раз в те годы основания Numenta. После этого в 2021 году он также собрал все обновленные знания в книге A Thousand Brains: A New Theory of Intelligence, предисловие к которой написал Ричард Докинз, а Билл Гейтс включил в свой список 5-и лучших книг 21 года. На русском она вышла совсем недавно и называется «1000 мозгов. Новая теория интеллекта».
Главное отличие TBP от классических нейросетей (включая передовые LLM) в том, что он строится на многолетнем изучении нейробиологии и поиске кортикальных алгоритмов. Подходы TBP основаны на сенсо-моторном взаимодействии с миром, так как это делает мозг человека и большинства животных.
В ближайшее время планирую опубликовать на Хабре обзор самой теории и ее предыстории, а также перевести официальную документацию по проекту. Все обновления, конечно, будут на канале ✌🏻