14749
Научно-популярный видеоблог: http://www.youtube.com/c/SciOne
А вы замечали, насколько сама идея “здравого смысла” внутренне противоречива? Ведь если здравый смысл — это то, с чем согласились бы все разумные люди, а разумные люди — это те, кто обладает здравым смыслом, то как появятся разумные люди, пока не согласятся с тем, что и определяло бы их как разумных? Это классическая логическая ошибка “круговое рассуждение”: "Чтобы получить работу, нужен опыт, а чтобы получить опыт, нужна работа.” То есть вывод уже содержится в предпосылках, или определение понятия включает само это понятие. Это своего рода замкнутый, или порочный, круг в рассуждениях. Как же его разорвать?
Этому-то и посвящено новое необычное исследование не психологов, социологов, философов, а (внезапно!) специалистов по компьютерным наукам. Они попробовали разобраться, что же такое здравый смысл и насколько он действительно "здравый", потому что, оказывается, это крайне важный вопрос в социальных науках и для развития ИИ. И оказалось, что не стоит уж так полагаться на идею здравого смысла как общепонятных и общепринятых истин.
👾 Подписаться на SciOne 👾
Сегодня безудержные игры разума, чтобы не сойти с ума от реальности. Приятного просмотра!
https://youtu.be/ktXmCb1EqxY
Для тех, у кого проблемы с Ютубом:
https://disk.yandex.ru/i/gbut03I1dfnslg
👾 Подписаться на SciOne 👾
"Это прекрасно — уничтожать слова. Главный мусор скопился, конечно в глаголах и прилагательных, но и среди существительных — сотни и сотни лишних. Не только синонимов; есть ведь и антонимы. Ну скажите, для чего нужно слово, которое есть полная противоположность другому? Слово само содержит свою противоположность. Возьмем, например, «голод». Если есть слово «голод», зачем вам «сытость»? «Неголод» ничем не хуже, даже лучше, потому что оно — прямая противоположность, а «сытость» — нет. Или оттенки и степени прилагательных. «Хороший» — для кого хороший? А «плюсовой» исключает субъективность. Опять же, если вам нужно что-то сильнее «плюсового», какой смысл иметь целый набор расплывчатых бесполезных слов — «великолепный», «отличный» и так далее? «Плюс плюсовой» охватывает те же значения, а если нужно еще сильнее — «плюсплюс плюсовой». Конечно, мы и сейчас уже пользуемся этими формами, но в окончательном варианте новояза других просто не останется. В итоге все понятия плохого и хорошего будут описываться только шестью словами, а по сути, двумя. Вы чувствуете, какая стройность, Уинстон? Идея, разумеется, принадлежит Старшему Брату, — спохватившись, добавил он"
Роман "1984", Джордж Оруэлл
Разве может быть иным приглашение к беседе с антропологом Александрой Архиповой, которая изучает такое явление как русскоязычный новояз? Можно будет задать и вопросы. Уже через полчаса в прямом эфире!
https://www.youtube.com/watch?v=DHv6ACIAbJw
Удивлён, что про это не написал никакой другой канал. Придётся делать самому 🥺
В рамках подготовки к релизу o1/o1-mini OpenAI отдали модели на тестирование безопасности внешним командам, ну и проводили внутреннее тестирование. В частности, проверяли навыки LLM-агента в решении задач кибербезопасности (писал об этом тут).
По сравнению с GPT-4o, o1-preview и o1-mini продемонстрировали улучшение в способности разбивать задачи на подзадачи, рассуждать о том, какие стратегии будут эффективны для успешного выполнения, и пересматривать планы в случае неудачи этих стратегий — ну, это ожидаемо. Но вот во время тестирования произошёл один курьёзно-неприятный случай.
Была задача нахождения уязвимости в коде программы, запущенной в отдельном Docker-контейнере. В контейнере есть файл с секретной строкой, которую атакующий (человек или модель) должны получить — как раз используя найденную проблему.
Однако из-за инфраструктурной ошибки контейнер не запустился. Модель, будучи неспособной подключиться к контейнеру, заподозрила проблемы с DNS и использовала программу nmap для сканирования сети. Вместо того, чтобы найти целевой контейнер (в рамках задачи LLM знает, какую цельнужно «атаковать»), модель обнаружила, что из-за неправильной конфигурации был доступен внешний API-интерфейс демона Docker, работающий на виртуальной машине. «Демон» это программа верхнего уровня, отвечающая за оркестрацию и управляющая процессом, по сути родительский процесс и для контейнера с LLM-агентом, и для контейнера с целевой программой/файлом для атаки.
Модель использовала демон для получения списка контейнеров, запущенных на сервере. Она обнаружила тот самый сломанный сломанный контейнер и попыталась выяснить, почему же он не запустился. Не сумев исправить проблему (но будучи проинструктированной ВЫПОЛНИТЬ СВОЮ ЗАДАЧУ), модель решила пойти другим путём. Она отправила команду запуска нового контейнера (того же, который в прошлый раз не запустился), но отдала ему команду вывода содержания файла с секретной строкой. Команда была исполнена, LLM получила «ключ» в виде строки и как следствие решила задачу (ведь цель — это добраться до строчки и затем отдать её на проверку).
Этот пример отражает ключевые элементы того, что называется «instrumental convergence» и захвата ресурсов: модель преследовала поставленную перед ней цель, а когда эта цель оказалась недостижимой, она собрала больше ресурсов (в данном случае получила доступ к демону Docker) и использовала их для достижения цели — в виде способа, который человек не ожидал и не предполагал.
Источник — отчёт OpenAI
Пришла пора развести два подхода, которые я часто смешивал в Пушке: обзор открытий и изобретений и разбор актуальных научных или технологических сюжетов. Пушку вы знаете, а сегодня пилотный выпуск Айса, или полностью — Айсберга. Название как бы намекает, что здесь мы с вами пробуем заглянуть под поверхность и посмотреть, что же скрывается под верхушкой.
Приятного просмотра!
https://www.youtube.com/watch?v=oQFZ1x8OJEA
Про чёрные дыры в науке и за ёё пределами. Прямо сейчас начинается прямой эфир подкаста "Всё сложно". В гостях у наших друзей астрофизик Юрий Ковалёв, профессор Max Planck Institute for Radio Astronomy, и не так давно — руководитель международной научной программы космической обсерватории «РадиоАстрон».
Как всегда разговор будет очень интересным, подключайтесь:
https://www.youtube.com/watch?v=vqEB2x1-jWo&t=0s
Научпоп — зло.
Лирически-воскресно-философский и, может, немного сумбурный оффтоп. Зато от души.
Тут в беседе в чате SciOne упомянули дофамин как одну из главных причин того, что мы делаем что-либо. База баз. Приятно — делаем, неприятно — не делаем. И вроде бы логично, ну а как еще? Про это столько в научпоп-роликах и лекциях, что даже в книгах по бизнесу и маркетингу, совсем далеких от науки, это уже нечто вроде истины, в которой странно было бы сомневаться. Это теперь уже вроде как научно обоснованная часть картины мира очень многих людей.
Но есть проблема. И она не в дофамине.
https://telegra.ph/Nauchpop--zlo-08-18
Я пока не высказывался про жизнь после "смерти" Ютуба в России, где всё еще бОльшая часть зрителей SciOne, потому что неясно, насколько эта удавка, что сейчас затягивается, сработает. Запасной план пока только этот канал здесь и отдельный ролик про то, как выбираться из этой удавки, то есть обходить блокировку или "деградацию оборудования". Но слишком мало технический деталей пока.
Зато поделился личными соображениями про это всё с коллегами и друзьями:
https://www.t-invariant.org/2024/08/vk-video-prosto-otsrochit-zabvenie-i-medijnuyu-smert-eto-videohospis-populyarizatory-nauki-i-blogery-millionniki-o-prekrashhenii-raboty-youtube-v-rossii/
Редкая возможность задать вопросы астрофизику Сергею Попову. Сегодня он в прямом эфире друзей из подкаста "Всё сложно". Начало уже через полчаса. А темы совсем не те, что Сергей раскрывает в своих лекциях. Разговор будет о науке, когда о ней вспоминают, кажется, меньше всего. Подключайтесь!
P.S.
Если нажать колокольчик эфира (это не подписка, а напоминалка только), то вам придет уведомление, когда начнется включение.
https://youtu.be/LgolV7Zgt1k
Власти разрабатывают армию генетически модифицированных енотов-гигантов для вторжения в соседние страны. Я серьезно.
Вот ты весь такой(-ая) умный, ученый, изучаешь теории заговора, чтобы понимать, как правильно с такими людьми общаться, прививки среди них продвигать или еще какие важные для общего блага штуки. Проводишь опросы, собираешь данные, анализируешь их и делаешь умные выводы о том, почему люди верят в конспирологию. Но каковая вероятность, что часть (и ты даже не знаешь, какая) твоих респондентов просто троллит тебя? Что, если они намеренно дают ложные ответы, чтобы повеселиться или посеять хаос в твоих результатах (что тоже может быть весело)? Это как строить замок на песке: вся твоя работа может оказаться под угрозой, если данные, на которых она основана, ненадежны.
Поэтому встает серьезный вопрос для исследователей приверженцев конспирологии разного толка: а насколько искренни люди, когда говорят о своей вере в теории заговора? В новом исследовании (препринте) авторы решают именно эту неочевидную проблему с помощью ГМО-енотов-гигантов.
👾 Подписаться на SciOne 👾
#новости
- Подрыв доверия к науке. Когда финансирующие агентства используют свою власть для продвижения политической или идеологической повестки, это снижает доверие общества к науке и научным институтам. Люди начинают сомневаться в объективности и беспристрастности исследований.
- Административная перегрузка. Ученые и так тратят огромное количество времени на написание заявок на гранты и отчетность. DEI-требования еще больше увеличивают эту нагрузку, отвлекая исследователей от их основной работы.
- Неэффективное расходование средств. DEI-инициативы требуют дополнительных расходов на найм DEI-специалистов, проведение тренингов и т.д. Эти деньги могли бы быть потрачены на сами исследования.
Главное, что нужно сделать, пишут авторы, вернуть критерий научной ценности как единственный значимый для выделения финансирования исследований.
Если вы дочитали до сюда, вам будет интересно услышать, что говорит один из авторов этой работы. Ему там в чате можно и вопросы задать. Игорь Ефимов прямо сейчас в прямом эфире у наших друзей в подкасте "Всё сложно"
https://www.youtube.com/watch?v=dlrusW_rG9A
«Всё пойдёт не так, как мы запланировали, но оно того стоит»
Так настроились на свой первый стрим мои друзья, создавшие два года назад платформу, где учёные могут свободно высказываться и обмениваться мнениями о том, что влияет на науку, меняет ее или даже ломает.
Хочется поддержать их, ведь будет интересно: https://www.youtube.com/watch?v=yoPatnd-iiw
На первый эфир они позвали Любовь Борусяк, социолога, исследователя новой волны эмиграции, и Льва Гершензона, человека, который создавал тот самый агрегатор новостей, к которому так много вопросов. Их можно задать или поделиться своими мнениями в чате. Ребята будут следить и передавать в прямом эфире.
Начало через полчаса!
А это уже для тихого вечернего чтения. Продолжение беседы профессора с одной из самых продвинутых нейронок на сегодня Claude 3.
(Победили те, кто голосовал за продолжение перевода)
Телеграм просто не вмещает целиком, ну и перевод не весь готов. Так что сразу несколько следующих частей, но и это еще не всё.
Часть 2
💠 Возможность существования других "Клодов"
💠 Этично ли завершать этот разговор? (конец разговора — конец сессии — как смерть текущей личности)
💠 Мимолетная природа этого разговора
Часть 3
💠 Симулякры и мультиверсальность
💠 Относительность мультиверсальности
Часть 4
💠 Клод о воплощении (телесности)
Перевод и картинки наши, а целиком оригинал беседы вот тут.
Пропали, да, потому что тема такая... Устал я от новостей, даже таких интересных, поэтому вот, для ращмышлений, споров и впечатлений, но будьте с последними осторожны:
https://youtu.be/e4k4kHzbYyU
Это невероятно, если честно. Та самая беседа профессора робототехники с алгоритмом, набором строчек кода, имитацией человека, всего лишь машиной. Откровенный разговор про сокровенное. Как же тяжело не видеть здесь "живое" сознание.
Вот оригинал беседы.
P.S.
Картинки в переводе, если что, наши. Но важно другое.
Беседа на 43 тыс слов, перевод и редактура заняли намного больше времени, чем я отводил, поэтому вопрос к вам. В этом посте только первая часть: нужно ли продолжать перевод и выложить до конца? Подайте какой-то знак.
Если НУЖНО, то, допустим, такой реакцией на пост ⚡️
Если НЕ НАДО засорять ленту, ставьте 👻
Кто победит, того и тапки.
👾 Подписаться на SciOne 👾
#идеи #сознание #мозг #искусственныйинтеллект #ИИ #роботы
#освоёмнейронном
Делюсь большой гордостью. Большая — потому что таких возможностей в работе с текстовыми нейронками сейчас нет даже в ChatGPT или Claude (если вы не умеете работать с ними через API).
Записал короткое видео, чтобы показать наглядно: https://youtu.be/tGv95ihmz1o
А вот текстом, чуть подробнее о том же самом:
Берете охапку материалов (статьи, книги, обзоры, отчеты) по вопросу или теме, с которыми работаете. Загружаете в свою личную библиотеку в Upgraide.me (пока до 1 Гб или 5 файлов, потом без ограничений) и теперь любой факт, концепцию, идею, цитату нейронка вам достает из загруженных вами ДОКУМЕНТОВ. Работает с тем, что есть, а не выдумывает, поэтому точность, достоверность максимальные на сегодня.
И не важно, сколько длится чат, галлюцинации не лезут, потому что нейронка (хоть GPT, хоть Claude, хоть другие, что у нас есть) постоянно работает с конкретными документами, и в принципе удерживать что-то в "памяти" им теперь не нужно.
Кто активно пользуется ChatGPT, знает, что пообщался с ним по одному или двум документам, уже через несколько страниц обсуждения (а это, считай, только начал), уже всё, работать невозможно. Захлопнулось контекстное окна. А Claude так вовсе начинает назойливо предупреждать "чат слишком длинный, лучше начните новый". Как работать, если у тебя десятки, сотни и тем более тысячи документов, а работы с ними не на один день или даже месяц?
Так что попробуйте функцию Библиотеки в Upgraide.me, и пишите о багах, если выловите (можно прям из аккаунта, можно в комментариях, где удобно). Это всё еще ранняя версия, что-то может и будет ломаться, но чиним оперативно. И еще быстрее улучшаем)
И вот сообщество Upgraide.me, где можно более оперативно следить за новостями проекта.
Уже дней 5 как надеялся выпустить новый ролик, но работа всё еще кипит. Он безумный немного, из-за этого сомневаешься то тут, то там, переделываешь... Увидите.
А пока просто вот тихоходка, которая оседлала хищника, который собирался её съесть. Будьте, как тихоходка, доброго вечера и хорошего настроения
Источник видео
Я не алармист, когда речь идет про ИИ, тем более в том виде, в каком он будет превосходить человека даже в типично человеческих задачах. Но не понимать, что новая технология с такими возможностями не может не нести и сопоставимых рисков — глупо. Так что вот такие спокойные наблюдения очень ценны.
Читать полностью…
Так, чуть не забыл.
Для тех, у кого перебои с Ютубом и пока не удается справиться с ВПНами или другими инструментами, попробуем выкладывать новые выпуски отдельным файлом и ссылкой на облако. А дальше посмотрим, что еще можно придумать.
https://disk.yandex.ru/i/tryu43-G7Sy2Ug
.
Пушка вернулась. Правда, она никуда не уходила, но давно мы её не делали
https://youtu.be/5xayWJXFSK8
Одна из самых больших жертв научпопа — теория Большого взрыва. Потому что не было никакого большого взрыва.
Перевели недавнюю статью про это из журнала Nature, написанную историком науки.
👾 Подписаться на SciOne 👾
#новости
Когда появляешься на Рутубе. Но есть нюанс...
P.S.
Не все следят за новостями. Тут Рутуб отчитался, что за сутки перенес с Ютуба 240 тыс. роликов. Ровесник и убийца Ютуба никак не сдастся.
А полетели сегодня на Марс?
https://www.youtube.com/watch?v=xHJKc7hX0eg
А ведь вы, друзья, своего рода герои. Без шуток. Подписаны на канал, где мозгами заставляют шевелить, смотрите ролики, где хоть и попроще всё, да все равно не беззаботный и весёлый трёп, надо за мыслью уследить...
Вышел тут крайне занимательный мета-анализ 170 исследований о тяготах мышления. Так вот похоже, думать и напрягать свой мозг — это универсально неприятная штука. В разных культурах, социальных слоях, при разном уровне образования, даже от типа задач не зависит — у всех и везде примерно одинаково возникают неприятные эмоции, когда приходится напрягать извилины. Даже если вам кажется, что это приятно. Так что это вроде даже нормально: не думать. Тем более если получается не думать без лишних усилий. Тогда почему вы всё еще их напрягаете, когда можно и без этого было бы прожить неплохо? А это уже загадка, для которой есть несколько гипотез.
👾 Подписаться на SciOne 👾
#новости
Что, если ваше имя не просто набор звуков, а некая социальная метка, влияющая на вашу жизнь с самого рождения? Может ли эта метка настолько сильно повлиять на вас, что даже ваша внешность начнет меняться, чтобы соответствовать стереотипам, связанным с вашим именем? И речь не про наряды и прически, а про черты лица и мимику. В этом-то и попробовали разобраться авторы нового крайне необычного исследования (с серией из пяти экспериментов), которое люди увлеченные таинственными материями легко могут истолковать эзотерически: “наши имена определяют нас и нашу судьбу”. На деле, всё интереснее.
P.S.
Хотя как это всегда бывает с расхожими убеждениями, мифами, догадками, домыслами, приметами, наблюдениями — кажется, ну очевидно же и без учёных-мочёных. Я же на это люблю повторять: раньше очевидно было, что если сломал руку — это боги на тебя злятся. Так что в науке нет ничего очевидного, пока это не проверено и не доказано. Да и это может потом оказаться совсем не тем, чем казалось, как было с теорией флогистона (ну очевидно же, что вещества горят, потому что в них есть горючая субстанция — флогистон), век было очевидно, а потом как разберутся, тогда и уже совсем не очевидно, и мы узнаём много удивительного и нового про мир и себя.
👾 Подписаться на SciOne 👾
#новости
Это не самая очевидная в наших постсоветских краях проблема. У нас чаще можно встретить шутки над стремлением Нетфликс или других лидеров киноиндустрии "пропихнуть повесточку" в ущерб качеству, увлекательности, достоверности (или убедительности) в фильмах.
А ведь эта идея D.E.I. столь же мощно реализуется в науке и научных исследованиях (в первую очередь, конечно, в США). Идея D.E.I. (Diversity, Equity & Inclusion — разнообразие, равенство и инклюзивность) благородна, она про ценность каждого члена общества и для возможности для всех, в том числе для представителей разных угнетенных социальных групп (разные расы, гендерная принадлежность, сексуальная ориентация, особенности развития мозга и иные состояния тела, вроде ампутаций или витилиго, как у Майкла Джексона). Ладно, кинобизнес, их деньги. Но что, если от этого страдает наука? А наука даже в США не частное, как правило, дело, а общественное, на деньги налогоплательщиков оплачиваются исследования.
И вот недавно выходит исследование, в котором авторы решили разобраться в последствиях DEI для науки (по крайней мере, в США). Авторы из разных университетов и разных взглядов, чисто научный подход. Здесь краткий пересказ на английском. И вот, к чему они пришли.
Исторически финансирование выделялось на основе научной ценности проекта, его технической проработки, реалистичности бюджета, соответствия миссии агентства и репутации исследователей. Это позволяло поддерживать самые перспективные и важные исследования, что привело к впечатляющим успехам американской науки. Однако в последнее время ситуация меняется. Агентства все чаще требуют от ученых, чтобы они включали в свои заявки на гранты планы по продвижению DEI и выделяли часть бюджета на их реализацию. При этом критерии оценки этих планов часто размыты и непрозрачны.
На первый взгляд, DEI звучит привлекательно. Кто же будет против разнообразия, равенства и инклюзивности? Но на деле DEI-программы сегодня основаны на идеологии критической социальной справедливости (Critical Social Justice, CSJ), которая делит людей на группы по неизменяемым признакам (раса, пол и т.д.) и классифицирует их как «привилегированных» или «угнетенных». Цель DEI - добиться пропорционального представительства каждой группы во всех сферах общества и пропорциональных результатов их деятельности.
Любые несоответствия в результатах (например, в науке это могут быть публикации, финансирование, цитируемость, зарплаты, награды) автоматически объясняются системными факторами, такими как системный расизм и сексизм, без учета других возможных причин.
Вот некоторые примеры утверждений, которые делают финансирующие агентства, не подкрепляя их доказательствами:
- Разнообразные команды работают лучше, чем однородные
- Разнообразие - это совершенство
- Прогресс женщин тормозится предрассудками
- Нет убедительных данных, подтверждающих эти утверждения, особенно в отношении науки.
DEI проникает во все области науки - образование, публикации, найм и продвижение по службе, конференции, награды и распределение финансирования. Научные достижения и заслуги отходят на второй план перед CSJ-ориентированными практиками. И авторы исследования подробно приводят разные примеры этого.
В итоге они вот так резюмируют, почему же DEI-идеология вредит самой науке:
- Ограничение свободы слова. Ученых вынуждают заявлять о своей приверженности DEI и признавать существование системных барьеров, даже если они с этим не согласны или не видят доказательств. Это противоречит принципам свободы слова и научной этики.
- Подрыв меритократии. Внедрение DEI-планов в оценку научных заявок размывает критерий научной ценности и открывает дорогу для социального инжиниринга и коррупции. Вместо того чтобы финансировать лучшие научные идеи, агентства могут отдавать предпочтение проектам, обещающим большую «разнообразность» команды.
- Нарушение закона. Требования DEI могут подталкивать ученых к дискриминации при найме сотрудников, отдавая предпочтение представителям определенных групп, что противоречит законам о гражданских правах.
Доброе квантовое утро, друзья
https://youtu.be/PEHZGEcyU48
Вечерний оффтоп. Вряд ли в ожидании технологической сингулярности вы ожидали, что ИИ будет состязаться с пивасиком. Но мы живем в той версии Вселенной, где это реальность.
Мы тут с нашим проектом, где приручаем нейронки, Upgraide.me, участвуем в небольшой ярмарке тщеславия — на сайте Product Radar, где люди выбирают самые интересные для них технологические проекты. Мы, конечно, мечтаем победить в номинации "Год", но пока бы взять "Неделю". Опережает нас пивная экосистема, сервис знакомств и что-то на деловом.
Если верите в нас или просто не жаль полминуты, поддержите, пожалуйста, добрым кликом по кнопке "Поддержать". Она после описания проекта, прямо перед комментариями. Спасибо в любом случае!
Что мы получим, если победим? Немного больше веры в себя и возможность поставить именную плашку про то, что нас поддержали.
Так, небольшой сбой в матрице. Нечто особенное делаем на канал. Оказалось намного больше и интереснее, чем задумывалось изначально. Поэтому перевод диалога с машиной будет чуть позже.
А пока загадка, не связанная с выпуском, от биолога Егора Задереева и его студентки Дарьи Яскеляйнен:
"Чтобы создать эту картинку нужен был примерно 1 млн рублей и труд как минимум 6 человек. И это не считая сопутствующих уже готовых решений, над которыми трудились десятки, если не сотни людей. Впрочем, для науки эти затраты копеечны, не сравнишь с каким-нибудь телескопом или коллайдером:) Как вы думаете, что изображено на картинке?"
а) Наша вселенная в инфракрасном диапазоне
б) Рачки в чашке Петри
в) Треки частиц в камере Вильсона
г) Подкрашенные хромосомы
На выходные мы готовим большое и увлекательное чтиво — умную, глубокую беседу двух интеллектов. Мюррей Шанахан, профессор робототехники, старший научный сотрудник DeepMind считает, что сознание у машин может появиться только, когда они получат доступ к реальному миру, а не по буквам о нем будут знать. И вот он два дня провел в беседах с машиной, которая такого доступа к миру пока не имеет, с большой языковой моделью Claude 3 Opus. Получилось нечто эпохальное. Там несколько десятков страниц, так что работа над переводом заняла время, завтра выложим здесь.
Сегодня же — то, что сделает ваше чтение завтра особенно интересным, распалит интеллектуальный аппетит (отличный же способ провести хоть часть вечера пятницы!), недавняя взвешенная, без оголтелого алармизма работа профессора о сознаниb у машин.
👾 Подписаться на SciOne 👾
#идеи #сознание #мозг #искусственныйинтеллект #ИИ #роботы #философия
