Системный Блокъ

30 мая 2024 19:04

Что такое обучение с подкреплением?

Что если бы компьютеры могли самостоятельно исследовать окружающий мир, экспериментировать и корректировать свои действия на основе реального опыта? Они уже могут! Благодаря обучению с подкреплением (от англ. Reinforcement Learning, сокращённо RL), принципы которого очень похожи на то, как мы, люди, учимся в реальном мире.

Кратко: о чем статья?

В основе обучения с подкреплением — несколько ключевых понятий: окружение, состояние, aгент, действие, награда. Они формируют фундамент, на котором строится процесс обучения.

Окружение — это среда, в которой действует агент. Оно может быть как физическим (например, комната для робота-пылесоса или тестовый полигон для машины с автопилотом), так и виртуальным (карта, по которой ходит персонаж компьютерной игры). Состояние — описание окружения в момент времени, понятное компьютеру. Агент — сущность, выполняющая действия в окружении. Например, программа, робот или нейросеть. Наконец, награда – это сигнал от окружения, который оценивает эффективность действий агента.

Меняя состояние окружения с помощью различных действий, агент получает награду, анализирует результаты своих действий и обновляет стратегию, чтобы улучшить будущие результаты. Это похоже на то, как шахматист продумывает свой следующий шаг, основываясь на ходах соперника и текущем состоянии доски. Уникальность такого подхода в том, что агент не просто учится на основе данных: он сам формирует их в процессе взаимодействия со средой.

Подробнее о пяти шагах в процессе обучения и о том, какой прорыв совершила программа AlphaGo благодаря RL, узнаете из полной версии статьи.

Время чтения: 8 минут.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

25 мая 2024 10:34

Берестяные грамоты от раскопа до компьютера

На этой неделе отмечается День славянской письменности и культуры — и это хороший повод перечитать наш материал об исследованиях берестяных грамотах и их цифровом сохранении.

Берестяные грамоты — важнейший источник живого древнерусского языка (а точнее, новгородского диалекта). Из берестяных грамот мы узнали множество слов, которых нет в других древнерусских источниках. Вспоминаем эти слова — и их исследователей.

Кратко: о чем статья?

Сейчас кажется естественным, что люди из разных городов России легко понимают друг друга, даже если кто-то выходит из подъезда, а кто-то — из парадной. Но в IX-XI вв. ситуация была иной. Благодаря берестяным грамотам ученые узнали и смогли хорошо изучить древненовгородский диалект. Этот язык заметно отличался от того варианта древнерусского языка, на котором говорили в Суздале, Москве или Киеве.

Древнерусский язык берестяных грамот — живой язык, на нем обсуждались совершенно обычные бытовые и интимные вопросы: покупки, продажи, хозяйство, любовные связи… Грамоты открыли нам множество слов, которых нет в других древнерусских источниках. Например, гречьскыи бобъ означает фасоль, а исполовница — корова, взятую на время по договору. Есть в грамотах и обидные слова, вроде недума (пустомеля), и ругательства, например, знаменитое уже аесова (буквально — сователь яйца).

Одним из известнейших исследователей грамот и древненовгородского диалекта был знаменитый лингвист А.А. Зализняк. Именно Зализняк обратил внимание на отличие говоров Новгорода и Пскова от остальных, что привело к пересмотру сложившейся схемы диалектов Древней Руси. До самой своей смерти Зализняк каждый год читал лекцию о вновь найденных грамотах — и эта лекция становилась «филологическим праздником урожая», неизменно собирая переполненный зал.

Главный цифровой ресурс, посвященный берестяным грамотам, — сайт «Древнерусские берестяные грамоты». Его база данных включает фотографии берестяных грамот, их прориси, древнерусские тексты, переводы на современный русский язык и основную информацию о документах.

Посмотреть на отсканированные берестяные грамоты, а также подробнее узнать о том, как формировался современный русский язык и какой вклад в исследование этого процесса внес А.А. Зализняк, можно в полной версии статьи

Время чтения: 7 минут
«Системный Блокъ» @sysblok

Системный Блокъ

21 мая 2024 15:02

На последнем дыхании: туберкулез в России в цифрах и фактах 

Цифровые методы помогают «Системному Блоку» изучать не только гуманитарные науки, но и социально значимые проблемы. Одна из них – заболеваемость туберкулезом. Самая литературная болезнь по-прежнему распространена в России. Рассказываем о её причинах и о том, почему пациенты с туберкулезом до сих пор остаются стигматизированными.

Кратко: о чем статья?

Согласно данным Росстата, с 2010 по 2022 год заболеваемость туберкулёзом снизилась в разных возрастных группах и разных регионах России. Но есть и менее приятные новости: главный способ профилактики заболевания – вакцина, а в последнее время количество невакцинированных детей увеличивается, о чём прямо говорится в отчётах институтов Минздрава.

При этом риску заражения и развития туберкулёза подвержены прежде всего люди, живущие в неблагополучных социально-экономических условиях: с ограниченным доступом к качественному питанию, жилью и медицинской помощи. Главные факторы, влияющие на статистику болезни в разных регионах, мы собрали в инфографике.
Как рассказала «Системному Блоку» Ирина Васильева, главный фтизиатр Минздрава России, заболевание не только сопровождается тяжелыми симптомами, но и негативно отражается и на отношениях пациента с социумом. Поскольку «специфика туберкулеза и его лечения заключается в длительном отрыве от семьи и привычной профессиональной деятельности», пациенты становятся несдержанными, склонными к конфликтам, либо заторможенными, чрезвычайно ранимыми, робкими и застенчивыми. 

Узнать больше о статистике, связанной с заболеванием, и о том, как уберечь себя и своих близких от заражения можно из полной версии статьи.

Время чтения: 15,5 минут.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

19 мая 2024 09:57

Инфографика для анализа текстов: Voyant Tools

На сайте “Системного Блока” вышел гайд в двух частях (I, II) о том, как пользоваться онлайн-анализатором текстов Voyant Tools. Рассказываем об основных функциях инструмента и о том, зачем они нужны.

Во-первых, Voyant Tools умеет подсчитывать частотности слов в корпусе текстов. Причем предлоги, артикли и прочие “вспомогательные” единицы, которых в текстах обычно особенно много,  программа позволяет исключить, загрузив список стоп-слов. Тогда останутся только значимые слова. Их можно изучать дальше — например, построить график их встречаемости и узнать, менялась ли частота употребления ключевых слов на протяжении произведения или целого периода творчества писателя.

Еще один полезный инструмент в составе Voyant Tools — поиск коллокаций (это слова, которые чаще всего встречаются рядом с заданным). По контексту, в котором употребляются ключевые слова, можно сделать более глубокие выводы о темах произведения. По корпусу Достоевского, например, можно определить, что в его прозе Россия обычно рассматривается вне контекста внешней политики, в отличие от его публицистики.

Главная черта Voyant Tools — очень много возможностей визуализации полученных данных. Доступны не только разные виды графиков — но и облако частотных слов, мандала и даже карта перемещений персонажей (она, впрочем, без дополнительных настроек работает неточно).

Более подробно о том, как работать с программой, читайте в первой и второй частях гайда. А пока предлагаем квиз: как думаете, кто встречается в художественных произведениях Достоевского чаще всего — старик, ребенок или женщина? Все эти слова входят в список ключевых для творчества писателя, но некоторые до недавних пор не отмечались исследователями. Голосуйте в опросе, вечером опубликуем ответ!

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

17 мая 2024 18:52

Тест: с какими героями «Войны и мира» вы говорите на одном языке?

Наташа или Андрей Болконский? Пройдите тест и узнайте, с кем из героев «Войны и мира» вы могли бы делиться последними новостями или обсуждать знакомых.

Персонажи романа Л. Н. Толстого «Война и мир» обладают разными «голосами». Цифровые методы анализа стиля текста позволяют сравнить между собой речевые портреты героев и узнать, какие из них говорят похоже друг на друга. Попробуйте и вы найти себе собеседника среди персонажей Л. Н. Толстого.

😎 «Системный Блокъ» @sysblok

Системный Блокъ

15 мая 2024 15:03

Дневники, письма, конспекты: что такое эго-документ?

Историю можно изучать и по письмам, дневникам и записным книжкам. «Системный Блокъ» рассказывает об эго-документах (частных источниках) и связанных с ними цифровых исследованиях.

Кратко: о чем статья?

Эго-документ (от лат. ego — «я») — это источник личного происхождения, который создан конкретным человеком и обращен к самому себе или узкому кругу читателей. К эго-текстам относят, например, дневники, мемуары, открытки, даже конспекты.
Хотя содержание эго-документов часто не соответствует реальности (они субъективны, могут содержать ошибки), такие источники — все равно ценный материал. Например, эго-тексты отражают отношение простых людей к происходившему; в них раньше, чем в литературе, может быть зафиксировано жаргонное слово. Поэтому эго-документы изучают не только историки, но и культурологи, филологи.

К наборам текстов одного жанра можно применить количественные методы «дальнего чтения», которое подразумевает выделение общих закономерностей для сотен и тысяч текстов. Так, на основе цифрового архива эго-документов «Прожито» был разработан датасет «Размечено», создатели которого выделили внутри дневниковых записей именованные сущности (имена людей, названия организаций, топонимы и т.п.).

Кроме того, к текстам можно применять методы тематического моделирования. Например, исследование дневников 1917 года, выполненное «Системным Блоком», показало, что записи на тему революции включали рассуждения о хлебе, рубле, Распутине и поездах. 

Более подробно о ценности эго-текстов и цифровых исследованиях о них, читайте в полной версии статьи.

Время чтения: 5 минут.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

13 мая 2024 20:03

Точные методы в лингвистике: подборка памяти Ю. Д. Апресяна

В Москве на 95-м году жизни скончался лингвист Ю. Д. Апресян — основатель Московской семантической школы, соавтор множества словарей, один из первых исследователей машинного перевода. Мы решили почтить память Ю. Д. Апресяна подборкой статей о прошлом и настоящем машинного перевода и точных методов в лингвистике.

Машинный перевод: как он появился и как работает

Впервые идея использовать компьютер для перевода текстов с одного естественного языка на другой была предложена ещё в 1949 году. От короткого набора правил до продвинутых нейросетей: 70 лет истории развития машинного перевода за 15 минут.

Что такое кросс-языковая морфология и зачем она нужна

Машинный перевод и другая компьютерно-лингвистическая магия работают тогда, когда есть много данных для обучения нейросетей. Но что делать, если язык редкий и данных почти нет? Тут может помочь перенос на малоресурсный язык лингвистических моделей, построенных на данных большого родственного языка. Рассказываем про построение кросс-языковых NLP-моделей. 

Зачем нужен Национальный корпус русского языка 

Зачем нужен НКРЯ? В статье рассказано о самых разных исследованиях на основе корпуса: от сложностей перевода на другой язык культурных реалий на примере книг Набокова до возникновения фразы «ибо нефиг» и особенностей применения частного и местного падежей в современном языке. 

От древнерусского до корпуса блогов: как изменился Национальный корпус русского языка после редизайна 

В этом году Национальному корпусу исполнилось 20 лет. Все эти годы НКРЯ менялся не только внешне, но и внутренне: добавлялись новые функции и новые подкорпусы. Сейчас с помощью НКРЯ можно изучать детскую литературу, блоги, берестяные грамоты и многое другое, анализировать статистику употребления слов и коллокаций, строить графики и искать похожие слова. 

Как лингвистика стала близкой подругой математики и информатики?

Лингвистика привлекла внимание математиков и инженеров после Второй мировой войны. Этому способствовали достижения структурной лингвистики начала XX века (Фердинанд де Соссюр и его последователи), но ещё больше — появление первых компьютеров и холодная война. Заинтересованные идеей научить компьютер переводить текст и понимать его, кибернетики начали создавать формальные модели языка для компьютеров. В их работах заложена база для стохастических методов, которые играют ведущую роль в современной прикладной обработке языка. Рассказываем, как в середине XX века соединились лингвистика, математика и информатика.

Достигла ли своих целей разработка искусственного интеллекта?

В 1972 году (как раз когда Ю. Д. Апресян во второй раз вплотную занялся машинным переводом) учёные составили список из двенадцати задач, которые нужно решить для создания искусственного интеллекта в ближайшие десятилетия. В список входили автоматический перевод, самоуправляемые автомобили и даже автономные роботы-планетоходы. Мы попробовали оценить, что сделано, а что ещё нет.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

12 мая 2024 11:02

«Объясните так, чтобы понял пятиклассник» — как узнать, насколько легко читать текст? Рассказываем о сервисе «Текстометр»

Исследовательница Антонина Лапошина из Института Пушкина разработала онлайн-инструмент для оценки сложности текстов на русском языке: «Текстометр» стал доступен пользователям в 2021 году.

Сайт позволяет вставить в него текст и затем выставляет балл по уровню сложности чтения. Доступно два режима оценивания: для носителей русского языка и для изучающих русский как иностранный. Шкала сложности для каждого режима своя: для носителей сайт показывает минимальный возраст или курс вуза предполагаемых читателей, а для иностранцев выдает уровень от А1 до С2 по международной шкале CEFR. Также «Текстометр» отображает некоторые метрики текста: например, списки частотных и устаревших слов.

Сервис не просто обобщает уже известные методики анализа читаемости: автор «Текстометра» провела собственные эксперименты и улучшила алгоритм оценки. Об одном из исследований мы уже рассказывали: пользователей сайта Пушкинского университета просили сравнивать по сложности тексты из учебников русского как иностранного. Благодаря ответам удалось уточнить классификацию этих текстов по уровню сложности.

В другом исследовании участвовали дети: с помощью айтрекинга лингвисты оценивали, что влияет на скорость восприятия текста маленькими читателями. В результате самым важным параметром оказалась частотность встречающихся слов — в то время как в классических формулах оценки читаемости учитываются другие признаки, в частности, длина предложений и слов.

Подробнее о способах анализа сложности текста вы можете прочитать в нашей статье. А сейчас предлагаем читателям попробовать себя в роли программы-анализатора: как вы думаете, что сложнее читать — «Котлован» Андрея Платонова или «Школу для дураков» Саши Соколова? Можете ответить интуитивно или посмотреть фрагменты романов в комментариях.

Отмечайте в опросе ниже, а вечером мы опубликуем вердикт «Текстометра»!

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

09 мая 2024 16:45

Тест: угадайте город с почтовой открытки

Отличите ли вы Псков от Варшавы, а Вильнюс — от Самары? Узнаете ли город по фотографии начала века? Пройдите новый тест и отгадайте, где были сделаны фотографии достопримечательностей и пейзажей.

В этом тесте мы продолжаем исследовать цифровой корпус почтовых открыток проекта «Пишу тебе», в котором собрано более 45000 расшифрованных текстов открыток.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

07 мая 2024 11:02

Подборка каналов о современном образовании от издания «Системный Блокъ»

Даже если вы уже окончили школу и получили профессиональное образование, вам все равно придется учиться. Непрерывное обучение — это не просто тренд, а новая норма в мире активного развития цифровых технологий и постоянных социальных изменений. Как учатся современные люди? Что такое EdTech? Чем занимаются педагогические дизайнеры? Системный Блокъ сделал для вас подборку каналов о современном образовании.

— @ru_education — Образование, которое мы заслужили
Канал для тех, кто хочет быстро погрузиться в EdTech во всем его разнообразии. Здесь вы найдете новости, обзоры кейсов, а также размышления автора — Михаила Свердлова.

— @LXD_education — д*ИИ*зайн Образования
Канал посвящен педагогическим инновациям — в первую очередь цифровым. Автор канала Андрей Комиссаров рассказывает о своем опыте разработки образовательных инструментов для педагогов и учеников на основе искусственного интеллекта. А ещё здесь обсуждаются этичность использования геймификации, идеи для школьных проектов на основе поиска и визуализации данных и разные инструменты педагогического дизайна.

— @edunetflix — Netflix в сфере образования
Как выглядит современное обучение? Как сделать его эффективным? И как доказать эту эффективность бизнесу? EdTech-продакт Григорий Волчков делится наблюдениями в работе, быту и видеоиграх. Рассказывает о современных образовательных приложениях и приглашает учителей и методистов также делиться своим опытом на канале.

— @elearningskills — Царёва в Курсе
Канал Анны Царёвой для методистов, методологов, педагогических дизайнеров, дизайнеров образовательного опыта и всех, кто занимается созданием обучения. Здесь собраны профессиональные гайды, схемы, а в рубрике «Спросите методиста» автор канала отвечает на вопросы подписчиков. Какие навыки необходимы методисту, чтобы быть востребованным? Как активизировать учебный чат? Чем обусловлена любовь педагогов к излишней академичности?

— @kaktomogu — Учусь как умею
Заметки о том, как учатся взрослые люди. Автор канала Лина Адамаускене изучает философию познания и помогает взрослым осваивать новые профессии. Пишет о трудностях, с которыми сталкиваются ученики, и высказывает критику современному миру, где постоянное обучение и переобучение стало необходимым. Как возвращаться в учебу после долгого молчания? Что делать, если в середине долгосрочного обучения надоело учиться? Если вам знакомы синдром самозванца и боязнь белого листа, если бывает трудно понять новый материал — загляните в этот канал.

— @sonyaaboutcam — over the river cam
Блог Сони Смысловой об образовании, а также о философии, политике, социологии применительно к обучению. Автор рассказывает о прочитанных книгах, о своем опыте обучения в Кембридже и делится интересными находками. Например, исследованием вопроса «почему студенты не вовлекаются в онлайн-обучение?» или статьей, в которой анализируются компетенции, необходимые для дизайнера педагогического опыта.

— @sysblok — Системный Блокъ
Ваш виртуальный краш, проводник по миру цифровых технологий в образовании, искусстве и гуманитарных науках. Как использовать цифровые архивы и базы данных по истории для школьных проектов? Как дети учатся читать и что об этом говорит наука? Как цифровые технологии помогают преодолеть гендерное неравенство в образовании? В постах Системного Блока вы найдете обзоры исследований и практические советы для преподавателей.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

04 мая 2024 10:01

170 лет школьной программы: проект «Список чтения»

Цель проекта «Список чтения» — представить состав школьной программы по литературе на протяжении 170 лет и проследить, как он менялся. «Системный Блокъ» рассказывает о проекте Высшей школы экономики, который будет партнером на мастерской Дата-журналистики на «Летней Школе».

Что такое «Список чтения»?

Созданная в 2023 году интерактивная карта — результат исследования учебных программ по литературе с 1852 по 2023 год. Идея проекта — показать содержание школьной программы по литературе в детализированном и понятном формате. Авторы использовали два датасета, размещенных в электронном репозитории ИРЛИ РАН, а также некоторые данные собирали и подготавливали самостоятельно.

Что мы узнали из «Списка чтения»?

Сайт проекта состоит из двух разделов. В разделе «Таймлайн» находится график, отражающий количество изучаемых авторов и произведений в течение каждого года. Например, в 1870-х изучались всего 14 авторов и 40 произведений, а в 1920-х — уже 54 автора и 183 произведения. В разделе «Топы» собраны авторы и книги-долгожители, а также писатели с наибольшим количеством произведений. Например, «Евгений Онегин» Пушкина изучался практически на всем протяжении исследуемого периода, а татарского писателя К. Наджми проходили лишь в 1932 году.

Что дальше?

В «Списке чтения» представлены три среза: исторический, литературоведческий и социологический. Проект помогает понять, как складывается канон (устойчивый набор текстов), и изучить влияние школьного материала на социокультурную атмосферу конкретного исторического периода. Одно из возможных направлений исследования — соотнесение программыс историческими реалиями, с задачами, которые стоят или стояли перед образованием в соответствующую эпоху. 

Более подробно об устройстве проекта, его ограничениях и будущих улучшениях читайте в полной версии статьи и на сайте «Списка чтения».

Время чтения: 9 минут.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

01 мая 2024 20:17

Тест: Угадайте русского классика по одному слову!

Продолжаем праздновать День рождения НКРЯ! В честь него подготовили для вас тест по словам, по которым можно узнать русских писателей. 

Словари языка писателей существовали и до цифровой эпохи. Например, «Словарь языка Пушкина» создавался почти век и собирался вручную. А он насчитывает 20 тысяч слов! Сегодня на смену таким словарям пришли корпуса писателей, в первую очередь — в составе НКРЯ. 

Филолог Борис Орехов использовал НКРЯ и метод извлечения ключевых слов TF-IDF  для изучения русской литературы XIX века. Если тоже хотите узнать или вспомнить уникальные слова в произведениях русских писателей, проходите тест и проверьте, в чьих текстах раздавалось «хохотание»‎ и происходило «требоисправление»‎. 

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

26 апреля 2024 17:29

«Системный Блокъ» запускает мастерскую Дата-журналистики на «Летней Школе»!

Вы тоже любите данные, полевую кухню, сосны и исследования? В июле-августе «Летняя школа» на Волге открывает свой 21-й сезон. В этом году в ее программе и мастерская «Системного Блока».

Что такое дата-журналистика?

Данные (data) — это просто сырые сведения, зафиксированные на каком-то носителе. Например, статистика потребления воды в квартирах в течение суток. Сырые данные мало что значат для человека. Чтобы приобрести смысл, данные должны быть обработаны, обобщены и проинтерпретированы. Например, ежемесячная устойчивая корреляция потребления воды и просмотра вечерних телепрограмм по телевизору может дать нам какое-то новое знание. Обработанные данные, отвечающие на какой-то поставленный вопрос, — это уже информация. Дата-журналист работает с «датой» (данными) как с исходным материалом. Задача журналиста — как раз преобразование данных в информацию, доступную всем людям. Мы писали об этом с примерами.

🎓Для кого наша мастерская?

Мы ждем журналистов, дата-журналистов, студентов и выпускников медийных и других гуманитарных специальностей, а также программистов, аналитиков данных и визуализаторов, готовых попробовать себя в новой сфере.

✍🏼 Что будем делать?

Сначала учиться, а потом применять знания на практике. Программа состоит из образовательной и проектной части.

В программе участники нашей мастерской узнают, каким данным можно верить и какими источниками пользоваться, как сделать материал интересным, какие бывают виды графиков и как визуализировать данные?

В проектной части вас ждет хакатон. Мы сформируем из участников 10 редакций, которые пройдут полный цикл создания медиаматериала на базе подготовленных датасетов. Каждая команда завершит мастерскую с публикацией своего исследования в “Системном Блоке” или у наших партнеров.

🧑🏻‍💻 Кто делает мастерскую?

Нашими партнерами будут платформа «Если быть точным» @tochno_st, фокусирующаяся на социальных проблемах в России, и «Лаборатория университетской прозрачности» @uni_loup, исследующая качество образования и политику вузов. Образовательный партнер нашей мастерской — центр научной коммуникаций ИТМО @scicomm.

Нашими лекторами будут Ксюша Тихомирова — куратор дата-отдела «Системного Блока», Надя Андрианова — дизайнер в группе исследований Яндекса и дата-артист, Ксюша Орлова — дата специалистка в АНО Инфокультура, Настя Кокоурова — главный редактор «Если быть точным», Ксюша Бабихина — аналитик в проекте «Если быть точным», Илья Воронцов — исследователь, преподаватель, научный сотрудник института Общей генетики РАН

📍Когда и где?

Даты проведения: с 21 июля по 5 августа 2024 года на Волге недалеко от Дубны.

❗️Как к вам попасть?

Подать заявку на участие можно на странице нашей мастерской до 20 мая. Обучение бесплатное, на питание и проживание участников «Летняя школа» собирает добровольные взносы (рекомендованная сумма от 800 рублей в день с человека). Более подробно вы можете прочитать в FAQ.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

23 апреля 2024 19:45

Llama 3: новое поколение одной из самых популярных языковых моделей от Meta*

18 апреля компания Meta выпустила третью версию языковой модели Llama. Модель доступна в двух размерах – 8 и 70 миллиардов параметров. Максимальная длина текста, который модели Llama 3 могут обработать за раз, составляет 8192 токенов  (токен – часть слова или целое слово). Это на порядки меньше, чем могут обработать GPT-4 (128 тысяч токенов), Gemini (один миллион токенов) и многие другие современные модели.

Обе версии доступны для коммерческого использования. Однако если у компании больше 700 миллионов активных пользователей в месяц и она хочет использовать Llama 3, она вынуждена запросить разрешение на использование у Meta.

Меньшая модель была обучена на выборке с 15-ю триллионами токенов: для сравнения, Llama 2 обучали на выборке в 7.5 раз меньше. За счёт этого в ряде основных тестов модель превосходит все доступные модели близкого размера, включая Mistral (модель французского стартапа, который основан бывшими сотрудниками Meta, участвовавшими в создании первой версии Llama) и Gemma от Google.

Версия Llama 3 с 70-ю миллиардами параметров в большинстве тестов по качеству лучше Google Gemini и Cohere Claude Sonnet, одних из лидирующих коммерческих моделей на данный момент.

По многочисленным оценкам пользователей платформы LMSYS, где каждый желающий может сравнить ответы двух разных моделей, Llama 3 на английском языке уступает лишь GPT-4, текущему лидеру рейтинга.

Также в процессе обучения Llama 3 с 400 миллиардами параметров. Её релиз состоится позже, однако уже сейчас по метрикам она сравнима с GPT-4.

*Компания Meta признана экстремистской в России, ее деятельность запрещена

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

19 апреля 2024 17:32

Архивы, сети и шифры в дневниках и письмах: цифровые исследования эго-документов

Изучение дневников и писем — это возможность услышать голоса людей из прошлого и понять, как они жили и воспринимали мир вокруг. В новой подборке мы рассказываем, как цифровые методы помогают сохранять, исследовать и публиковать исторические эго-документы.

📚 Как устроена оцифровка дневников: Интервью с основателем «Прожито»

В цифровом архиве «Прожито» более 640 тысяч дневниковых записей с середины XVIII века и почти до наших дней. Из интервью с Михаилом Мельниченко, директором проекта, узнаете о том, как создавался корпус дневников, кто и почему помогает исследователям оцифровывать документы и как люди находят друг друга через сайт проекта. А еще откуда в дневнике знаменитой поэтессы Ольги Берггольц дырка посередине.

📖 «Впереди сущий сахарный голод»: что говорит о дневниках 1917 года анализ данных

Мы исследовали дневники, собранные проектом «1917. Свободная история», количественными методами. Благодаря тематическому моделированию мы поняли, что переживания очевидцев революции не ограничивались восстаниями и другими политическими событиями: например, их по-прежнему волновало искусство. О ключевых словах, которыми писали о войне и культуре, а также о том, чьи дневники вошли в изученный корпус узнаете из этого поста.

💌 Chekhov Digital: как Чехов писал письма жене и куда течет время в его текстах

К эго-документам относятся не только дневники, но и письма. Благодаря проекту Chekhov Digital мы изучили письма Чехова с 1899 по 1904 годы и выяснили, что многие из них стилистически похожи на эпистолярные рассказы (спойлер: кроме писем жене). А ещё – что время у Чехова представлено в трёх вариантах. О них и о других выводах узнаете здесь.

А если хотите научиться самостоятельно использовать цифровые инструменты для анализа дневников или узнать о коммуникации европейских ученых XVI – XVIII веков и шифрах Марии Стюарт, переходите к полной версии подборки. Там вас ждут ещё три материала!

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

28 мая 2024 17:03

Google встраивает языковую модель в поиск, Скарлетт Йоханссон обвиняет OpenAI, исследователи стали лучше понимать и контролировать ИИ

Рассказываем, что произошло в мире ИИ за прошедшие две недели.

Google теперь генерирует ответы на запросы пользователей

На недавно прошедшей конференции для разработчиков Google I/O корпорация анонсировала обновления своих генеративных моделей, а также новые функции поисковика, использующие языковую модель Gemini. Одно из ключевых нововведений – генерация ответа на поисковый запрос с использованием информации с разных сайтов. Эта функция уже доступна американским пользователям. По сообщениям многих из них, Google часто галлюцинирует или, другими словами, генерирует фактологически неверные ответы. Например, на вопрос пользователя «Как сделать так, чтобы сыр не сползал с пиццы?» поисковик предлагает использовать клей. Подобные ошибки возникают из-за недостоверной информации на некоторых сайтах и несовершенства языковых моделей. Про галлюцинации и механизм генерации, дополненной поиском, мы рассказывали в нашей статье про RAG (Retrieval Augmented Generation).

Скандал вокруг голоса GPT-4o

Голливудская актриса Скарлетт Йоханссон обвинила OpenAI в использовании её голоса для озвучки GPT-4o без её согласия. По заявлениям актрисы, в прошлом сентябре CEO OpenAI, Сэм Альтман, предложил ей озвучить голосового ассистента компании, однако она отказалась. После презентации GPT-4o многие пользователи в интернете отметили сходство голоса ассистента Sky (помимо него пользователь может также выбрать другие голоса) и актрисы. Более того, сам Альтман опубликовал твит с текстом «Her», названием фильма про интеллектуальную систему, озвученную Скарлетт Йоханссон. Также актриса утверждает, что CEO OpenAI повторно связывался с ней за два дня до презентации новой модели, чтобы выяснить, не пересмотрела ли она своё решение касательно сотрудничества. Однако к тому моменту, когда представители актрисы ответили, модель была уже анонсирована. После обращения юристов OpenAI согласилась убрать этот вариант озвучки.

Новое исследование интерпретируемости нейронных сетей

Компания Anthropic, основанная бывшими сотрудниками OpenAI, выпустила новое исследование, в котором авторы анализируют механизмы работы языковой модели Claude 3 Sonnet.

Суть метода, который используют авторы, заключается в выявлении набора признаков, которыми «оперирует» модель. Под признаком понимается численное (понятное компьютеру) представление какой-то концепции либо информации. Например: сведения об известных людях и достопримечательностях, лингвистические концепции, эмоции и т.д. Однако зачастую признаки представляют сразу несколько концептов или хранят информацию о совершенно разных объектах. Такая многозначность сильно усложняет задачу интерпретации нейросети и её контроля.

Главное достижение исследователей Anthropic – разработка метода, который позволяет выявлять только однозначные признаки, то есть признаки, которые не могут представлять несколько концепций одновременно. В своей статье авторы смогли идентифицировать большой и разнообразный набор однозначных признаков в языковой модели, сопоставимой по качеству и размеру с GPT-4. Также они показали, как можно управлять поведением модели, имея информацию о её признаках. В качестве демонстрации Anthropic на день дала пользователям доступ к своей языковой модели, которую с помощью разработанного метода заставили думать, что она является мостом «Золотые ворота». Модель всё так же, как и раньше, была способна отвечать на произвольные запросы пользователей, однако во всех ответах вставляла различную информацию о мосте.

Интерпретируемость нейронных сетей – одна из главных задач, решение которой позволит сделать ИИ более надёжным, безопасным и применимым в задачах, где важна обоснованность и прозрачность решений (например, в медицинских задачах).  

В ближайшее время «Системный Блокъ» мы выпустит подробный разбор работ Anthropic по этой теме.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

22 мая 2024 17:04

Эволюция литературы: может ли Дарвин объяснить Конан Дойла и футуризм

Сегодня 165 лет Артуру Конан Дойлу — автору детективов про Шерлока Холмса и одному из создателей жанра. Помимо прочего, детективы Конан Дойля интересны тем, что они стали невероятно успешными на фоне огромного числа конкурентов, тоже писавших детективные истории. О поиске причин этого успеха формальными методами, вдохновлёнными биологией, читайте в нашей статье.

Кратко: о чем статья?

Филологи чаще всего обращаются к одному из двух эволюционных подходов для описания процессов, происходящих в истории литературы: 
подход русских формалистов и дарвинистский подход социолога литературы Франко Моретти.

Формалисты предлагали смотреть на литературу как на поле со своими «центром» и «периферией», где  то, что еще вчера казалось читателю маргинальным, сегодня смещает то, что было доминирующим в литературном процессе. Моретти же сравнивал процесс эволюции литературы с бойней, где мясниками оказываются «сами читатели, которые читают роман» и так поддерживают его жизнь в следующих поколениях. 

В такой «бойне» выжили и рассказы о Шерлоке Холмсе. От детективов, которые читатели благополучно забыли, их отличало наличие улик, на основании которых читатели смогли самостоятельно прийти к разгадке. Правда, от одного дарвиновского принципа natura non facit saltus. (лат. — «природа не делает скачков») Моретти отказался и заявил, что литература, напротив,  меняется только через скачки. «Скачок — Конан Дойл. Еще прыжок — Кристи».

Подробнее об этих скачках и экспериментах, на которых основывается Моретти, узнаете из полного текста статьи.

Время чтения: 11 минут.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

19 мая 2024 18:03

Правильный ответ на опрос про Достоевского — чаще других в его художественных текстах упоминается ребенок! Слово встречается 1033 раза, тогда как старик — 886 раз, а женщина — всего 811.

При этом слово женщина исследователи обозначили как один из ключевых концептов для творчества писателя — а вот слова старик и ребенок в число концептов включены не были, хотя и встречаются чаще.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

18 мая 2024 18:32

Machine Learning на службе биоразнообразия

Машинное обучение сегодня применяется для моделирования и предсказания в биологии. «Системный Блокъ» рассказывает, как технологии помогают оценивать ареалы живых существ и прогнозировать изменения окружающей среды.

Кратко: о чем статья?

Сегодня биология генерирует огромное количество big data, поэтому современный биолог, эколог или биогеограф должен быть ещё и дата-сайентистом: владеть анализом данных, использовать машинное обучение и знать основы статистики, чтобы отделять значимое от незначимого.

Пример использования Machine Learning в биологии — моделирование пространственного распространения видов, или SDM (species distribution models). SDM основано на понятии экологической ниши — области важных экологических факторов, которая соответствует пригодным для вида местообитаниям.

Для моделирования ареала вида потребуются два набора данных: локалитеты (места фактического нахождения вида, где его ранее удалось заметить) и предикторы (переменные, описывающие условия окружающей среды, например, климат, рельеф, антропогенные факторы). Обучение модели включает стандартные шаги ML, а результат SDM — карта, которая показывает пригодность местообитания для вида по шкале от 0 до 1.

У подхода SDM есть и уязвимая сторона: он не использует ансамблевые предсказания. В ансамблевых методах разные модели работают сообща, чтобы минимизировать погрешности друг друга, что повышает точность. В SDM этот подход не внедрен.

Более подробно о процессе обучения SDM, а также зачем еще ее можно использовать, читайте в полной версии статьи.

Время чтения: 10 минут.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

16 мая 2024 18:04

«Меня интересует знать, а не уметь»: Игорь Мельчук о нетрадиционной лингвистике, машинном переводе и влиянии репрессий на науку

«Системный Блокъ» поговорил с легендой российской лингвистики и заслуженным профессором Монреальского университета Игорем Мельчуком о машинном переводе в СССР, нейропсихологии и главной научной задаче лингвистики. А еще — об эмиграции, жизни в Канаде и роли, которую сыграли репрессии в отечественной науке.

Кратко: о чем интервью?

То, чем занимается Игорь Мельчук, он сам называет нетрадиционной лингвистикой, «просто лингвистикой», чья задача — описать язык. С этим тесно связана главная цель ученого: создание такой понятийной системы, которая была бы близка к понятийной системе математики. Создание универсального научного языка лингвистики. Важнейшее достижение Мельчука — лингвистическая модель «Смысл ↔ Текст», которая, по его словам, даёт лингвистике всё, поскольку прежде всего язык – это способ выражения мысли.

Свой путь Игорь Мельчук начал на факультете филологии в МГУ, сейчас он — заслуженный профессор Монреальского университета на пенсии. А между этими фактами — жизнь, полная научных поисков, открытий, смен траектории, мест работы и мест жительства. Так, в начале 1950-х Мельчук был вовлеченн в создание первых алгоритмов машинного перевода в СССР, для того времени — чего-то фантастического и абсурдного.

Кроме нетрадиционной лингвистики, Мельчук пробовал заниматься и (теперь уже вполне традиционной) нейролингвистикой. Он считает, что нейронаучные проникновения в реальный мозг помогут создать настоящую модель языка. Если бы он не уехал из России, то, может быть, занимался бы этой областью дальше. С 1976 года Мельчук живет в Канаде, и хотя он не обрел там второй родины, считает свою эмиграцию спасением жизни и свободы.

Более подробно о создании первой в СССР системе машинного перевода, о том, как влияли сталинские репрессии на лингвистику, и что такое марризм, узнаете из полной версии интервью.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

14 мая 2024 13:02

GPT-4o научилась смеяться и петь, LSTM-нейросети наносят ответный удар, ChatGPT встроят в iPhone: дайджест ИИ-новостей  

OpenAI выпустила новую версию GPT-4. Apple и OpenAI завершают сделку о сотрудничестве. Авторы архитектуры LSTM выпустили её обновление, которое не хуже Transformer. Google DeepMind анонсировала AlphaFold 3 – нейросеть, способную моделировать широкий спектр биомолекул. Рассказываем, что произошло в мире ИИ за прошедшие две недели.

GPT-4o – новая мультимодальная модель от OpenAI

Компания OpenAI анонсировала обновление GPT. Обновление назвали GPT-4o («o» от слова «Omni» — всё в одном). GPT-4o может принимать на вход и выдавать в качестве ответа текст, изображения и аудио – ранее для этого использовались разные модели. По основным тестам модель сопоставима с GPT-4 на английском языке и превосходит её на других языках (в том числе и на русском). Модель также лучше пишет код.

Одно из главных нововведений GPT-4o – способность выражать эмоции в разговоре через интонацию и смех. Модель может изображать удивление, любопытство, сарказм, петь и шептать.
Также сократилось время ожидания ответа в устном диалоге – теперь модель отвечает в среднем через 0.3 секунды после реплики пользователя. Примеры диалогов можно посмотреть на OpenAI">ютуб канале OpenAI. 

GPT-4o уже доступна разработчикам через API, причем дешевле, чем GPT-4. Рядовые пользователи могут бесплатно использовать GPT-4o через сайт ChatGPT, однако аудио функции появятся позже и только у пользователей с подпиской.

Сотрудничество Apple и OpenAI

По данным Bloomberg, компания Apple и OpenAI (создательница ChatGPT) близки к завершению сделки, по условиям которой Apple сможет использовать наработки OpenAI в следующем обновлении iOS на iPhone. Предполагается, что Apple будет использовать ChatGPT и технологии для синтеза речи для улучшения своего голосового ассистента Siri. Презентация для разработчиков, на которой представят обновление iOS, состоится 10 июня.

Ранее в сети появлялись слухи, что Apple договаривается с Google об использовании их языковой модели Gemini, однако о статусе переговоров ничего неизвестно.

Обновление архитектуры LSTM

Опубликована статья xLSTM, в которой была представлена модификация нейросети LSTM (Long short-term memory). Эта архитектура показывала лучшие результаты в задаче языкового моделирования до выхода Transformer, на которой основаны все современные LLM.

Авторы статьи модернизировали LSTM, используя технические находки современных языковых моделей, обновили устройство ячейки памяти, а также увеличили количество параметров. Полученную архитектуру xLSTM сравнили с Llama (Transformer от Meta), Mamba, RWKV-4 (современные рекуррентные архитектуры) – практически во всех задачах xLSTM оказалась лидером.
xLSTM требует меньше вычислительных ресурсов во время работы и позволяет обрабатывать очень длинные тексты, но её обучение примерно в 4 раза медленнее Transformer. Однако авторы отмечают, что их реализация не оптимизирована, поэтому есть простор для улучшений.

AlphaFold 3 – нейросеть для моделирования биомолекул

Лаборатория Google DeepMind выпустила третье поколение нейросети AlphaFold. В отличие от AlphaFold 2, которая умеет моделировать структуру белков, новая версия способна моделировать РНК, ДНК и лиганды (тип химических соединений). Предсказания результатов взаимодействия разных соединений у AlphFold 3 на 50% точнее, чем предсказания существующих методов. Вместе с моделью выпустили Alpha Server – веб-сервис, который позволяет учёным использовать AlphaFold.

Первая версия AlphaFold произвела революцию в биологии, повысив качество предсказания структуры белка по последовательности аминокислот. Эта задача — одна из самых важных в биологии, так как структура белка задаёт его функцию.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

12 мая 2024 18:32

Правильный ответ на сегодняшний опрос — по оценке «Текстометра», «Котлован» Андрея Платонова оказался сложнее! Он получил 72 балла сложности из 100, а вот «Школа для дураков» заслужила 38.

Системный Блокъ

10 мая 2024 17:41

Безмолвные свидетели: как нечеловеческая ДНК помогает криминалистам

Помните, как в сериале BBC Шерлок Холмс по составу налипшей на кроссовки пыльцы выясняет, где жил их владелец? Это не фантазия сценариста, а научный метод геолокации, которому больше 55 лет. В нашем материале рассказываем, как по следам пыльцы раскрывают преступления, зачем криминалистам ДНК растений и можно ли по пыли на вашей двери определить, где вы живёте. 

 🌺 Почему пыльца?

Пыльца незаметна и крайне устойчива. Ни 20 миллионов лет, ни стирка с отбеливателем не избавят вашу одежду от её следов полностью: спорополленин, покрывающий пыльцевое зерно, — одна из самых химически стабильных органических субстанций, по которой можно выяснить регион происхождения образца. Это помогает отследить трафик наркотиков и ввоз санкционных товаров или доказать, что бабочка-репейница, которую вы встретили на побережье Испании, зимовала в Африке и побывала в Сахаре.

 🧬 А ДНК зачем?

Определить видовую принадлежность растения, глядя на пыльцу, не всегда возможно. К счастью, для этого есть секвенирование ДНК. Небольшой максимально информативный фрагмент генома образца (баркод) прицельно прочитывают, а затем сравнивают с известными баркодами из базы данных. Это, конечно, нужно не только криминалистам. С помощью такого метода идентифицируют патогены, находят новые виды, следят за биоразнообразием и состоянием экосистем, проверяют составы продуктов и растительных препаратов. Так что библиотеки баркодов собираются совместными усилиями разных специалистов.

 🔎 Можно ли верить таким показаниям?

В криминалистике эти методы пока применяются не очень активно, но предварительные исследования вдохновляют. Например, в Китае так опознали тело женщины, которая не числилась в местном списке пропавших. Криминалисты заглянули к ней в легкие, поскольку часть пыльцевых зёрен, попавших в дыхательные пути, остаётся в них навсегда. Поэтому человек, долгое время проживший в одном районе, оказывается «помечен» пыльцой окрестных растений. Этот метод сузил поиски до двух провинций — женщину удалось найти в списках пропавших в одной из них.

Подробнее об исследованиях пыльцы и ДНК, а также о том, как грязь с ботинок помогла раскрыть преступление в 1969 году, узнаете из полной версии статьи.

Время чтения: 15 минут.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

08 мая 2024 17:02

«Воскрешение» исторических личностей и лекция от суперзвезды: как использовать дипфейки в образовании

Эйнштейн объясняет старшеклассникам теорию относительности, Маяковский читает стихи у доски, а у педагогов остаётся время на саморазвитие. Как дипфейки могут сделать учебный процесс интереснее?

Кратко: о чем статья?

Дипфейк (англ. deepfake) — это технология создания реалистичных аудио, фото и видео на основе искусственного интеллекта. Сегодня она встречаются в рекламе и кино, но можно использовать её и в сфере образования.

Например, при разработке онлайн-курса. Преподавателю достаточно записать только первую лекцию, а остальную информацию, загруженную в программу, озвучит его цифровой двойник — дипфейк. Подобный эксперимент уже провели в СПбГУ.

Другой вариант использования – «подключение» к уроку исторических личностей. Как у издательства «Эксмо», которое в 2022 провело книжное шоу «Что читать дальше». В нём «Анна Ахматова», «Эдгар По» и «Михаил Булгаков» рассказали о книжных новинках сезона. 

Список нейросетей для создания дипфейков варьируется от бесплатных Zao и Doublicat до платных Deepfakes web β и Synthesia. Узнать об особенностях каждой из них и посмотреть на Арнольда Шварцнегера в роли «Системного Блока» можно на сайте.

Время чтения: 9 минут.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

06 мая 2024 14:32

От трех шагов к чтению до разговора о Большом терроре: подборка «Системного Блока» про образование

Многие блогеры «Системного Блока» преподают в школах или университетах, поэтому образование – одна из ключевых тем в их текстах. В этой подборке — четыре важных материала о теории и практике в обучении.

Как дети учатся читать

Если речь в детстве «приходит сама», то чтению ребенка нужно научить. В своем блоге Анастасия Лопухина рассказывала, как дети учатся читать и что знают об этом современные когнитивные науки. Например, в обучении чтению есть три шага: «взлом» орфографического кода, эффективное чтение отдельных слов и понимание текста. Подробнее о каждом из них узнаете из поста.

Как провести урок истории на основе цифрового архива «Прожито»

Дневники цифровой коллекции «Прожито» могут превратить урок в исследование локальной истории или событий мирового масштаба. Например, в коллекции дневников можно найти целых 223 записи 1945 года о бомбардировке Хиросимы и Нагасаки и изучить, как её восприняли в СССР. О других вариантах применения «Прожито» на уроке истории узнаете из блога Юлии Папановой.

Как увлечь школьников историей страны

Ещё один вариант разнообразить уроки — обратиться к электронным базам по истории. Юлия Папанова рассказала о таком методе на примере цифровых архивов ХМАО. Благодаря ним в рамках разговора о большом терроре можно изучить архивно-следственные дела семей. Изучая другие темы, угадывать, как раньше применялись предметы быта и культа из музейной коллекции.

Как работают цифровые гуманитарии

В DH-магистратуре в ИТМО люди учатся делать и проекты, и исследования, и совмещение этих двух подходов может многому научить. Цифровые гуманитарии умеют превращать культуру в коллекцию образцов, выставленных в музее, а науку — раскладывать на схемы, которые вытравят всё живое из открытий и сомнений. О том, с какими последствиями цифровизации работают студенты и как с этим связан «Пушкин Цифровой», можно узнать из материала на сайте.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

02 мая 2024 17:03

Две новых языковых модели и обучающая выборка в 15 триллионов токенов: дайджест новостей из мира ИИ

Компания Snowflake выпустила самую большую языковую модель, открытую для коммерческого использования. Разработчикам доступна новая обучающая выборка из 15 триллионов токенов. Microsoft представила новое поколение компактной модели Phi. Рассказываем, что произошло в мире ИИ на прошлой неделе.

Доступна обучающая выборка с 15 триллионами токенов

Опубликована новая выборка текстов для обучения языковых моделей — FineWeb. Она содержит отфильтрованные англоязычные тексты разных веб-сайтов и покрывает период с лета 2013 года до начала весны 2024 года. Мультиязычную версию обещают выложить в ближайшее время. Всего в выборке 15 триллионов токенов (это часть слова или слово). Для проверки качества данных на части выборки было обучено несколько языковых моделей. Их качество получилось выше, чем у тех, которые обучали на других известных наборах данных (C4, Pile, Dolma и другие).

Новая самая большая публичная LLM

Компания Snowflake выпустила языковую модель Arctic с 480 миллиардами параметров. Модель использует архитектуру Mixture of Experts. Иными словами, в процессе её работы задействована только часть всех параметров (какая именно — модель выбирает в зависимости от входных данных). В случае Artic используется всего лишь 3,5% параметров. По качеству она сопоставима с LLama 3 70B. На данный момент Arctic — самая большая модель, которую можно использовать в коммерческих целях без каких-либо ограничений.

Phi-3 — маленькая, но умная языковая модель

Компания Microsoft выпустила третье поколение своих компактных языковых моделей Phi. Модель Phi-3 выделяется относительно небольшим размером: 3,8 миллиарда параметров (для сравнения самая большая на текущий момент публичная модель в 126 раз больше) и высокими показателями в основных тестах. По качеству она сопоставима с недавно вышедшей LLama 3 с восемью миллиардами параметров. По заявлениям Microsoft, этого удалось достичь с помощью обучения модели на данных высокого качества: часть данных — сильно отфильтрованный набор текстов из интернета, другая часть — данные, сгенерированные с помощью GPT-4. Однако в сообществе исследователей и разработчиков некоторые относятся к возможностям Phi-3 скептически: критики подозревают, что в обучающих данных присутствовали тексты, на которых её впоследствии тестировали. Такие же дискуссии вызвали и её предшественники, Phi-1 и Phi-2.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

30 апреля 2024 19:55

От Гарри Поттера до Стихов.ру: лучшие материалы «‎Системного Блока»‎ о НКРЯ

Национальному корпусу русского языка (НКРЯ🦆) исполнилось 20 лет!🎉 Как развивается главная цифровая коллекция текстов на русском языке, что в ней есть и что она дает науке?

Корпус для всех: как используют НКРЯ

Зачем нужен корпус? Ответ на этот вопрос дают школьники, студенты-лингвисты и учёные. В статье рассказано о самых разных исследованиях: от сложностей перевода на другой язык культурных реалий на примере книг Набокова до возникновения фразы «ибо нефиг» и особенностей применения частного и местного падежей в современном русском языке.

От древнерусского до корпуса блогов: как изменился Национальный корпус русского языка после редизайна

В последние годы НКРЯ преобразился: дизайн стал удобнее и современнее, появилась мобильная версия. Изменения были не только внешними: добавились новые инструменты и новые корпуса, например, блогов и социальных сетей (в том числе интернет-сленга), литературы для детей от 2 до 15 лет (там можно найти «Гарри Поттера» и «Вафельное сердце»).

Что мы узнали об ударении в русском языке и о наивной поэзии из корпуса stihi.ru

НКРЯ — не единый массив текстов, а сложная структура, включающая в себя разные корпуса: параллельные, исторические, мультимедийный… Эта статья рассказывает об акцентологическом корпусе, полезном для изучения ударений.

Тест: Узнаете ли вы подкорпус НКРЯ по характерным для него словам?

Какие слова чаще встречаются в анекдотах, а какие — в деловых документах? Попробуйте проверить свою интуицию, разбираясь в жанрах, тематиках и стилях текстов, а заодно познакомьтесь с корпусами НКРЯ поближе🙂

Русско-китайский корпус НКРЯ, или Как превратить ботвинью в гаспачо

Первый параллельный корпус — русско-английский — появился в НКРЯ в 2005 году. Сейчас в его составе уже 28 параллельных корпусов. Русско-китайский корпус был запущен в 2016 году. Он содержит более 1000 текстов и поддерживает ввод запроса кириллицей, иероглифами и пиньинем — китайской транскрипцией.

Я/МЫ НКРЯ: что происходи(ло) с национальным корпусом в 2019

В 2019 году будущее НКРЯ было неясным: в какой-то момент перестали работать некоторые функции, и лингвисты забили тревогу. Проблемы в итоге решились, а материал «‎Системного Блока» про историю НКРЯ и сложности поддержки настолько масштабного проекта — остался. Сегодня это скорее исторический документ, но все равно интересно вспомнить, как лингвисты и просто неравнодушные люди встали на защиту корпуса.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

24 апреля 2024 11:03

Подборка каналов про культурное наследие в цифре от издания «Системный Блокъ»

Когда-то слово «архив» вызывало в мыслях образ пыльного библиотечного пространства, доступного избранным по пропускам. Теперь многое оцифровано, и изучать прошлое можно по расшифровкам дневников, сканам иллюстраций старых книг или фотографиям мозаик. В этой подборке — каналы с такими данными.

— @prozhito — Прожито
Проект, занимающийся исследованиями эго-документов, в первую очередь дневников. В электронной библиотеке представлено более 626 тысяч дневниковых записей XVIII-XX веков. «Прожито» позволяет изучать прошлое не только по учебникам истории или мемуарам известных личностей, но и через восприятие обычных людей: гимназистов, врачей, автомехаников.

— @vlesah — В ЛЕСАХ
Медиа про культурное наследие в регионах. Если все церкви в классическом стиле и памятники Ленину слились в вашей голове в одно, приходите читать про саркофаги от тульских оружейников, дома с привидениями и музей ЖЭК-арта. Можно не только читать, но и помогать: «В ЛЕСАХ» пишут в том числе о волонтёрских экспедициях, посвящённых сохранению наследия.

— @okartinki — о-картинки
Канал Центра исследований Оттепели посвящен книжному дизайну второй половины XX века. В коллекции много детских книг времен оттепели, например, рассказ о московском метро (тогда ещё с четырьмя ветками), чрезвычайное происшествие с обезьяной Чичи в казанском цирке и инструкция, как сделать из огурца крокодила Гену.

— @pishuteberu — Пишу тебе
Как открытки рассказывают о прошлом? Разбирая старые открытки, авторы проекта рассказывают о популярных театральных премьерах начала XX века, благотворительных инициативах Красного креста или студенческих бунтах времён революции 1905-1907 годов. А в рубрике «Путешествие с открыткой» можно прочесть, например, о нижегородском фуникулёре или первом каменном здании в Екатеринбурге.

— @sysblok — Системный Блокъ
В рубрике «цифровое наследие» Системный Блокъ рассказывает о технологиях и практиках цифрового сохранения культуры, будь то оцифровка граффити на храме Исиды или собрание музыки, сопровождавшей американские немые фильмы. А ещё пишет о том, как оцифровке помогают новые технологии: компьютерное зрение, 3D-моделирование и дополненная реальность.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

22 апреля 2024 19:55

Cultural heritage in action: лучшие практики сохранения и популяризации культурного наследия в Европе

Проект Cultural heritage in action собрал 60 лучших инициатив по работе с культурной памятью в 23 странах Европы. Главная цель проекта — позволить специалистам делиться своими методами по восстановлению, сохранению, цифровизации и популяризации культуры, искусства и истории. В этом посте рассказываем о трех цифровых инициативах, с которыми можно познакомиться не выходя из дома.

🇮🇹 Интерактивная карта культурных общин Национального парка Валь-Гранде

Коренные жители Национального парка Валь-Гранде сделали красивую карту с достопримечательностями своих родных земель и поделились личными архивными фотографиями. Благодаря сайту можно узнать не только об истории общин, но и о праздниках, фестивалях и карнавалах, которые ежегодно проходят в Валь-Гранде.

🇸🇮 База устаревших ойконимов

Культурное наследие может принимать разные формы, в том числе и лингвистические. Сохранением языковой культуры обеспокоились в Гореньской области Словении: проект Slovenska Hisna Imena создал базу ойконимов (наименований домов, усадеб и других объектов недвижимости), забытых в XX веке в результате урбанизации и других социально-экономических изменений.

🇫🇷 Сайт о культурном наследии города Нант

На французском сайте Nantes Patrimonia есть энциклопедия города, интерактивная карта достопримечательностей и тематические маршруты. А ещё – мультимедийные ресурсы о городе: фотографии, видео, подкасты, архивные материалы, анекдоты и многое другое. Правда, чтобы познакомиться с ними из России вам понадобятся VPN и знание французского (или переводчик!)

О цифровых и нецифровых проектах, которые придумали в Греции, Испании, Португалии и других странах, узнаете из полной версии статьи.

🤖 «Системный Блокъ» @sysblok

Системный Блокъ

18 апреля 2024 19:27

Как делать большую науку в бесконечном бегстве: Роман Якобсон vs XX век

Роман Осипович Якобсон — лингвист, филолог и культуролог. Вынужденная эмиграция не помешала ему исследовать русский авангард, заниматься сербо-хорватским эпосом и изучать нарушения речи. Рассказываем о том, как даже сложные времена не способны остановить искреннее желание заниматься наукой.

Кратко: о чем статья?

Якобсон родился в 1896 году и уже в 19 лет стал сооснователем Московского лингвистического кружка. В нём обсуждали проблемы теории и истории литературы, теории и истории языка, следили за всеми достижениями западноевропейской лингвистики.

В 1920-х годах Якобсон продолжил лингвистическую деятельность в Праге. В конце 1930-х, находясь в оккупированной нацистами Праге и пытаясь получить документы на выезд в Данию, писал, что хотел бы использовать месяцы в Копенгагене, чтобы закончить свою книгу о структуре и классификации фонем. В 1941 добрался до Нью-Йорка, где стал соучредителем… Нью-Йоркского лингвистического кружка. А затем преподавал в Гарвардском университете и Массачусетском технологическом институте.

Якобсон продолжал работать над исследованиями независимо от своего местоположения и проблем, которые ему преподносила история XX века. Подробнее о его работе и её обстоятельствах узнаете из полного текста материала.

Время чтения: 13 минут.

🤖 «Системный Блокъ» @sysblok