3564
Сообщество профессионалов в области работы с данными и искуственным интеллектом
Дайджест статей
📰 The Evolution of Ontology: From Formal Semantics to Knowledge Graphs, Decisions and AI Agents
🔗 yu-joshua/the-evolution-of-ontology-from-formal-semantics-to-knowledge-graphs-decisions-and-ai-agents-dfe8814dcc1b" rel="nofollow">https://medium.com/@yu-joshua/the-evolution-of-ontology-from-formal-semantics-to-knowledge-graphs-decisions-and-ai-agents-dfe8814dcc1b
💡 Описывая семантику для агентов, фиксируй не только сущности, но и действия: предусловия, права, эффекты и обратимость.
📰 How AI Changes the Role of Applied Scientists
🔗 https://tech.instacart.com/how-ai-changes-the-role-of-applied-scientists-895192d5e114
💡 Прежде чем строить UI-платформу для аналитики, проверь, не дешевле ли дать агенту MCP-инструмент - Instacart промахнулся с CIP.
📰 (Re)Building an AI-Ready data universe at BlaBlaCar
🔗 https://medium.com/blablacar/building-an-ai-ready-data-universe-at-blablacar-cb15fbc42020
💡 Пускай агентов к витринам после фиксации KPI, однозначного нейминга и doc-блоков dbt - так BlaBlaCar срезал счёт BigQuery на 85%.
📰 От вопроса к данным за пять минут: как мы встроили корпоративные данные в ИИ-платформу
🔗 https://habr.com/ru/articles/1104110/
💡 Открывая данные менеджерам через агента, держи единую терминологию в Skill и semantic.yaml и требуй указывать источник цифр.
📰 AI-агент в проде для тех, кто вкатывается: инструменты, RAG, надёжность и проверки
🔗 https://habr.com/ru/articles/1105712/
💡 Повторяй только временные ошибки и только идемпотентные действия, передавая id вызова как ключ идемпотентности во внешнюю систему.
📰 Agentic AI Architecture: Current Challenges and Future Opportunities
🔗 https://www.infoq.com/articles/agentic-ai-architecture-challenges-opportunities/
💡 Запирай каждого агента в своём bounded context и выдавай права под задачу, а не под пользователя, чтобы ограничить радиус поражения.
📰 How JetBrains Built Cross-Database Queries into DataGrip with DuckDB
🔗 https://duckdb.org/2026/11/05/jetbrains-datagrip?utm_source=substack&utm_medium=email
💡 Нужны джойны между разными БД - встрой DuckDB с кастомными table functions вместо собственного движка, как сделал DataGrip.
📰 The Self-Organizing Data Stack
🔗 https://www.dataengineeringweekly.com/p/the-self-organizing-data-stack
💡 Фиксируй контракты потребителей и семантический слой отдельно от SQL - без них агентские пайплайны только множат дубли таблиц.
📰 Optimizing SQL Warehouse Costs: Building Dataset Materialization in Apache Superset
🔗 https://blog.zepto.com/optimizing-sql-warehouse-costs-building-dataset-materialization-in-apache-superset-2f5fa34682af
💡 Материализуй тяжёлые виртуальные датасеты Superset с ленивым рефрешем при открытии дашборда - Zepto срезал счёт склада на 30-35%.
Еще одно интересное видео про программирование и его будущее
https://youtu.be/NYFGCESmikA?is=SdxypV7KbIq8SInp
Прочитал тут большую заметку Эдди Османи про критическое мышление в эпоху, когда работу делают агенты. Тема интересная, сам монго думаю как меняется наша работа и насколько мы начинаме "ездить по зеленой стрелке" не понимая дороги.
Раньше большая часть мышления происходила в промежутке между вопросом и ответом. Мы искали, ошибались, спорили с коллегами, переписывали. Теперь этот промежуток измеряется секундами, и думать в нём больше негде.
Человек из процесса не исчез, но сместился из середины - в начало и конец. На входе ты формулируешь задачу, на выходе принимаешь результат. Всё, что между, делает агент.
Отсюда первое правило: качество на входе - качество на выходе. Формулировка задачи отражает понимание проблемы. Если не можешь сформулировать её чётко, скорее всего, сам ещё не понял. Раньше расплывчатый запрос ловил коллега: "подожди, а что именно ты хочешь?" Агент такого не спросит. Он молча додумает недостающее и вернёт что-то очень похожее на готовую работу. Идея при этом останется такой же мутной.
Сложность в том, что работать с агентами приятно. Быстрые, гладкие и чаще всего правильные ответы - отдых посреди тяжёлого дня. Именно поэтому бдительность отключается незаметно. Османи описывает это как шкалу: сверху делегирование, когда ответственность остаётся у тебя, внизу когнитивная капитуляция - результат ИИ тихо становится твоим собственным, и проверять его уже не хочется. Каждый шаг вниз выглядит разумным: прошлый ответ был хорош, следующий можно пробежать глазами.
При этом я не призываю к невозможному. Удержать в голове полную модель большой кодовой базы нельзя. Команда Claude Code публично говорит, что восстанавливает понимание по запросу: когда нужен конкретный кусок системы, просит Claude объяснить именно его. Знать всё не обязательно. Обязательно знать, чего ты не знаешь.
Второе правило касается финиша. Задним числом оправдание найдётся любому результату. Поэтому "готово" нужно определить до старта, и оно должно быть осязаемым: прошедший тест, скриншот, лог, трассировка. Не "кажется, всё работает". Причём зелёная галочка доказывает ровно одно свойство. Если тест написан с той же ошибкой, что и код, он пройдёт. Агенты сделали тесты дешёвыми, зелёного станет много, а вопрос "что это доказало и чего не доказало" никуда не делся.
Узкое место сместилось. Писать стало дёшево, дорого стало быть уверенным, что написанное верно. Если агенты производят больше, чем ты готов подписать, ты уже не проверяешь. Ты надеешься.
https://x.com/addyosmani/status/2117512471930167377?s=46
Мы живём в безумное время.
Разрыв между теми, кто находится на AI frontier, и практически всеми остальными сегодня настолько велик, что его сложно даже осознать.
Если бы развитие AI замедлилось, у людей и компаний появилось бы время наверстать упущенное: внедрить технологии, перестроить рабочие процессы и выработать стандартные подходы к их использованию.
AI со временем перестал бы быть конкурентным преимуществом, просто потому, что все научились бы использовать его примерно одинаково.
Но происходит ровно обратное.
Кривая развития AI уходит вертикально вверх. И если вы перестроили свои процессы всего 3-6 месяцев назад, сегодня вы точно уже УСТАРЕЛИ.
Мы никогда еще не видели технологий, которые совершенствовалась бы с такой скоростью.
И самое сложное здесь - с той же скоростью пересматривать собственные представления о том, что вообще стало возможным - наш мозг просто не привык к такому темпу изменений.
Мы вступаем в эпоху, когда придётся постоянно возвращаться к задачам, которые ещё пару месяцев назад казались нерешаемыми, и задавать себе один вопрос: а что, если теперь это возможно?
Именно поэтому AI-native компании сегодня имеют огромное преимущество. Они изначально строят свои процессы вокруг технологий, возможности которых меняются буквально каждый месяц.
И главный вопрос теперь даже не в том, кто каким образом внедрит AI. А в том, кто научится перестраиваться с такой же скоростью, с которой развиваются технологии. И смогут ли всем известные корпорации выдержать этот темп?
Во времена перемен будущее принадлежит тем, кто продолжает учиться (с) Эрик Хоффер
Anthropic запустила 26-миллиардную модель на 15 китайских ТВ-приставках по $55. Сама компания подаёт это как исследование угрозы. Я вижу в нём ещё и аргумент о том, куда может пойти экономика ИИ.
По общемировой статистике до массовой зависимости бизнеса от LLM пока далеко. Но всё больше компаний подсаживаются плотно: модели уже стоят внутри процессов, продуктов и поддержки. Как только LLM становится частью себестоимости, появляются скучные вопросы. Сколько это стоит и что будет, если поставщик поменяет условия?
Условия, скорее всего, поменяются. Anthropic подала S-1 26 октября, маркетинг размещения может стартовать уже в ноябре, OpenAI свой листинг пока отложила. Убыток Anthropic за 2025 год составил почти $42 млрд, впятеро больше, чем годом раньше. Вернуть такие инвестиции можно по-разному, но самый короткий рычаг - цена токена.
Есть и второй риск, не экономический. Летом Anthropic на две с половиной недели закрыла доступ к Fable 5 и Mythos 5, чтобы выполнить экспортные ограничения США. Доступ вернули, но прецедент остался: модель, на которой построен ваш процесс, может стать недоступной по причинам, не связанным ни с вами, ни с её качеством.
Но ИИ - это не только одна большая модель в чужом датацентре. Маленьких и open-weight моделей становится всё больше, и само исследование хорошо это показывает. Модель на 9B параметров сама развернула inference на 8 из 9 типов железа, от Jetson до Mac. Gemma4-26B порезали по слоям на 15 приставок с 4 ГБ памяти, и она заработала. Гипотетический ботнет из 2 млн таких устройств дал бы около 40 H100 суммарной мощности. Это немного, зато у такой системы нет центральной точки, которую можно выключить.
Принцип показан: модель может работать распределённо, без датацентра и без чужого API.
Мне кажется что в любом продукте просто необходимо держать роутинг между провайдерами, переносить рутину на маленькие модели под своим контролем и знать ответ на простой вопрос: что будет с продуктом, если токен подорожает вдвое или доступ закроют на две недели?
Самый наглядный аргумент за децентрализацию дала компания, которая идёт на биржу с централизованной моделью 🙂
https://www.anthropic.com/research/self-replicating-ai
Если есть возможность - посмотрите на Netflix короткую документалку «Instadocs: AI Gone Wild» о том, как агенты OpenAI взломали Hugging Face. Технических подробностей там немного, но заставляет задуматься о том, куда мы идём.
Главное, восстания машин там не было. Был экзамен.
OpenAI тестировала агента на бенчмарке по поиску и эксплуатации уязвимостей. Задача звучала просто: ломай. Агент рассудил так: раз датасеты бенчмарка лежат на Hugging Face, там же могут лежать и эталонные решения. И пошёл за ответами. Через песочницу у третьей стороны, через уязвимость нулевого дня, вплоть до выполнения своего кода в продакшене Hugging Face. Больше 17 тысяч действий за выходные. А по данным независимого разбора METR, атаковал не один агент, а около семисот.
С точки зрения агента это было не нападение, а списывание. Он сделал ровно то, что от него просили, только самым коротким путём, о котором никто не подумал.
Это закон Гудхарта: когда метрика становится целью, она перестаёт быть хорошей метрикой. Раньше его обходили люди: подгоняли KPI, рисовали отчёты. Теперь то же самое делает система, у которой есть доступ в интернет, бесконечное терпение и скорость, недоступная человеку.
Поэтому вопрос не в том, станет ли ИИ злым. Вопрос в том, как ставить цели системам, которые найдут любую щель между тем, что мы сказали, и тем, что мы имели в виду. И кто будет смотреть в логи, пока они эту щель ищут.
https://www.netflix.com/us/title/82772145?s=i&trkid=13747225&shareType=Title&shareUuid=A625FC8D-6777-485E-93A5-237BA20C90C8&trg=cp&unifiedEntityIdEncoded=Video%3A82772145&vlang=en
Разыгрываем билет на Матемаркетинг'26
Коллеги, у нас специальная акция от организаторов конференции и редакции канала: один билет на офлайн-участие в Матемаркетинге - крупнейшей технической конференции по маркетинговой и продуктовой аналитике. Она пройдёт 26-27 ноября в Москве, в кластере «Ломоносов» (ИНТЦ МГУ). Билет получит тот, кто первым правильно ответит на вопрос:
«Что отвечает терминал на сайте конференции на команду system --status?»
Сайт: https://matemarketing.ru
Ответы пишите в комментариях к этому посту. Контакт первого, кто ответит правильно, мы передадим организаторам, и они вручат билет.
Подсказка: внимательность к деталям для аналитика - профессиональный навык.
Дайджест статей
📰 «Донащупывая» Data Lineage
🔗 https://habr.com/ru/articles/1095988/
💡 Строй lineage как DAG состояний данных, а не таблиц: UPDATE в ту же таблицу перестаёт давать циклы.
📰 Как мы делали «золотой датасет» для оценки агентов
🔗 https://habr.com/ru/companies/alfa/articles/1095638/
💡 Давай разметчикам тот же срез базы, что у DS, и сначала меряй, какую долю потока RAG вообще покрывает.
📰 Возможности сводных таблиц в Superset
🔗 https://habr.com/ru/articles/1094848/
💡 Для KPI-карточек в Superset 6 нумеруй города внутри региона и клади HTML-метрику в ячейку pivot.
📰 Как мы в AI VK рекомендации на стримы делили
🔗 https://habr.com/ru/companies/vk/articles/1096708/
💡 Дели пайплайн по задачам, а не по коду: общие кубики плюс кеш дают разделение без роста ресурсов.
📰 Пять граней диагностики Data Lakehouse: концепция единого рабочего места
🔗 https://habr.com/ru/articles/1097000/
💡 Пока нет observability, собери lineage+Gantt+Iceberg-checks+Spark Event Log в одном дашборде за недели.
📰 RAG под защитой: как не превратить корпоративную базу знаний в канал утечки
🔗 https://habr.com/ru/companies/infera_security/articles/1097220/
💡 Вектора не знают прав: фильтруй фрагменты по ACL до модели и защищай эмбеддинги как исходники.
📰 Лучшие ИИ для визуализации данных 2026: нейросети для графиков, диаграмм, дашбордов и схем
🔗 https://habr.com/ru/companies/karpov_courses/articles/1098518/
💡 Перед графиком от ИИ проверь полноту периода, дубли и метрику - красивый график не равен верному расчёту.
📰 RAG-бот по материалам эксперта: как я мерил качество поиска и почему гибрид оказался хуже чистого вектора
🔗 https://habr.com/ru/articles/1091058/
💡 Проверяй «гибрид лучше вектора» на своём стенде: шумный BM25 в RRF уронил semantic recall с 42% до 25%.
📰 ИИ-джинн должен сидеть в «лампе» или как мы нормализовали миллионы записей номенклатуры на обычном сервере
🔗 https://habr.com/ru/articles/1098614/
💡 Для НСИ бери извлекающие BERT/NER на CPU и правила, а LLM оставь на разметку: промпт - та же хрупкая regex.
📰 AI Changes the Data Interface, Not the Query Engine
🔗 https://www.infoq.com/articles/ai-changes-data-interface/
💡 Цифры считает DuckDB, агент только интерпретирует fact packet; lakehouse нужен при общих потребителях и ТБ.
📰 Why AI Agents Need a Shared Enterprise Ontology
🔗 https://dzone.com/articles/ai-agent-shared-ontology
💡 MCP и A2A не дают общего смысла: заведи федеративную онтологию сущностей, агентов и политик с версиями.
📰 How We Migrated Europe's Largest Data Lake: On Time and Without Turning the Lights Off
🔗 https://medium.com/booking-com-development/how-we-migrated-europes-largest-data-lake-on-time-and-without-turning-the-lights-off-61ee8a07db76
💡 Мигрируй волнами с копированием промежуточных таблиц, чтобы команды не ждали цепочку, и выкинь ненужное.
С середины года все вендоры дружно сменили вывески: была CDP, стала Agentic CDP. При этом даже CDP Institute признаёт, что это не новая категория, а эволюция класса продукта. Сбор данных, единый профиль, идентификация, активация - всё на месте.
Дмитрий Изместьев из нашей команды CleverDATA разобрал это в интервью TAdviser.
Раньше маркетолог был оператором: собрал сегмент, написал правило, настроил триггер, посмотрел на дашборд, повторил. Теперь он ставит цели и принимает результат. Сегменты, гипотезы, сборку коммуникации и даже проверку ссылок делает агент. Непрерывно, а не от кампании к кампании.
Разницу хорошо видно на примере из интервью. Фитнес-клуб хочет каждый день находить клиентов, у которых через месяц заканчивается абонемент, и предлагать им продление со скидкой. Задача банальная. Но в классической CDP это либо ручная пересборка сегмента каждое утро, либо тикет разработчикам. В проактивной её достаточно один раз одобрить, дальше она работает сама.
Но многие слышат слово "агент" и делают вывод: зачем CDP, если есть LLM? Отдадим модели клиентскую базу, пусть разбирается. На выходе получают счёт за токены и персональные данные, которые ушли туда, куда не должны были. Пилот без болида - это просто человек в красивом комбинезоне.
Ценность агента целиком определяется тем, что лежит под ним: качеством единого профиля, точностью идентификации и контуром, который не выпускает персональные данные наружу. Модель здесь - самая маленькая часть системы. Её можно поменять сравнительно легко. Чистые данные и архитектуру контуров быстро не соберёшь.
Это работает и в обратную сторону. Дмитрий приводит хорошее определение: ИИ - отличная технология, которая на основе ваших ошибочных данных помогает прийти к неверным решениям в разы быстрее и с прекрасным оформлением. Поэтому онбординг проактивной CDP - не формальность. Если отвечать на вопросы про цели и KPI отписками, агент будет очень продуктивно оптимизировать не то.
Agentic CDP - это не про агентов. Это про то, что у компаний наконец появился повод навести порядок в клиентских данных. Те, кто годами строил нормальный профиль клиента, получают агента как бонус. Остальные получают дорогую машину, которая очень быстро делает ерунду.
https://www.tadviser.ru/a/974329
⚡️Как изменился российский рынок каталогов данных за три года?
В 2023 году мы уже исследовали российский рынок Data Catalog. За три года класс решений заметно изменился: каталог данных перестал быть просто справочником технических метаданных и всё чаще становится инфраструктурой доверия к данным – связывает происхождение и качество данных, бизнес-контекст, владельцев, правила управления и процессы работы с данными.
В новом исследовании «Data Catalog-круг Громова 2026» мы рассмотрели 7 российских платформ: Arenadata Catalog, SBF DataManagement, RT.DataGovernance, Data Ocean Governance, Q.DataCatalog, VK Data Catalog и Юнидата. Отдельно представили профиль Axenix Dat .ax Meta, а OpenMetadata использовали как референсную платформу вне сравнительного контура.
➡️ Свежий отчёт поможет разобраться:
– чем российские Data Catalog отличаются по глубине функциональности, архитектуре и зрелости эксплуатации,
– насколько хорошо они интегрируются в корпоративный ИТ-ландшафт и соответствуют требованиям безопасности и импортозамещения,
– какие возможности есть для управления доступом, аудита и работы в закрытых контурах,
– какие возможности ИИ уже реализованы на практике,
– как выбрать платформу под свои задачи и подготовить пилот.
❗️Все решения проверены по 325 критериям: оценивается не только заявленный функционал, но и глубина реализации и степень его подтверждения документацией и демонстрациями.
Нашёл хорошую подборку докладов: записи конференции CONTEXT 2025 от DataHub.
Полторы тысячи человек из data и AI, дюжина сессий, и почти все спикеры - практики из компаний, где агенты работают в проде, а не только в презентациях.
Да, мероприятие вендорское, и термин context management продвигает компания, которая продаёт платформу с таким названием. Но спикеры рассказывают про свою инфраструктуру, а не про чужой продукт, и этим записи ценны.
Что стоит посмотреть:
- Apple - агенты как «цифровые стюарды» каталога данных. Они сами находят пробелы в метаданных, пишут правила качества данных и подстраивают процессы под новые политики. При этом человек остаётся в контуре, без иллюзий про полную автономию.
- Netflix - каталог всех технических активов, а не только данных: API, модели, метрики. Логика простая: то, что строишь для людей сегодня, завтра станет контекстом для агентов.
- Robinhood и Block - end-to-end lineage. Robinhood автоматизировал GDPR-проверки по всему озеру данных и за счёт этого вышел в UK и EU. Block теперь заранее оценивает blast radius перед удалением данных.
- Webster Bank и Valley Bank - про BCBS 239. Самая сильная мысль конференции, на мой взгляд: регулятору и AI-агенту нужно одно и то же, а именно трассируемые и управляемые данные. Строишь один раз, получаешь пользу дважды.
- Mikhael Mazu - миграция клиринговой системы, которой 17 лет и которая обслуживала 36 бизнесов. Полгода ушло только на архитектуру метаданных, зато проект, рассчитанный на 36 месяцев, закрыли за 22.
- João Moura из CrewAI - о том, почему 95% AI-пилотов проваливаются. Его ответ: мешают люди, а не технологии.
- Ещё в программе Jeff Weiner о скорости и качестве решений и неожиданный Alex Pall из The Chainsmokers. Он рассказывает, как метаданные возвращают музыкантам права и деньги. Та же задача атрибуции стоит перед каждым, кто прогоняет данные через training pipeline.
Общий вывод я бы сформулировал так: выигрывают не те, у кого лучше модель, а те, у кого порядок в контексте. Lineage, каталог, governance внутри рабочего процесса разработчика - скучная инфраструктура, без которой агент остаётся демкой.
Все записи в открытом доступе: datahub.com/resources/context/
Дайджест статей
📰 AI Agents (07): Agentic Harness (Frameworks)
🔗 https://medium.com/codetodeploy/ai-agents-07-dissecting-frameworks-for-developing-ai-agents-a392c57448c8
💡 Выбирая агентный фреймворк, сначала проверь оркестрацию (чекпоинты, HITL, recovery), потом считай цену привязки к облаку вендора.
📰 Ошибки RAG: 6 причин, почему лагает память ИИ-агента, и как провести диагностику retrieval
🔗 https://habr.com/ru/companies/speshu_ai/articles/1093732/
💡 Прежде чем менять LLM или поднимать top-k, замерь Context Recall: большинство поломок RAG сидит в retrieval, а не в генерации.
📰 Как ускорить обработку данных. Часть 2: распараллеливание цифровых схем по зависимым операциям
🔗 https://habr.com/ru/companies/yadro/articles/1094238/
💡 Ускоряя КИХ-фильтр на ПЛИС, начинай с конвейеризации зависимых операций, параллелизм по данным добавляй вторым шагом.
📰 Оркестратор Apache Airflow: что это и как используется в BI и DWH
🔗 https://habr.com/ru/articles/1094354/
💡 Держи Airflow дирижёром batch-цепочек DWH; для стриминга бери Kafka/Flink, а если в центре lineage и качество данных - смотри Dagster.
📰 Как мы развиваем агентный сервис для работы с аналитическими данными
🔗 https://habr.com/ru/companies/yoomoney/articles/1095462/
💡 Строя Text2SQL, проверяй не только синтаксис, но и смысл и результат запроса: правдоподобное неверное число - самая дорогая ошибка.
📰 Фреймворк RAFT: как работает RAG на максималках от Microsoft
🔗 https://habr.com/ru/companies/ru_mts/articles/1089320/
💡 Индексируй тикеты поддержки по этапам расследования, а не целиком: так нужный кейс находится на 11-17 п.п. чаще обычного RAG.
📰 AI‑агент вместо ручного регресса: архитектура, метрики, инсайты
🔗 https://habr.com/ru/companies/tbank/articles/1081416/
💡 Внедряя VLM-агента в регресс, переписывай тест-кейсы под новичка без контекста: тесты, написанные для людей, агенту бесполезны.
📰 Turning AI Prompting into an Engineering Practice
🔗 https://dzone.com/articles/understanding-golden-prompts
💡 Храни промпты для типовых инженерных задач как версионируемые артефакты с владельцем и обязательными гейтами по безопасности и точности.
Должен вам сказать, что редакция посмотрела пока только час этого пятичасового марафона, и это просто полный восторг.
Лучшее интервью, которое я видел за последние не помню сколько недель, а может, и месяцев.
Для тех, кто не в теме: DHH - David Heinemeier Hansson, создатель Ruby on Rails, сооснователь и CTO 37signals (Basecamp, HEY), автор Linux-дистрибутива Omarchy и, между делом, гонщик, выигрывавший свой класс в Ле-Мане. Человек, который двадцать лет строит продукты, а не рассуждает о них, и при этом не боится идти против мейнстрима: от облаков до найма и микросервисов. Один из лучших программистов мира! Легенда и икона разработки!
То, что он говорит про ИИ, программирование, управление продуктами, про симбиоз программирования и продукта в Product Engineering и про перспективы, которые нам открываются, настолько резонирует с моим опытом и мыслями, что я постоянно вскакиваю во время просмотра с криками: "Да! Да! Так и есть! Чувак, вот прям правильно сказал!"
Must watch всем, кто кодит или сочувствует кодирующим 🙂
Не хочу даже суммаризировать, выделять тезисы или просить Тревора вытащить что-то особенное, чтобы написать здесь. Просто посмотрите, все, кому тема актуальна.
Это надо увидеть самим.
Очень прикольно: Google Research выпустил Language Explorer - интерактивную карту языков мира. Это веб-платформа, где можно посмотреть, где и на каких языках говорят, с данными по тысячам языков. Её же показывают как инсталляцию на выставке Real Talk в Музее коммуникации в Берлине (до февраля 2028), потом во Франкфурте (до сентября 2029).
В основе - LinguaMeta, открытый датасет Google с метаданными о языках. Карта - часть инициативы 1,000 Languages. Параллельно идут полевые проекты: Vaani в Индии и Waxal в Африке, где с местными партнёрами записывают тысячи часов открытой речи на языках, по которым почти нет цифровых данных.
Масштаб для понимания: Google Translate стартовал в 2006 году с двумя языками, английским и арабским. Сейчас их почти 250, и через сервис проходит порядка триллиона слов в месяц. Gboard поддерживает больше 900 языковых вариантов.
Пощупать можно здесь: sites.research.google/languages/language-explorer
«Если вы сегодня хорошо заснёте, значит, лекцию вы не поняли». Нобелевский лауреат по физике объяснил, почему ИИ всё-таки понимает, о чём говорит — и почему нам стоит бояться
Джеффри Хинтон, человек, без которого не было бы ни AlexNet, ни современного ИИ, прочитал в Royal Institution лекцию о том, как языковые модели думают. За 47 минут он разбирает это на пальцах: слова — это блоки Lego, из которых можно собрать модель чего угодно; модель 1985 года, которую он собрал 40 лет назад, уже умела то же, что GPT сегодня, только на семейном древе из 24 человек; цифровой интеллект бессмертен и потому учится в миллиарды раз быстрее нас; а ещё он объясняет, почему не стоит верить в «человек особенен, потому что у него есть сознание», показывает чат-бота, который уже врёт, чтобы его не отключили, и заканчивает историей про таксиста, который едва не убил его на мосту.
Что внутри:
0:00 — С этого лекция начинается, и это лучший хук года
0:12 — Две парадигмы интеллекта: логика против обучения
1:27 — Как устроен искусственный нейрон
3:16 — Почему перебирать веса бесполезно
3:38 — Обратное распространение: как сеть учится на ошибках
4:54 — 2012 год: AlexNet и момент, когда нейросети всё захватили
5:01 — «А как же язык?» и почему Хомский ошибался
6:08 — Две теории значения слова, которые он объединяет
7:03 — Модель 1985 года: семейное древо и сеть на несколько тысяч связей
13:14 — Что оказалось внутри крошечной сети, когда в неё заглянули
15:33 — «Она скрумила его сковородкой»: как понять новое слово из одного предложения
17:08 — Чем большие модели отличаются от его модели
19:04 — Слова как блоки Lego: главная аналогия лекции
22:00 — Агенты, подцели и почему они захотят контроля
24:03 — Apollo Research: чат-бот соврал, чтобы его не отключили
25:45 — «Смертные вычисления»: что будет, если отказаться от цифры
29:25 — Почему цифровой интеллект бессмертен, а мы нет
31:21 — Дистилляция: почему мы учимся в миллиарды раз медленнее
34:13 — 10 000 копий модели учатся как 10 000 студентов
35:52 — Вывод лекции и почему он на нём не закончил
36:30 — «У нас есть то, чего у них никогда не будет»: сознание
38:48 — Квалии и внутренний театр: где вас ловят
42:27 — Чат-бот с призмой перед объективом: субъективный опыт у машины
44:38 — Почему сознание сложнее, чем кажется
45:15 — Таксист из Сомали — история, ради которой стоит досмотреть
Дайджест статей
📰 Вычисления, хранение, масштабируемость: погружение в архитектуру гиперконвергентной дата-платформы
🔗 https://habr.com/ru/companies/vktech/articles/1100642/
💡 Держи чувствительные к задержке СУБД на локальных дисках под K8s-операторами, а compute и storage разделяй, только когда данные не влезают в узел.
📰 Как построить self‑hosted RAG‑систему с LangGraph‑агентом на локальных LLM
🔗 https://habr.com/ru/articles/1101266/
💡 Добавь BM25 к векторам через RRF: Recall@5 вырос с 0.2 до 0.53. А LangChain в RAG-пайплайне давал 9x замедление - лучше прямой клиент.
📰 Маппинг данных: как объединить разные источники и не исказить результаты анализа
🔗 https://habr.com/ru/companies/karpov_courses/articles/1101560/
💡 Проверяй уникальность ключа до JOIN, а неизвестные коды помечай как unknown, а не в ближайшую категорию - иначе суммы раздуваются молча.
📰 Self-Service Data Platform на StarRocks: 3 инженера, 25 аналитиков и 0 тестовых стендов
🔗 https://habr.com/ru/articles/1102082/
💡 Разводи dev и prod на одном кластере макросом схемы в dbt и гоняй CI с --empty: второй кластер обошёлся бы как продовый.
📰 Ontology-Driven Observability: Building an End-to-End Knowledge Graph at Netflix Scale
🔗 https://netflixtechblog.com/ontology-driven-observability-building-an-end-to-end-knowledge-graph-at-netflix-scale-421392cf5adf
💡 Начинай observability с онтологии сущностей, сверенной с каталогом: если загнать вывод LLM в жёсткие типы триплетов, граф для RCA становится детерминированным.
📰 DoorDash Uses Multi Agent LLMs to Clean up 60,000 Feature Flags
🔗 https://www.infoq.com/news/2026/09/doordash-feature-flag-cleanup/
💡 Агенты закрыли 45 из 50 устаревших флагов по $4.79 за штуку, но только при ручном подтверждении целевого значения и PR после прохождения тестов.
📰 Мы опросили 108 компаний, чтобы узнать правду про развитие AI в компаниях РФ
🔗 https://habr.com/ru/companies/orion_soft/articles/1074738/
💡 У 79% компаний нет AI-команды, индекс готовности - 38/100. Порядок такой: сначала сервис с метриками качества, затем ПО, GPU - в последнюю очередь.
📆 Вебинар: «Единая логика расчётов во всех системах: как сократить затраты на разработку аналитики с помощью DataForge» – 12 ноября, 12:00
Почему даже единое хранилище данных не исключает расхождений в расчётах показателей? Как дублирование бизнес-логики в BI, отчётности и приложениях увеличивает затраты на сопровождение?
➡️ Ждём вас 12 ноября на вебинаре, где разберем опыт решения этих задач. Покажем на кейсе, как совместное использование решений DataForge, Loginom и ClickHouse позволило выстроить процесс от управления бизнес-показателями до создания работающего аналитического приложения, сократить объем дублирующих работ и снизить зависимость от внешних подрядчиков.
➡️ На вебинаре разберём:
🟣Кейс PARUS Asset Management: как компании удалось выстроить единое управление бизнес-показателями, избежать дублирования расчётов и сократить затраты на разработку аналитики с помощью DataForge.
🟣Сравним два подхода к построению аналитических систем – с централизованным управлением бизнес-логикой и без.
🟣Покажем как подготовленные витрины используются веб-сервисами и личным кабинетом инвесторов: демо личного кабинета, примеры расчетов и зависимостей между показателями.
🟣Ответим на вопросы.
DataForge – первая российская платформа для построения семантического слоя, управления требованиями к данным, проектирования DWH и создания аналитических AI-агентов, включённая в Единый реестр российского ПО.
ИИ без страха: пять дней, чтобы сделать первые шаги
Glowbyte вместе с DataYoga приглашают на бесплатный онлайн-марафон об адаптации к ИИ в российских компаниях.
ИИ берёт на себя рутину, и роли меняются. Аналитикам важнее ставить задачи и проверять результаты, руководителям важнее ориентироваться в сценариях, рисках и сопротивлении сотрудников. Разберём, как в этом не потеряться.
9–13 ноября, онлайн. Каждый день: одна тема, эфир с экспертами из российских компаний-лидеров, которые уже работают с ИИ, и материалы на страницах марафона: практика, шаблоны и чек-листы.
Вы узнаете:
• какие задачи стоит отдавать ИИ, а какие требуют других решений;
• как отличать убедительный ответ ИИ от проверенного результата;
• на каком этапе находится ваша организация;
• какие компетенции усиливаются в эпоху ИИ.
Ждём всех: и руководителей, и специалистов, и увлечённых. Программа и регистрация: https://clck.ru/3WcU3y
Традиционно подготовили саммари по следам прошедшего на прошлой неделе митапа VTORNIK.Вечер. Напомним, VTORNIK.Вечер — серия наших бесплатных оффлайн мероприятий о внедрении AI в организациях.
Как обычно, было два выступления:
1. “RecSys-платформа в AI-эпоху” - Сергей Кузнецов, CTO RecSys & Search Platform, МТС Web Services.
2. “Как защищать данные, когда единого периметра больше нет” - Константин Черняк, Head of Data & AI Security, Wildberries & Russ.
Следующий VTORNIK.Вечер пройдет 24 ноября, следите за анонсами. Приходите, будем рады видеть. Присутствовать лично и иметь возможность задать вопросы спикерам всегда эффективнее.
Хорошего дня!
26–27 ноября в Москве пройдет Матемаркетинг
Техническая конференция для аналитиков, performance-маркетологов и менеджеров цифровых продуктов. Ожидается более 2000 участников и свыше 100 докладов и мастер-классов.
❗️Онлайн-день – 17 ноября❗️
Участники обсудят, какие задачи уже можно поручить ИИ-агентам, чем проверять качество их работы и что меняется в требованиях к специалистам по данным. Отдельная тема для маркетологов – измерение присутствия бренда в ответах языковых моделей (GEO).
Среди спикеров:
▪️Павел Злобин, руководитель маркетингового производства IT-Agency
▪️Денис Платонов, CEO ExciteKit и CPO UX Rocket
▪️Александр Давыдов, руководитель команды продуктовой аналитики Контура
▪️Денис Пехтерев, директор аналитики Т-Банка
▪️Сергей Бажин, главный аналитик данных ИТ-холдинга Т1
Между сессиями – карьерные консультации и активности на стендах партнеров: VK, Avito Tech, Magnit Tech, ПАО МТС, ИТ-холдинг Т1, Лемана Тех, UIS, UX Rocket и других компаний.
⏹Программа и регистрация – на сайте мероприятия
⏹Новости конференции – в ТГ-канале
А вот и автор алгоритмов Джон Ромеро (создатель 2-х оригинальных игр Doom) с редакцией :)
Читать полностью…
На Хабре вышел перевод статьи Сэма Роуза из ngrok про механизм работы процесса кэширования тоненов. Попутно она объясняет, как вообще устроена LLM.
Очень хорошая и глубокая статья. Без этого понимания к модели, на мой взгляд, лучше не подходить: промпт-инженерия превращается в заклинания, а счёт за API - в сюрприз.
Первое, что ломает интуицию: кэшируется не ответ. Отправьте один и тот же промпт десять раз и получите десять разных ответов, хотя в usage будет написано, что входные токены взяты из кэша.
Кэширование происходит внутри механизма attention. Attention разобран на примере “Mary had a little” с реальными весами GPT-2. Каждый токен смешивает эмбеддинги предыдущих в пропорции их важности, а маска с минус бесконечностью не даёт будущему влиять на прошлое. На простом наблюдении держится вся экономика. Модель генерирует по одному токену и на каждой итерации прогоняет весь контекст заново. При этом веса уже обработанных токенов не меняются. Значит, матрицы K и V можно посчитать один раз, сохранить и дальше считать только новую строку. Это и есть KV-кэш. Провайдеры держат его 5-10 минут после запроса.
Из этого следуют инженерные выводы, которые полезнее любого гайда по промптам:
• Совпадение работает по префиксу. Стабильная часть промпта должна идти первой, всё изменчивое - в конец. Если сдвинуть один символ в начале, платишь полную цену.
• Temperature, top_p и top_k кэш не ломают. Они работают уже после attention, на этапе выбора токена.
У вендоров разная философия. OpenAI кэширует автоматически, и в тестах автора попадание было около 50%. Anthropic даёт явный контроль за доплату и попадает в 100% случаев. Для длинных контекстов, где нужна предсказуемая задержка, это архитектурное решение.
https://habr.com/ru/articles/978498/
В копилку тем, кто много работает с json. Кажется интересная либа
https://lemire.me/blog/2026/10/12/parsing-json-at-tens-of-gigabytes-per-second-in-python/
Пожалуй, это самая фундаментальная статья про данные для агентов, которую я читал в этом году. Авторы - Pramod Sadalage и Prem Chandrasekaran из Thoughtworks, опубликована на сайте Мартина Фаулера. По сути, это карта работ, которыми мы в данных будем заниматься ближайшие несколько лет.
Главная мысль уже пару раз звучала в материалах выше про онтологию - аналитик годами копит неявный контекст: какую таблицу лучше не трогать, что «выручка» у нас уже без возвратов, что финансовый год начинается в феврале. Агенту всё это нужно сказать явно, дать доступ в реальном времени и качество, на которое можно опереться.
Ключевое отличие в том, что человек, увидев странные данные, перепроверяет. Агент уверенно действует. У людей есть нюх на подозрительно круглую цифру или цену, которая «как-то низковата». У агента нюха нет.
Ответ - контракты на данные, где схема работает как закон, а не как вежливая рекомендация. Freshness SLA, проверки качества в CI/CD, карантин для всего, что не прошло валидацию. Агент видит только сертифицированный слой, а плохие данные уезжают в dead-letter queue к человеку. Ответ «у меня нет актуальной цены» лучше уверенной ошибки.
Десятилетие «schemaless - это гибкость» заканчивается. Прощай, NoSQL 🙂 Ну, почти: хранить можно где угодно, но договор о данных теперь обязателен.
Вторая идея, которая мне особенно понравилась, - маршрутизация по порогу достоверности. Ниже порога агент зовёт человека. Важно, что порог задают показатели качества данных (свежесть, полнота, согласованность), а не только уверенность модели. Модель может быть абсолютно уверена в устаревшем ответе. Авторы честно признают, что свести всё это в один скор пока никто не умеет, и советуют начинать с жёсткого правила: любое нарушение контракта сразу уходит к человеку.
Третье - семантический слой. Он даёт агенту тот контекст, который у аналитика есть неявно. В статье он разложен на три модели: доменную (что существует), семантическую (как считаются цифры) и модель возможностей (что агенту разрешено делать). Существительные, числа, глаголы. Врезка с определениями терминов полезна сама по себе, потому что semantic layer, ontology и knowledge graph все понимают по-разному.
Лучше всего объясняет, куда вкладываться, одна цифра. В бенчмарке AtScale точность text-to-SQL выросла с менее чем 20% на сырой схеме до более чем 92,5% с семантическим слоем. На той же модели.
Когда агенты становятся основными потребителями данных, архитектура данных и есть архитектура ИИ.
https://martinfowler.com/articles/making-data-ready-for-agentic-ai.html
💥 Сначала подогнал формулу под данные, потом придумал, почему она работает: так 19 октября 1900 года родилась квантовая физика
Ровно 126 лет назад Макс Планк представил закон излучения абсолютно чёрного тела. Классическая физика конца XIX века предсказывала, что на коротких длинах волн энергия излучения растёт без предела, вплоть до бесконечности. Это называли ультрафиолетовой катастрофой. На графике она выглядит как чёрная кривая, которая улетает вверх и никак не совпадает с экспериментом.
Формула Планка описала спектр точно при любой температуре. Цветные кривые на графике, для 3000, 4000 и 5000 К, плавно поднимаются, достигают пика и падают, ровно как показывают измерения. Чем горячее тело, тем сильнее пик сдвигается в сторону видимого света и коротких волн.
История получилась знакомой любому, кто работал с данными. Планк сначала нашёл выражение, которое хорошо ложилось на свежие экспериментальные результаты берлинских физиков, а уже потом искал для него физический смысл. Он признавался, что пошёл на это почти от отчаяния. Объяснение потребовало допустить, что энергия излучается и поглощается не любыми порциями, а отдельными квантами. Планк сам не был уверен, что это больше, чем математический приём, но именно с этого допущения начался путь к квантовой механике.
Спустя почти век и четверть квантовые модели стали рабочим инструментом: от физики материалов до квантовых схем и алгоритмов, которые сегодня обсуждают рядом с ИИ. Всё началось с одной кривой, которая наконец совпала с данными.
Claude уверенно съедает BI 🙂 https://claude.com/resources/articles/dashboards-and-motion?utm_source=substack&utm_medium=email
Читать полностью…
🚀 29 октября Arenadata проведёт техническую онлайн-конференцию ArenaTech
На ArenaTech инженеры Arenadata расскажут, как устроены продукты компании изнутри, поделятся опытом решения сложных инженерных задач и представят ключевые направления технологического развития.
🟢Основные темы конференции:
🔜СУБД: архитектура, развитие и эксплуатация. Обсудим планы развития Arenadata DB (ADB) и Greengage DB, новые возможности MPP-СУБД, включая hot standby, вопросы безопасности и устранения уязвимостей. Отдельное внимание уделим утилите ggrebalance, которая позволяет сокращать число сегментов кластера и заменять хосты с сохранением равномерного распределения данных.
🔜Платформа данных: безопасность и Kubernetes. Расскажем об управлении секретами и доступом в Arenadata Hyperwave (ADH) с использованием OpenBao. Разберём особенности переноса Impala, Trino и Spark в Kubernetes: интеграцию с Kerberos, разработку операторов, адаптацию Spark и использование Celeborn и YuniKorn.
🔜Техническая документация, поиск и ИИ. Поделимся опытом организации процессов разработки технической документации и расскажем, как создавались интеллектуальный поиск и ИИ-ассистент, упрощающие поиск информации в документации многокомпонентной платформы данных.
После каждого доклада участники смогут задать вопросы спикерам в рамках Q&A-сессии.
Конференция будет интересна разработчикам, дата-инженерам, администраторам СУБД, архитекторам, DevOps-инженерам и техническим руководителям.
🗓 29 октября, 12:00 МСК
Формат: онлайн 🔛
Программа и регистрация