devsp | Unsorted

Telegram-канал devsp - Data Science | Machinelearning [ru]

19745

Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM. MAX - https://max.ru/devsp Личный блог - @just_genych По вопросам рекламы или разработки - @g_abashkin РКН: https://vk.cc/cJPGXD

Subscribe to a channel

Data Science | Machinelearning [ru]

Цена ошибки: паддинг, чекпоинты на сетевом диске и сторож, который гасил здоровое обучение

Косяки бывают в любой живой работе — и обычно им выделяют одну строчку где-то между графиками с результатами. Автор вывернул наоборот: сгрёб промахи в один материал и размотал их по-инженерному — что конкретно отвалилось, во сколько встало и что потом переделали. В списке — паддинг, чекпоинты, которые жили на сетевом диске, и сторож, гасивший здоровое обучение.

Во второй статье серии автор обещал рассказать, как арендовал видюхи в облаке и сжёг на них бабки, толком ничего не посчитав, а в третьей напомнил, что обещание всё ещё в силе. И вот выполняет: основная часть — про облачное дообучение языковой модели, а под конец — несколько косяков в измерениях, которые почти не стоили денег, зато были опаснее.

Какие были базовые модели, какие техники дообучения, откуда чекпоинты и датасеты — автор молчит. А вот классы карт, поставщиков, цену за час и порядок величин называет: без них разговор про стоимость превращается в пустой трёп.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

⚡ Как написать свою первую модель компьютерного зрения на Python за вечер?

Многие думают, что нейросети это сложно и нужен диплом математика. Из-за этого новички годами «готовятся» и так и не пробуют. А компании уже используют компьютерное зрение, чтобы считать очереди на кассах и контролировать загруженность магазинов.

Андрон Алексанян - аналитик с опытом 9 лет, преподаватель МИФИ и СEO Симулейтив проведет бесплатный вебинар и покажет, как с нуля собрать работающую модель на реальной бизнес-задаче.

Вы узнаете:

🔶Как подключить готовую модель YOLO в своём коде;
🔶Как посчитать людей в кадре и определить, пора ли открывать новую кассу;
🔶Как сделать счётчик посетителей, который используют в ритейле;
🔶Как довести такой проект до уровня портфолио.


Вебинар подойдёт новичкам: всё объясняем с нуля, код пишем вместе в Google Colab, ничего устанавливать не нужно.

🎁 ПОСЛЕ ВЕБИНАРА ВЫ ПОЛУЧИТЕ ГОТОВЫЙ КОД! Сможете запустить модель, поменять параметры и добавить проект в портфолио.

Глубокое обучение - основа современного ИИ. Специалисты, которые умеют создавать такие модели, сейчас нужны компаниям как никогда.

Эфир пройдет в это воскресенье (22 ноября) в 18:00!

🛎️ Регистрируйтесь на бесплатный вебинар!

Читать полностью…

Data Science | Machinelearning [ru]

«Инфостарт» собрал пачку из пяти материалов — про технологии и нестандартные ходы для тех, кто плотно сидит в 1С. В списке: ИИ-агент, который и на вопросы бухгалтера отвечает, и косяки в документах вылавливает; поиск расхождений между двумя базами 1С; прикручивание нейросети к живым данным через MCP; обмен данными в реалтайме на WebSocket.

Отдельная тема — выгрузка конфигурации без платформы и базы, да ещё и в пять раз шустрее штатного механизма. Авторы не голую теорию гоняют: живые примеры, итоги экспериментов и рецепты автоматизации разработки и рутины.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Google предупредила: временные чаты Gemini и переписки, заведённые с выключенной историей, теперь хранятся до двух месяцев. Срок, если что, подрос.

В американской корпорации поясняют: это ради безопасности. ИИ-системы развиваются, вот и защиту приходится подтягивать.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

В статье «Coalition Formation in LLM Agent Networks» кооперацию ИИ-агентов разбирают через теорию игр. Авторы предлагают математическую модель того, как агенты на больших языковых моделях сколачивают коалиции. Дальше — когда такие союзы держатся, сходится ли процесс и насколько тяжёлая там вычислительная сложность.

На 2400 экспериментальных эпизодах их протокол выдал устойчивые по Нэшу коалиции в 73,2% случаев. Стандартный промптинг — 41,8%.

Мелкая, но любопытная работа для тех, кто хочет въехать в математические основы многоагентных ИИ-систем:

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

😁 Гениальный ход!

💥 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Наши исследователи придумали, как прокачать качество рекомендаций новых товаров и контента на 35%

Рекомендации подбираются хорошо, когда уже есть история покупок. С новинками дела обстоят сложнее. Команда российских исследователей разработала два способа разобраться с проблемой холодного старта, которые уже представила на одной из топовых конференций в области поиска и обработки информации ACM CIKM в Риме.

Первый — модель E2L3AE. Она обучает текстовый энкодер и рекомендательную модель вместе, а не по отдельности, так что система лучше понимает, какие особенности товара важны пользователю. Полнота рекомендаций на датасете офисных товаров выросла на 20,3%, качество ранжирования — на 17,2% относительно L3AE.

Второй — архитектура MoE-IGR. Она соединяет графовую модель с подходом «смесь экспертов». Система оценивает характеристики товара и подбирает, какая нейросеть-эксперт или их сочетание сработает лучше всего, а затем сводит результаты с разными весами. Тестировали на фильмах, книгах и заведениях, разбирая четыре сценария: уже знакомые объекты, новинки, новые пользователи и новинки для тех, кто только пришёл. Именно на новинках модель раскрылась лучше всего: на данных MovieLens ранжирование поднялось на 34,5% по сравнению с PinSAGE.

✖️ Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

🖥 Пока фронтендеры и мобильные разработчики теряют работу, спрос на других инженеров взлетает

По данным нового большого исследования, за год количество открытых вакансий для фронтендеров сократилось на 51%, для Android-разработчиков упало на 47%, а для iOS — на 46%. Что еще:

— Спрос на Forward Deployed Engineers, которые внедряют технологии у клиентов, вырос сразу на 361%. На наше несчастье, ИИ пока не заменил эйчаров — количество вакансий для них взлетело на 295% относительно 2023 года.

— В выигрыше также оказались продакты, у которых +56% вакансий, и специалисты по безопасности с +34%.

— Из заметных минусов: удалёнка постепенно исчезает. Теперь её предлагают лишь в 14% IT-вакансий против 21% в конце 2022 года.


✖️ Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Всего месяц курса CS8803 в Технологическом институте Джорджии — и на руках реально жирные материалы

Эмбеддинги, рассуждения, выравнивание моделей, архитектура ИИ-агентов и работа с длинным контекстом — всё разобрано детально. И подкреплено научными публикациями.

Материалы офигенно ценные и лежат в открытом доступе

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Раздел про комплексные числа на Algebrica перебрали и обновили

За две недели там прошерстили и переписали весь раздел, который про комплексные числа: «Комплексные числа», «Операции с комплексными числами», «Тригонометрическая форма комплексного числа», «Формула Эйлера», «Показательная форма комплексного числа», «Формула Муавра», «Корни из единицы», «Основные неравенства для комплексных чисел», «Неравенство треугольника», «Неравенство Коши — Шварца», «Комплексные степени» и «Комплексный логарифм».

Всё это на Algebrica лежит в открытом доступе — ни рекламы, ни платных заглушек. Исходники статей в Markdown тоже отдают бесплатно: качай из репозитория на GitHub.

Ссылка: algebrica.org/complex-numbers

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Ферромарганец в ДСП-3: CatBoost дрессируют на прогноз дозы

Автор — Рамиль Максютов, и это уже вторая часть цикла про плавки в ДСП-3. Первая часть лежит тут.

В свежей статье на данных из первой части CatBoost учат предсказывать минимальную дозу ферромарганца для выплавки отливки из стали 35Л в дуговой сталеплавильной печи с основной футеровкой. Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

На Habr есть материал: JS-проект для моделирования физических экспериментов прокачали через ИИ-возможности.

В программе — эксперименты из разделов: механика, механические колебания, гидростатика. Код — голый Vanilla JS, сторонние библиотеки не подтягивали.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

В Railway кто-то полез в чужую инфраструктуру — и это заметили

Основатель хостинг-платформы Primcloud Джош Мандерс наехал на конкурента: работник Railway Джейк Разнер, по его данным, лез в инфраструктуру Primcloud. Причём не абстрактно, а в попытке реального взлома.

Дальше начали разбираться. Гендир Railway Джейк Купер и сам Разнер на заяву отреагировали. Второй не отвертелся: причастность к инциденту признал. Но злого умысла, говорит, не было — тестировал автономные алгоритмы для создания аккаунтов на сторонних платформах. А ИИ-агент «зашёл слишком далеко».

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Кто в IT платит выше рынка? И какой оффер считается хорошим?

Предлагаем опытным IT-специалистам поделиться мнением о зарплатах и бенефитах в крупных технологических компаниях.

Кто, на ваш взгляд, платит выше рынка?
У кого привлекательнее премии?
Насколько важны ДМС, спорт, питание и другие бонусы при выборе работы?

👉 Поделиться мнением: https://clck.ru/3WNjfX

Читать полностью…

Data Science | Machinelearning [ru]

Вышло исследование про то, как масштабировать мультиагентные системы. Главный головняк в этой теме сейчас один: заставить толпу ИИ-агентов нормально координироваться и тащить задачу вместе, а не тянуть одеяло каждый в свою сторону.

Как обычно устроено? Разработчик сверху рисует план: вот этот агент делает вот это, вот тут они перекидываются данными. И вся эта схема, как правило, работает одинаково — хоть задачу поменяй, хоть нет.

Исследователи придумали подход s3. Правила сверху больше не нужны: агенты сами, через обучение с подкреплением, учатся договариваться о совместной работе. Сами решают, когда пора действовать в одиночку, когда скинуть результаты другим, а когда и к коллегам по команде постучаться. Роли никто заранее не раздаёт.

И цифры реально бодрят. При тех же затратах на обучение и инференс группы s3 — а на тестах их состав был вдвое больше, чем на обучении — закрыли более чем в 25 раз больше задач на координацию, чем лучший базовый метод. Когда решения искали параллельно, обмен данными между агентами почти вдвое срезал объём повторной работы и обогнал метод best-of-N на величину до 9,4 балла. И самое интересное: агенты сами разложили между собой взаимодополняющие роли, причём это разделение не развалилось даже когда команда выросла. Исследование:

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Claude Pro без документов, посредников и KYC: мой опыт — от маркетплейса до бана

Автор уже вписался в клуб тех, кому Claude устроил бан. Аккаунт он завёл ещё в начале года, а первую Pro-подписку взял только в начале октября — через посредника на онлайн-маркетплейсе. Тогда с контролем было не так жёстко.

Подписка кончилась. Он снова пошёл к тому же продавцу за новым месяцем — и упёрся в верификацию. Загранпаспорта и других документов не было, так что он показал российский паспорт. Итог: пожизненный бан, восстановить нельзя.

После этого он решил платить сам. Зарубежных карт нет, заграндокументов тоже. Зато в запасе второй аккаунт, 6K ₽ и немного свободного времени. В статье автор делится опытом, рассказывает, как всё провернул, и даёт несколько советов.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Тестер вкатил моему боту critical за ценник. А бот всего лишь написал «подача до 2027 года»

Человек тестировал LLM-бота и прилетел critical за цену. Только бот никаких цен не называл: регулярка тупо прочитала «подача до 2027 года» как «до 2027 рублей».

Автор раскладывает три косяка тестера, которые со стороны казались багами бота, плюс один момент, где тестер реально прав. И отдельно — результаты прогона одинаковых 19 сценариев на gpt-5-nano и gpt-5-mini.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Безопасный AI в корпоративном контуре

Вебинар, онлайн
26 ноября, время уточняется

Как обеспечить безопасность корпоративного ИИ, когда с платформой работают целые команды, а агенты выполняют задачи от имени сотрудников? Разберём на примере VK AI Space: как устроены защита данных, управление доступами и контроль действий ИИ.

О чём будем говорить
· Доступы и роли: ролевая модель, сервисные аккаунты и API-ключи
· Защита данных: шифрование секретов и изоляция данных организаций
· Контроль моделей: как guardrails проверяют запросы и ответы
· Управляемость агентов: делегирование прав и аудит действий
· Контроль потребления: лимиты на токены, запросы и расходы

Спикер
Азамат Исмагулов, VK Tech

Зарегистрироваться

Читать полностью…

Data Science | Machinelearning [ru]

ONNX Runtime свалил с GitHub: что вообще происходит с репозиториями Microsoft

С вечера 17 ноября GitHub не отдаёт microsoft/onnxruntime: ни исходников, ни тегов, ни релизных архивов — глухо. И это не единственный сюрприз того вечера: в PyPI всплыли две заражённые сборки пакета Microsoft agent‑framework, и внутри у них сидит стилер.

Кого зацепило, что известно об инциденте и откуда теперь тащить сборки ONNX Runtime — всё в разборе: Читать далее.

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Добавляем в календарь: ML & Data Meetup RWB | 5 декабря

Как довести ML- и Data-решения до production, когда приходится учитывать вычислительные ограничения, качество данных, latency и требования бизнеса?

На ML & Data Meetup RWB разберем кейсы из опыта RWB, Авито и VK: архитектура моделей, оптимизация инференса, работа с данными и масштабирование систем под реальную нагрузку. Завершим митап праздничной атмосферой, обменом опытом и общением с теми, кто строит ML и Data в production.

Когда? 5 декабря, 13:00
Где? Москва + онлайн

В программе два трека:

Трек ML: Train Before Midnight
Как масштабировать обучение моделей и обеспечить эффективный инференс в production? Обсудим pretrain моделей до 100B параметров, inference на KServe, управление GPU-ресурсами, оптимизацию real-time ML-биддинга и математические методы решения задач маршрутизации.

Трек Data: Let It Flow, Let It Scale
Как строить устойчивую инфраструктуру данных для высоконагруженных систем? Разберём синтетику для OCR, отбор эмбеддингов, потоковую обработку на Kafka и Flink, управление состоянием, дедупликацию и observability.

Регистрация на митап открыта

Читать полностью…

Data Science | Machinelearning [ru]

🤬 ИИ-модели ненавидят Python

Программист выяснил, какие языки программирования бесят нейросети больше всего. Разраб опросил 12 ведущих моделей по 100 раз каждую. В итоге на Python все обплевались — он собрал 299 негативных отзывов, следом по нелюбви идут Rust и TypeScript.

А вот PHP неожиданно оказался в любимчиках: у него 28 положительных отзывов и ни одного отрицательного.

✖️ Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

🌎 Команда Google Chrome вместе с разработчиками других браузеров обновила набор скиллов для современной веб-разработки

Внутри Modern Web Guidance инструкции по 250 возможностям современных браузеров и 203 сценария их применения. Агенты учатся избегать устаревшие подходы, создавать адаптивные интерфейсы, делать анимации без лишнего JavaScript и использовать встроенные функции вместо сторонних библиотек.

Работает с Claude Code, Cursor и Gemini CLI

✖️ Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Вышло исследование про то, как рекомендательным системам точнее понимать, что нам реально интересно. Главный головняк в этой теме сейчас один: обычные модели предсказывают «среднее время просмотра», а за этой цифрой может стоять что угодно — кто-то пролистнул за секунду, кто-то досмотрел до конца.

Как обычно устроено? Модель выдаёт одно число: «это видео посмотрят в среднем 15 секунд». И всё. Хоть половина пользователей пролистнула его мгновенно, хоть все досмотрели — для алгоритма это одно и то же. Отсюда промахи в ранжировании: контент, который цепляет одних и отталкивает других, система видит вслепую.

Команда AI VK Research придумала подход HEGM. Вместо одной цифры модель предсказывает целый расклад сценариев: с какой вероятностью пролистают, с какой посмотрят частично, с какой досмотрят или включат повтор. И всё это одной моделью, а не зоопарком отдельных классификаторов.

И цифры реально бодрят. В VK Клипах за одну сессию стали смотреть на 10% больше роликов, досмотров дольше 10 секунд стало на 6% больше, а дизлайков — на 8,3% меньше. Проверяли на KuaiRec, VK-LSVD и датасете из 282 млн реальных взаимодействий — по качеству ранжирования обошли протестированные альтернативы.

И самое интересное: подход не привязан к видео. Музыка (пропустят трек или дослушают), реклама (сколько секунд выдержат), карточки товаров (сколько времени изучат) — та же логика. Причём встраивается в уже работающую систему без переделки архитектуры. Исследование по ссылке.

Читать полностью…

Data Science | Machinelearning [ru]

🖥Если ты хочешь обучиться вайбкодингу и при этом иметь возможность провести аудит безопасности своего продукта, то тебе сюда:

Lab IT — репозитории, полезные инструменты, курсы и многое другое по Айти:

ЭЙ, АЙ! — бесплатные инструменты, репозитории, обучающие материалы для упрощения работы с ИИ.

ИИ тебя взломает — объединит твои навыки в ИБ с ИИ

CyberGuard — оплот для ИБ-специалистов со всего телеграма. Тут ты точно узнаешь, как не оплошаться с запуском своего продукта, и защитить его от злоумышленников

🫵Подписывайся и обучайся!

Читать полностью…

Data Science | Machinelearning [ru]

Claude Fable 5.2: новая модель под микроскопом — большой разбор

Вечер воскресенья, 9 ноября. Anthropic выкатывает анонс — и за ночь его смотрят 9,7 миллиона раз. Причина простая: Claude Fable 5.2 за 30 часов довёл доказательство Великой теоремы Ферма до состояния, когда его по шагам проверяет компьютер. Силами сотен скоординированных агентов.

Параллельно эта же модель, начиная с пустой папки, за восемь дней накатала операционную систему — и та грузится на ноуте. В статье раскладывают: что за нейросеть, в чём Fable 5.2 расходится с Opus 5.5, GPT-6 и Gemini 4, почему бенчмаркам обычно не верят — и почему этим верить можно, и как формулировать промпты, чтобы модель не нагородила тебе бюрократии на 87500 слов. Цифры, пруфы, таблицы и графики прилагаются.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Приглашаем на митап для ML-разработчиков и дата-сайентистов 🥰

Как использовать LLM и агентов в поиске, чтобы точнее понимать запросы пользователей и повышать релевантность результатов?
19 ноября обсудим выбор моделей, оценку качества и работу таких систем в проде.

🔴 Борис Коварский, hh.ru — Агентный поиск в рекрутинге: опыт hh
🔴 Виктор Реушкин, hh.ru — Как устроен диалоговый поиск вакансий на hh
🤩 Алексей Казаков, Циан — LLM и энкодерные модели для поиска. Опыт развития подходов в поиске недвижимости


Дата и время: 19 ноября в 19:00 мск
Очно: Москва, офис hh
Онлайн: будет трансляция в VK и YouTube для тех, кто не сможет прийти в офис

После докладов можно будет пообщаться с коллегами — подготовим вкусную еду и напитки 🍕

Регистрируйтесь → участие бесплатное 🥹

#реклама
О рекламодателе

Читать полностью…

Data Science | Machinelearning [ru]

Z3R0, если верить Артуру Валиеву, — его первая в жизни научная работа. Благодарности он раздаёт пачкой: командам, которые стоят за Spore, eligibilit, e-prop, NEST Simulator, BindsNET, Brian2 и Norse. Прямо говорит — гении, а экспериментальные стенды называет чуть ли не святынями (только без религиозного подтекста). Без этих людей, мол, доброй части работы просто не существовало бы.

Ещё он вносит ясность: Spore тут — другой, инженерный проект под управление ИИ-задачами, с одноимённым нейроморфным модулем он не родня. И напоминает: наука начинается не с очередного свежесозданного файла main.rs. Она начинается с Тьюринга, Хебба, Розенблатта и Эшби, с исследований пластичности, нейрофизиологии, обучения с подкреплением, стохастических процессов и динамических систем.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Идея — ИИ — авария: в каком мире мы теперь живём

Материал про то, как существовать в новом мире ИИ и какие косяки вылезают на практике. На что реально смотреть, когда каждая собака орёт про ИИ, а директор впихивает его в дела всё злее.

Можно до посинения спорить, случилась ли революция и вообще что-то поменялось. Но инструменты уже не откатить — как и мысли у людей в головах. Часть этих мыслей решает, останешься ли ты завтра на своей должности, и она же начисляет тебе зарплату. Когда технологии упёрлись в некое плато, без этого разговора уже никак. И да, материал автор клепал по старинке.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Anthropic запилила гайд: какую модель брать под конкретную задачу

Anthropic выкатила гайд, где разжёвано, какую именно ИИ-модель тащить под конкретные задачи. И там прямо сказано: самая жирная по мощности система — не всегда лучший вариант в ряде случаев.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…

Data Science | Machinelearning [ru]

Сила команды во времени: как её замерить и что в итоге вышло с рейтингом Universal Cup

Сколько процентов дашь за то, что ваша тима утащит медаль с финала ICPC? Десятки команд крутят этот вопрос в голове. Но кто реально способен выдать внятный ответ? У MachineSolution — финалиста ICPC и гроссмейстера Codeforces — под рукой были результаты 30 контестов Universal Cup, немного свободного времени и зуд докопаться до сути.

В статье — матмодель силы команд во времени, виртуальные участия и распределение Гумбеля, разбор ничьих, проверка предсказаний и готовый рейтинг Universal Cup. Узнать, как устроен рейтинг

👉 Telegram | Max | 🌥 Claude и другие ИИ

Читать полностью…
Subscribe to a channel