1834
Журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks | AI @viktorreh
Software Engineering for Data Scientists
Автор: Catherine Nelson
Год издания: 2024
#ds #en
Скачать книгу
DeepSeek выпустили свой харнесс, и теперь это самый быстрорастущий проект на GitHub
За пару дней репа собрала уже >140к звезд. Даже быстрее, чем OpenClaw в свое время.
https://github.com/deepseek-ai/deepseek-harness (DSH)
Харнесс – это слой, который превращает голую модель в агента, то есть определяет, как происходит работа с файлами, инструментами, памятью, циклом выполнения задач и тд. Грубо говоря, это все, кроме весов.
DSH основан на мета-фреймворке Cordis и подчиняется концепции «Everything is a plugin». То есть все в системе (модели, инструменты, скиллы, сессии, песочницы, файловая система, оркестрация, UI) реализовано как плагин, и все это можно смешивать, заменять и расширять.
Кроме CLI есть еще локальный веб-интерфейс, это приятно. Также агент может вызывать Claude Code или Codex как суб-агентов внутри своего воркфлоу.
Запускается в одну строку:
npx @deepseek-ai/dsh web
Как Netflix использует ИИ?
В квартальном отчёте перед инвесторами компания рассказала, что нейросети применялись в создании примерно 300 проектов этого года. Речь об использовании на любых стадиях производства: от концептов до постпродакшена. В отчёте выделили создание «сложных сцен» с помощью ИИ для:
🟣 индийского спортивного триллера «Слава»
🟣 американского исторического мини-сериала «Американский эксперимент»
🟣 бразильской футбольной драмы «Бразилия 70’: Третья звезда».
В них нейросети использовали для прорисовки толпы, исторических баталий и экспозиционных кадров. При этом глава Netflix Тед Сарандос отметил, что не собирается заменять нейросетями креативных экспертов.
А вы стали замечать больше следов нейросетей в сериалах и фильмах?
✔️ В Roblox можно будет собрать игру по текстовому описанию
Игровая платформа анонсировала функцию Build, которая превращает простой запрос в готовую базу игры.
Под капотом целый набор ИИ-моделей, открытых и собственных - они отвечают за игровые механики, окружение, персонажей, визуальный стиль и звук.
В геймдеве опасаются, что когда порог входа падает до текстового запроса, платформу зальёт поток AI-слопа, а авторам придётся конкурировать с ИИ-контентом, который штампуется в разы быстрее ручной работы.
Общее настроение индустрии при этом тревожное - по свежему опросу конференции GDC, 52% профессионалов игровой отрасли считают, что генеративный ИИ вредит геймдеву.
Pandas Workout: 200
exercises to make you
a stronger data analyst
Автор: Lerner Reuven
Год издания: 2024
#ds #en
Скачать книгу
Тем временем в Сан-Франциско прямо сейчас проходит OpenAI DevDay. Вот что уже показали:
➡️ Realtime api с минимальной задержкой. Это возможность встроить в свое приложение настоящий speech-to-speech. Будет доступно по цене базовой модели.
➡️ Vision файнтюнинг. Теперь можно тюнить свои модели с использованием изображений.
➡️ Завозят набор инструментов для кастомных дистилляций и ускорения моделей.
➡️ Finally: кэширование промптов, которое уже давно появилось у DeepSeek и Anthropic. На кэшированные промпты цена будет в половину меньше.
➡️ Интрумент для оценки моделей: можно будет нормально эвалить свои приложения.
👉 DataFrog | #datascience
Подготовили ML-словарик
Читайте и сохраняйте, что-то из этого наверняка вам пригодится на собеседованиях 👀
👉 DataFrog | #datascience #ml
Не хотите подключать целый ML-трекер только чтобы давать экспериментам понятные имена вроде eternal-rabbit-123?
Для этой задачи есть минималистичная библиотека hruid. Она делает ровно одно — генерирует уникальные и читаемые идентификаторы по шаблону число-прилагательное-существительное-глагол-наречие.
import hruid
generator = hruid.Generator()
phrase = generator.random()
print(phrase)
11-suspicious-owls-consume-eagerly
pip install hruid
Исследователи выяснили, что пользователи образовательных платформ учатся стратегически "обманывать" алгоритмы, предугадывая их обновления. Когда люди действуют сообща, они могут целенаправленно влиять на систему в свою пользу.
👉 DataFrog | #datascience
Безопасность LLM и агентских систем (GenAI OWASP)
Если вы работаете над дизайном агентов или систем с использованием LLM, рекомендую обратить внимание на ресурс GenAI OWASP.
Там собрана отличная база знаний по ключевым угрозам для AgenticAI-систем: описываются основные уязвимости, векторы атак и методы защиты. Материалы поданы очень сжато и по делу, читаются быстро.
Например, в последних обновлениях появились важные предупреждения о рисках использования сторонних MCP-серверов.
👉 DataFrog | #datascience
Google и другие исследователи создали виртуальную симуляцию клиники DiagGym, где ИИ с помощью обучения с подкреплением учится не просто ставить диагноз, но и стратегически планировать процесс обследования: выбирать необходимые тесты, минимизируя время и затраты. Это важный шаг в развитии медицинского ИИ, направленный на развитие его стратегического мышления.
👉 DataFrog | #datascience
Python for Data Science For Dummies
Авторы: John Paul Mueller, Luca Massaron
Год издания: 2024
#python #ds #en
Скачать книгу
Network Science with Python
Автор: David Knickerbocker
Год издания: 2023
#ml #python #en
Скачать книгу
Data Science для карьериста
Авторы: Жаклин Нолис, Эмили Робинсон
Год издания: 2021
#ds #ru
Скачать книгу
⚡️Пошаговый план: как стать аналитиком данных в 2025
Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?
Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опыта
Что будет на вебинаре?
🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня;
🟠 Лайфхаки трудоустройства:
— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;
— обсудите, какие отклики работают, а какие сразу отправляют в корзину;
— изнанка найма: инсайдерский взгляд на процессы отбора
🟠 Практические техники для новичков: разберёте, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях
🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от Simulative, который поможет бустануть карьеру
😶Зарегистрироваться на бесплатный вебинар
Дождались: OpenAI превьюит Ultrafast mode для GPT-5.6 Sol
Это тот самый инференс на Cerebras. Ускорение обещают в 14 раз (!), модель сможет генерировать до 750 токенов в секунду.
Для такого гиганта как Sol это просто грандиозная скорость. Достигается она за счет того что Wafer-Scale Engine архитектура Cerebras держит веса модели прямо на огромных чипах, и их не приходится гонять между памятью и хранилищем.
На видео спидран HLE. На весь бенчмарк ушло чуть больше 11 часов. У Claude Fable тот же прогон занял почти 80.
Пока мод будет доступен только избранной группе пользователей в API, но может и до обычных юзеров скоро доберется (но платить придется почку, не меньше).
https://openai.com/index/previewing-ultrafast/
Компания Stripe купила OpenRouter за 7 миллиардов долларов
OpenRouter был основан в 2023 году. В мае они подняли Series B на $113 млн при оценке $1.3 млрд. И вот сейчас их покупают за 7. При этом финальная цена может еще измениться: WSJ ранее писал о переговорах на сумму около $10 млрд.
Забавно, что раньше основатель OpenRouter сам называл свой стартап «AI-эквивалентом Stripe».
Вышла KIMI K3
Новая мощная китайская модель, которую очень хвалят. 2,8 трлн параметров. Хвалят до того, что называют ее третьей по уровню интеллекта моделью после Fable 5 и GPT-5.6.
Я решил проверить ее на создании WebGL-сайта выдуманной студии. Один промпт, 16 мин работы, ни единой правки.
Люблю тестить новые модельки на threejs проектах, новая KIMI молодец!
Тут тестим KIMI K3
А тут можно посмотреть сайт, который я с ней сделал поближе.
Роадмап по математике для начинающих ML специалистов
Все, кто начинает путь в машинном обучении, сталкиваются с вопросом: «Какую математику нужно знать и в каком порядке?». Огромный объем информации пугает.
Автор блога The Palindrome предлагает четкий и структурированный путь, который разбивает на части эту большую задачу.
Что конкретно в ней освещается:
1. Линейная алгебра (Linear Algebra) — язык данных
Данные в ML — это векторы и матрицы. Линейная алгебра — инструмент для работы с ними.
2. Математический анализ (Calculus) — основа оптимизации
ML — это поиск оптимальных параметров модели. Анализ дает инструменты для этого поиска.
3. Многомерный анализ (Multivariable Calculus) — двигатель градиентного спуска
Реальные модели имеют тысячи параметров. Нужно уметь оптимизировать в многомерных пространствах.
4. Теория вероятностей (Probability Theory) — работа с неопределенностью
Мир данных не детерминирован. Вероятность дает язык для описания неопределенности и построения моделей, которые работают с шумом.
🚨 Откликаешься на всё подряд, но собесов нет?
Третий месяц рассылаешь резюме на ML/DS вакансии. На hh, на Хабре, везде. В ответ тишина, даже до собеседования не доходишь. А на редкие, которые всё-таки случаются, приходишь и валишься на технике.
Знакомо?
Я Богдан, ML-инженер с 6+ годами опыта. Веду канал «Раскатываем ML кабины». Честно разбираю собесы, рынок и реальные кейсы учеников.
Например, недавно расписал кейс аналитика. 4 года в данных, зарабатывал 200к, хотел вырасти. За 7 месяцев перекатился в ML. Финал: 8 офферов от 350к, выбрал лучший на 500к на руки в крупной российской компании. Полный разбор подготовки и переговоров в канале.
А ещё у нас крутая пиратская тематика 🏴☠️
😐 Подписывайся 😐
Классика жанра по оценке ML-моделей
Нашел отличный материал для закрепления основ — статья «Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning»
Это, по сути, готовый учебник на 49 страницах, где разжеваны все ключевые моменты корректной работы с моделями:
- Как правильно оценивать качество модели.
- Как избежать утечки данных (data leakage) — главной причины неработающих моделей на проде.
- Как честно сравнивать между собой разные алгоритмы.
Перестаньте бояться алгоритмов! Они ваш друг, а не враг 🤝
Многие разработчики панически боятся алгоритмов на собеседованиях: «Я не олимпиадник!», «Зачем это, если есть Pandas?». Но спешу успокоить — алгосекция проверяет не знание экзотических структур данных, а нечто гораздо более важное.
Что на самом деле проверяют на собеседовании?
▪️ Умение мыслить структурно и декомпозировать задачу.
▪️Способность продумывать решение до написания кода.
▪️Внимательность к деталям и краевым случаям.
По сути, интервьюер хочет убедиться: с вами можно работать в команде, и вы не создадите тонну багов.
Почему алгоритмы — это прокачка навыков?
Представьте, что вы жмёте штангу в зале. Вы ведь не будете делать это в реальной жизни? Но это тренирует мышцы, которые пригодятся everywhere.
С алгоритмами та же история. Решая задачу о ступеньках, вы вряд ли будете применять это на практике. Но ваш мозг учится:
▪️Видеть закономерности
▪️Оптимизировать решения
▪️Предвидеть ошибки
Как правильно подходить к решению?
❌ Плохо:
Сразу писать код, надеясь на авось.
✅ Хорошо:
Читаешь задачу → пишешь тесты.
Проговариваешь решение → ловишь баги в голове.
Только потом кодишь.
И вот уже у тебя не просто решение, а решение, которое выглядит профессионально. Интервьюер думает: «ага, с этим чуваком можно работать».
Совет по подготовке:
▪️Сфокусируйтесь на LeetCode Easy/Medium
▪️Практикуйтесь мыслить вслух. Даже если ошибся — ничего страшного, это норм. Хуже молчать и сидеть с каменным лицом.
▪️Составьте шпаргалку с паттернами (two pointers, хеш-таблицы, динамическое программирование)
Ученые представили EGGROLL (Evolution Guided General Optimization via Low-rank Learning) — новый алгоритм для обучения огромных нейросетей без обратного распространения ошибки. Метод использует хитрые математические приемы, чтобы сделать эволюционные стратегии быстрыми и экономичными даже для моделей с миллиардами параметров. EGGROLL не уступает по качеству существующим методам, но требует значительно меньше памяти и вычислений.
👉 DataFrog | #datascience
Функция для фиксации случайных начальных значений (seed) во всех основных библиотеках, которые используются в машинном обучении
import os
import random
import numpy as np
import torch
def seed_all(seed: int = 42):
os.environ["PYTHONHASHSEED"] = str(seed)
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
torch.use_deterministic_algorithms(True)
torch.multiprocessing.set_start_method("fork", force=True)
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
📖 The Little Book of Deep Learning
Книжка-шпаргалка для быстрой подготовки к собеседованиям по DL.
Скачать
Data Science в действии
Автор: Леонард Апельцин
Год издания: 2023
#ds #ru
Скачать книгу
Data Science at the Command Line
Автор: Jeroen Janssens
Год издания: 2021
#ds #en
Скачать книгу
Установка SQLAlchemy и подключение к базе данных
SQLAclhemy — это де-факто фреймворк для работы с реляционными базами данных в Python. Он был создан Майком Байером в 2005 году. Эту систему используют, например, Reddit, Hulu и Dropbox. Знание SQLAclhemy сейчас важный навык (и требования в вакансиях это подтвердят). Для начала, научимся подключаться к базе данных.
Про Nested Cross-Validation
Это самая дорогая из "классических" схем валидации. Состоит из двух вложенных кросс-валидаций: внешней и внутренней. Внутренняя используется для подбора гипер-параметров/выбора модели, а внешняя - для оценки модели.
😻 #read