datasfrog | Unsorted

Telegram-канал datasfrog - DataFrog: Data Science

1834

Журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks | AI @viktorreh

Subscribe to a channel

DataFrog: Data Science

Software Engineering for Data Scientists

Автор:
Catherine Nelson
Год издания: 2024

#ds #en

Скачать книгу

Читать полностью…

DataFrog: Data Science

DeepSeek выпустили свой харнесс, и теперь это самый быстрорастущий проект на GitHub

За пару дней репа собрала уже >140к звезд. Даже быстрее, чем OpenClaw в свое время.

https://github.com/deepseek-ai/deepseek-harness (DSH)

Харнесс – это слой, который превращает голую модель в агента, то есть определяет, как происходит работа с файлами, инструментами, памятью, циклом выполнения задач и тд. Грубо говоря, это все, кроме весов.

DSH основан на мета-фреймворке Cordis и подчиняется концепции «Everything is a plugin». То есть все в системе (модели, инструменты, скиллы, сессии, песочницы, файловая система, оркестрация, UI) реализовано как плагин, и все это можно смешивать, заменять и расширять.

Кроме CLI есть еще локальный веб-интерфейс, это приятно. Также агент может вызывать Claude Code или Codex как суб-агентов внутри своего воркфлоу.

Запускается в одну строку:

npx @deepseek-ai/dsh web

Читать полностью…

DataFrog: Data Science

Как Netflix использует ИИ?

В квартальном отчёте перед инвесторами компания рассказала, что нейросети применялись в создании примерно 300 проектов этого года. Речь об использовании на любых стадиях производства: от концептов до постпродакшена. В отчёте выделили создание «сложных сцен» с помощью ИИ для:

🟣 индийского спортивного триллера «Слава»

🟣 американского исторического мини-сериала «Американский эксперимент»

🟣 бразильской футбольной драмы «Бразилия 70’: Третья звезда».

В них нейросети использовали для прорисовки толпы, исторических баталий и экспозиционных кадров. При этом глава Netflix Тед Сарандос отметил, что не собирается заменять нейросетями креативных экспертов.

А вы стали замечать больше следов нейросетей в сериалах и фильмах?

Читать полностью…

DataFrog: Data Science

✔️ В Roblox можно будет собрать игру по текстовому описанию

Игровая платформа анонсировала функцию Build, которая превращает простой запрос в готовую базу игры.

Под капотом целый набор ИИ-моделей, открытых и собственных - они отвечают за игровые механики, окружение, персонажей, визуальный стиль и звук.

В геймдеве опасаются, что когда порог входа падает до текстового запроса, платформу зальёт поток AI-слопа, а авторам придётся конкурировать с ИИ-контентом, который штампуется в разы быстрее ручной работы.

Общее настроение индустрии при этом тревожное - по свежему опросу конференции GDC, 52% профессионалов игровой отрасли считают, что генеративный ИИ вредит геймдеву.


Ответ Roblox - ранжирование по удержанию игроков, как и для обычных игр. То есть если в игру никто не играет, её никто и не найдёт.

Публичное альфа-тестирование Build стартует 28 июля в Новой Зеландии для пользователей от 9 лет с подтверждённым возрастом.

Публиковать свои творения на глобальную аудиторию смогут те, кому исполнилось 16. Будет бесплатная базовая версия и платные тарифы.

Roblox также готовит ИИ-агентов, которые помогут авторам с плейтестами и аналитикой, а ещё с ноября прошлого года обучает модель, генерирующую редактируемые 3D-сцены.

На этом фоне компания закрывает видеозвонки через аватаров Roblox Connect, запущенные в 2023 году.

Приоритеты, судя по всему, расставлены.


#news #ai #ml

Читать полностью…

DataFrog: Data Science

Pandas Workout: 200
exercises to make you
a stronger data analyst


Автор: Lerner Reuven
Год издания: 2024

#ds #en

Скачать книгу

Читать полностью…

DataFrog: Data Science

Тем временем в Сан-Франциско прямо сейчас проходит OpenAI DevDay. Вот что уже показали:

➡️ Realtime api с минимальной задержкой. Это возможность встроить в свое приложение настоящий speech-to-speech. Будет доступно по цене базовой модели.

➡️ Vision файнтюнинг. Теперь можно тюнить свои модели с использованием изображений.

➡️ Завозят набор инструментов для кастомных дистилляций и ускорения моделей.

➡️ Finally: кэширование промптов, которое уже давно появилось у DeepSeek и Anthropic. На кэшированные промпты цена будет в половину меньше.

➡️ Интрумент для оценки моделей: можно будет нормально эвалить свои приложения.

👉 DataFrog | #datascience

Читать полностью…

DataFrog: Data Science

Подготовили ML-словарик

Читайте и сохраняйте, что-то из этого наверняка вам пригодится на собеседованиях 👀

👉 DataFrog | #datascience #ml

Читать полностью…

DataFrog: Data Science

Не хотите подключать целый ML-трекер только чтобы давать экспериментам понятные имена вроде eternal-rabbit-123?

Для этой задачи есть минималистичная библиотека hruid. Она делает ровно одно — генерирует уникальные и читаемые идентификаторы по шаблону число-прилагательное-существительное-глагол-наречие.

import hruid

generator = hruid.Generator()
phrase = generator.random()
print(phrase)

11-suspicious-owls-consume-eagerly


Установка: pip install hruid
Репозиторий: https://github.com/nebbles/hruid-python

👉 DataFrog | #datascience #code

Читать полностью…

DataFrog: Data Science

Исследователи выяснили, что пользователи образовательных платформ учатся стратегически "обманывать" алгоритмы, предугадывая их обновления. Когда люди действуют сообща, они могут целенаправленно влиять на систему в свою пользу.

👉 DataFrog | #datascience

Читать полностью…

DataFrog: Data Science

Безопасность LLM и агентских систем (GenAI OWASP)

Если вы работаете над дизайном агентов или систем с использованием LLM, рекомендую обратить внимание на ресурс GenAI OWASP.

Там собрана отличная база знаний по ключевым угрозам для AgenticAI-систем: описываются основные уязвимости, векторы атак и методы защиты. Материалы поданы очень сжато и по делу, читаются быстро.

Например, в последних обновлениях появились важные предупреждения о рисках использования сторонних MCP-серверов.

👉 DataFrog | #datascience

Читать полностью…

DataFrog: Data Science

Google и другие исследователи создали виртуальную симуляцию клиники DiagGym, где ИИ с помощью обучения с подкреплением учится не просто ставить диагноз, но и стратегически планировать процесс обследования: выбирать необходимые тесты, минимизируя время и затраты. Это важный шаг в развитии медицинского ИИ, направленный на развитие его стратегического мышления.

👉 DataFrog | #datascience

Читать полностью…

DataFrog: Data Science

Python for Data Science For Dummies

Авторы:
John Paul Mueller, Luca Massaron
Год издания: 2024

#python #ds #en

Скачать книгу

Читать полностью…

DataFrog: Data Science

Network Science with Python

Автор:
David Knickerbocker
Год издания: 2023

#ml #python #en

Скачать книгу

Читать полностью…

DataFrog: Data Science

Data Science для карьериста

Авторы:
Жаклин Нолис, Эмили Робинсон
Год издания: 2021

#ds #ru

Скачать книгу

Читать полностью…

DataFrog: Data Science

⚡️Пошаговый план: как стать аналитиком данных в 2025

Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?

Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опыта

Что будет на вебинаре?

🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня;
🟠 Лайфхаки трудоустройства:
— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;
— обсудите, какие отклики работают, а какие сразу отправляют в корзину;
— изнанка найма: инсайдерский взгляд на процессы отбора
🟠 Практические техники для новичков: разберёте, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях

🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от Simulative, который поможет бустануть карьеру

😶Зарегистрироваться на бесплатный вебинар

Читать полностью…

DataFrog: Data Science

Дождались: OpenAI превьюит Ultrafast mode для GPT-5.6 Sol

Это тот самый инференс на Cerebras. Ускорение обещают в 14 раз (!), модель сможет генерировать до 750 токенов в секунду.

Для такого гиганта как Sol это просто грандиозная скорость. Достигается она за счет того что Wafer-Scale Engine архитектура Cerebras держит веса модели прямо на огромных чипах, и их не приходится гонять между памятью и хранилищем.

На видео спидран HLE. На весь бенчмарк ушло чуть больше 11 часов. У Claude Fable тот же прогон занял почти 80.

Пока мод будет доступен только избранной группе пользователей в API, но может и до обычных юзеров скоро доберется (но платить придется почку, не меньше).

https://openai.com/index/previewing-ultrafast/

Читать полностью…

DataFrog: Data Science

Компания Stripe купила OpenRouter за 7 миллиардов долларов

OpenRouter был основан в 2023 году. В мае они подняли Series B на $113 млн при оценке $1.3 млрд. И вот сейчас их покупают за 7. При этом финальная цена может еще измениться: WSJ ранее писал о переговорах на сумму около $10 млрд.

Забавно, что раньше основатель OpenRouter сам называл свой стартап «AI-эквивалентом Stripe».

Читать полностью…

DataFrog: Data Science

Вышла KIMI K3

Новая мощная китайская модель, которую очень хвалят. 2,8 трлн параметров. Хвалят до того, что называют ее третьей по уровню интеллекта моделью после Fable 5 и GPT-5.6.

Я решил проверить ее на создании WebGL-сайта выдуманной студии. Один промпт, 16 мин работы, ни единой правки.

Люблю тестить новые модельки на threejs проектах, новая KIMI молодец!

Тут тестим KIMI K3
А тут можно посмотреть сайт, который я с ней сделал поближе.

Читать полностью…

DataFrog: Data Science

Роадмап по математике для начинающих ML специалистов

Все, кто начинает путь в машинном обучении, сталкиваются с вопросом: «Какую математику нужно знать и в каком порядке?». Огромный объем информации пугает.

Автор блога The Palindrome предлагает четкий и структурированный путь, который разбивает на части эту большую задачу.

Что конкретно в ней освещается:

1. Линейная алгебра (Linear Algebra) — язык данных
Данные в ML — это векторы и матрицы. Линейная алгебра — инструмент для работы с ними.

2. Математический анализ (Calculus) — основа оптимизации
ML — это поиск оптимальных параметров модели. Анализ дает инструменты для этого поиска.

3. Многомерный анализ (Multivariable Calculus) — двигатель градиентного спуска
Реальные модели имеют тысячи параметров. Нужно уметь оптимизировать в многомерных пространствах.

4. Теория вероятностей (Probability Theory) — работа с неопределенностью
Мир данных не детерминирован. Вероятность дает язык для описания неопределенности и построения моделей, которые работают с шумом.


Главная идея роадмапа: не зубрежка, а понимание связей 🔆

Оригинал статьи с более глубоким погружением: The Roadmap of Mathematics for Machine Learning

👉 DataFrog | #datascience #ml

Читать полностью…

DataFrog: Data Science

🚨 Откликаешься на всё подряд, но собесов нет?

Третий месяц рассылаешь резюме на ML/DS вакансии. На hh, на Хабре, везде. В ответ тишина, даже до собеседования не доходишь. А на редкие, которые всё-таки случаются, приходишь и валишься на технике.
Знакомо?

Я Богдан, ML-инженер с 6+ годами опыта. Веду канал «Раскатываем ML кабины». Честно разбираю собесы, рынок и реальные кейсы учеников.

Например, недавно расписал кейс аналитика. 4 года в данных, зарабатывал 200к, хотел вырасти. За 7 месяцев перекатился в ML. Финал: 8 офферов от 350к, выбрал лучший на 500к на руки в крупной российской компании. Полный разбор подготовки и переговоров в канале.

А ещё у нас крутая пиратская тематика 🏴‍☠️

😐 Подписывайся 😐

Читать полностью…

DataFrog: Data Science

Классика жанра по оценке ML-моделей

Нашел отличный материал для закрепления основ — статья «Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning»

Это, по сути, готовый учебник на 49 страницах, где разжеваны все ключевые моменты корректной работы с моделями:
- Как правильно оценивать качество модели.
- Как избежать утечки данных (data leakage) — главной причины неработающих моделей на проде.
- Как честно сравнивать между собой разные алгоритмы.


Если чувствуете, что в фундаментальных знаниях есть пробелы, или нужно объяснить коллегам "как правильно" — эта статья идеальный вариант. Читается довольно быстро и расставляет все по полочкам.

👉 DataFrog | #datascience #machinelearning

Читать полностью…

DataFrog: Data Science

Перестаньте бояться алгоритмов! Они ваш друг, а не враг 🤝

Многие разработчики панически боятся алгоритмов на собеседованиях: «Я не олимпиадник!», «Зачем это, если есть Pandas?». Но спешу успокоить — алгосекция проверяет не знание экзотических структур данных, а нечто гораздо более важное.

Что на самом деле проверяют на собеседовании?

▪️ Умение мыслить структурно и декомпозировать задачу.
▪️Способность продумывать решение до написания кода.
▪️Внимательность к деталям и краевым случаям.

По сути, интервьюер хочет убедиться: с вами можно работать в команде, и вы не создадите тонну багов.

Почему алгоритмы — это прокачка навыков?
Представьте, что вы жмёте штангу в зале. Вы ведь не будете делать это в реальной жизни? Но это тренирует мышцы, которые пригодятся everywhere.

С алгоритмами та же история. Решая задачу о ступеньках, вы вряд ли будете применять это на практике. Но ваш мозг учится:
▪️Видеть закономерности
▪️Оптимизировать решения
▪️Предвидеть ошибки

Как правильно подходить к решению?


❌ Плохо:
Сразу писать код, надеясь на авось.

✅ Хорошо:
Читаешь задачу → пишешь тесты.
Проговариваешь решение → ловишь баги в голове.
Только потом кодишь.

И вот уже у тебя не просто решение, а решение, которое выглядит профессионально. Интервьюер думает: «ага, с этим чуваком можно работать».

Совет по подготовке:
▪️Сфокусируйтесь на LeetCode Easy/Medium
▪️Практикуйтесь мыслить вслух. Даже если ошибся — ничего страшного, это норм. Хуже молчать и сидеть с каменным лицом.
▪️Составьте шпаргалку с паттернами (two pointers, хеш-таблицы, динамическое программирование)


Вывод:

Алгоритмы — это не препятствие, а ваш союзник. Они качают навыки, которые делают вас сильнее как разработчика. На собеседовании важна не идеальность решения, а демонстрация системного подхода 😊

👉 DataFrog | #datascience #алгоритмы

Читать полностью…

DataFrog: Data Science

Ученые представили EGGROLL (Evolution Guided General Optimization via Low-rank Learning) — новый алгоритм для обучения огромных нейросетей без обратного распространения ошибки. Метод использует хитрые математические приемы, чтобы сделать эволюционные стратегии быстрыми и экономичными даже для моделей с миллиардами параметров. EGGROLL не уступает по качеству существующим методам, но требует значительно меньше памяти и вычислений.

👉 DataFrog | #datascience

Читать полностью…

DataFrog: Data Science

👉 DataFrog | #datascience #meme

Читать полностью…

DataFrog: Data Science

Функция для фиксации случайных начальных значений (seed) во всех основных библиотеках, которые используются в машинном обучении

import os
import random
import numpy as np
import torch

def seed_all(seed: int = 42):
os.environ["PYTHONHASHSEED"] = str(seed)
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
torch.use_deterministic_algorithms(True)
torch.multiprocessing.set_start_method("fork", force=True)


Максимально "грязное" решение для достижения детерминированных результатов при обучении моделек. Функция ставит начальные сиды у всех генераторов и задаёт детерминированное поведение бекэнда. В большинстве случаев все строчки не нужны, достаточно только:
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)


Более серьёзное решение, например для RL алгоритмов, это использование механизма torch.Generator() или jax.random.PRNGKey() для создания детерминированной псевдо-случайности в приложениях со многими потоками.

Pytorch: https://pytorch.org/docs/stable/generated/torch.Generator.html
Jax: https://jax.readthedocs.io/en/latest/jax.random.html

👉 DataFrog | #datascience #pytorch #code

Читать полностью…

DataFrog: Data Science

📖 The Little Book of Deep Learning

Книжка-шпаргалка для быстрой подготовки к собеседованиям по DL.

Скачать

Читать полностью…

DataFrog: Data Science

Data Science в действии

Автор:
Леонард Апельцин
Год издания: 2023

#ds #ru

Скачать книгу

Читать полностью…

DataFrog: Data Science

Data Science at the Command Line

Автор: Jeroen Janssens
Год издания: 2021

#ds #en

Скачать книгу

Читать полностью…

DataFrog: Data Science

Установка SQLAlchemy и подключение к базе данных

SQLAclhemy — это де-факто фреймворк для работы с реляционными базами данных в Python. Он был создан Майком Байером в 2005 году. Эту систему используют, например, Reddit, Hulu и Dropbox. Знание SQLAclhemy сейчас важный навык (и требования в вакансиях это подтвердят). Для начала, научимся подключаться к базе данных.

Читать полностью…

DataFrog: Data Science

Про Nested Cross-Validation

Это самая дорогая из "классических" схем валидации. Состоит из двух вложенных кросс-валидаций: внешней и внутренней. Внутренняя используется для подбора гипер-параметров/выбора модели, а внешняя - для оценки модели.

😻 #read

Читать полностью…
Subscribe to a channel