🖥 Разработка реального и продвинутого ИИ‑проекта на Python

В этой статье мы рассмотрим разработку реального проекта машинного обучения на языке Python с использованием нейронных сетей.

Будем строить модель для классификации изображений, подробно объясняя каждый шаг и весь исходный код.

📌 Читать подробнее

@pro_python_code

Читать полностью…

🗣 FLOAT — новая open‑source модель для генерации говорящих портретов по аудио

Быстрее и реалистичнее SadTalker:
— Фотореалистичное видео с точной синхронизацией губ
— Плавные движения головы и эмоции
— Управление выражением лица и наклоном головы

💡 Основа — latent flow matching вместо диффузии:
⚡️ генерация быстрее, нет итераций, стабильные кадры

🌐page: https://deepbrainai-research.github.io/float/
🧬code: https://github.com/deepbrainai-research/float
📄paper: https://arxiv.org/abs/2412.01064
🍊jupyter: https://github.com/camenduru/Float-jupyter

Читать полностью…

📝 DocuSeal — open‑source альтернатива DocuSign, которую можно развернуть у себя

⚡️ Что умеет:
— WYSIWYG‑редактор PDF: подписи, даты, текстовые поля, вложения
— Мультиподписанты, мобильная адаптация
— Авторассылка писем, webhooks, API
— Можно хостить у себя через Docker, без сторонних сервисов

🚀 Работает сразу после запуска:

docker run --name docuseal -p 3000:3000 -v .:/data docuseal/docuseal

👨‍💻 В комплекте:
— UI‑компоненты под React, Vue, Angular
— SDK под JS, Python, PHP, Ruby
— Интеграции через iframe или embedding

🌐 GitHub (9.5k⭐):
https://github.com/docusealco/docuseal

Читать полностью…

😱 Как вернуть удалённый скрипт

Рассмотрим ситуацию, когда случайно/специально удалился исполняющийся bash-скрипт.

Чтобы не попадать в такие ситуации, всегда храните исходники в git — это избыточно, но бекапы никто не отменял.

Скрипт удалён с диска, но продолжает работать в фоне, значит его можно как-нибудь восстановить.

Создадим подопытный скрипт. touch /tmp/script.sh:

#!/bin/bash
sleep 1000
exit

Делаем его исполняемым chmod +x /tmp/script.sh и запускаем в фоне /tmp/script.sh &.

Символ & может служить разделителем между командами command & command, две команды выполнятся параллельно.

Скрипт запустили, он крутится в фоне. Удалим сам файл:

rm -f /tmp/script.sh

Ключ -f позволит удалить без лишних вопросов.

Восстанавливаем:

lsof -c 'script.sh'

На экран выведется простыня. Нам нужна строка, где в конце указан путь к удаленному скрипту:

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
script.sh 261899 root 255r REG 8,1 51 130773 /tmp/script.sh

Берем PID = 261899, берем FD = 255 и делаем так:

cat /proc/261899/fd/255

А вот и исходник скрипта:

File: /proc/261899/fd/255
#!/bin/bash
sleep 1000
exit

Вот полезная инфа, которая была использована в гайде:
man 5 proc # /proc/[pid]/fd/
man lsof

Читать полностью…

🐍 Совет дня для продвинутых Python-разработчиков

Хочешь писать чище и безопаснее, когда работаешь с вложенными dict? Забудь про dict.get(...).get(...) и используй collections.ChainMap или types.SimpleNamespace — но ещё лучше: pydantic или dotmap.

А вот компактный трюк на каждый день — безопасное извлечение с functools.reduce:

from functools import reduce

def deep_get(dictionary, keys, default=None):
    return reduce(lambda d, key: d.get(key, default) if isinstance(d, dict) else default, keys, dictionary)

data = {"user": {"profile": {"email": "test@example.com"}}}

email = deep_get(data, ["user", "profile", "email"])

📌 Почему это полезно:

- Нет KeyError

- Код читаемый

- Масштабируемо для любых уровней вложенности

🔥 Применяй в проектах, где много данных с API или JSON — избавит от лишних try/except и защитит от неожиданных крашей.

Python — это не только про лаконичность, но и про стабильность

Читать полностью…

🌟 HumanOmniV2: модель, которая понимает контекст видео.

Alibaba Group разработали HumanOmniV2, модель на базе Qwen2.5-Omni-7B-thinker, которая получила навык осмысления визуального контекста за счет изменения самого процесса мышления модели. Ее научили следовать строгому формату: сначала описать контекст, потом рассуждать и только затем давать ответ.

Теперь, прежде чем отвечать на вопрос, модель генерирует подробное описание сцены в теге <context>. На этом этапе она фиксирует, кто что делает, какой фон, какие звуки слышны. Только после этого в теге <think> она строит логическую цепочку рассуждений, связывая вопрос с собранным контекстом. И лишь в конце выдает результат в теге <answer> .

Чтобы этот подход работал, его усилили системой вознаграждений на основе RL. За точность и правильный формат модель получает стандартные награды, но были введены и две новых:

🟢«Награда за контекст» дается, если его описание полное и релевантное, причем качество этого описания оценивает другая, более мощная LLM;

🟢«Логическая награда» проверяет, что в своих рассуждениях модель действительно использовала данные из видео и аудио, а не проигнорировала их.

Для оценки HumanOmniV2 создали бенчмарк IntentBench (633 видео, 2689 вопросов) на основе Social-IQ 2.0, EMER и MDPE.

Его фишка в том, что вопросы требуют одновременного анализа: видеоряда (жесты, микровыражения), диалогов (тон, смысл реплик) и социального контекста (ирония, обман, скрытые намерения).

Тестовая модель обошла открытые аналоги на 3 бенчмарках:

🟠Daily-Omni: 58.47% (53.13% у MiniCPM-o 2.6);
🟠WorldSense: 47.1% (45.4% у Qwen2.5-Omni);
🟠IntentBench: 69.33% (64.20% у Qwen2.5-Omni).


📌Лицензирование: Apache 2.0 License.


🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #MMLM #HumanOmniV2 #Alibaba

Читать полностью…

📊 Лучшие базы данных — и где они уместны

1. PostgreSQL — универсальная реляционная БД
→ бизнес-приложения, аналитика, геоданные (PostGIS), JSON + SQL в одном

2. SQLite — встраиваемая БД без сервера
→ мобильные приложения, локальное хранение, CLI-инструменты, тесты

3. MySQL / MariaDB — быстрые SQL-БД для веба
→ сайты, CMS, WordPress, стартапы с LAMP-стеком

4. MongoDB — документо-ориентированная NoSQL
→ JSON‑подобные данные, прототипы, быстро меняющиеся схемы

5. Redis — in-memory key-value store
→ кеширование, очереди, счётчики, real-time метрики

6. ClickHouse — колоночная аналитическая БД
→ аналитика, лог-системы, BI‑дашборды, миллиарды строк — за миллисекунды

7. Neo4j — графовая БД
→ социальные графы, связи между сущностями, рекомендации

8. TimescaleDB — time-series над PostgreSQL
→ телеметрия, мониторинг, временные ряды, IoT

9. Cassandra — масштабируемая распределённая NoSQL
→ high-availability, терабайты данных, логика без JOIN-ов

10. DuckDB — аналитика в памяти, как SQLite для данных
→ локальный OLAP, ML‑воркфлоу, быстрые data pipelines

#databases #backend #dev #sql #nosql

Читать полностью…

💼 Готовый проект на Python: асинхронный сервис отслеживания цены акций

Отслеживает цены акций в реальном времени, рассылает push-уведомления при достижении триггеров и предоставляет REST + WebSocket API для фронтенда.

Почему проект ценен для портфолио

- Показывает владение современным стеком: FastAPI + WebSockets + asyncio, PostgreSQL, Redis, Docker, CI/CD.

- Демонстрирует продвинутые практики: типы (pydantic, mypy), тесты (pytest, pytest-asyncio), линтеры, GitHub Actions.

- Подходит для live-демо: легко задеплоить на Render/Fly.io/Hetzner и показать работу в браузере.

➡️ Читать статью

Читать полностью…

🔟 Open‑source Deep Research Assistants 🤖

Глубокие исследовательские агенты — не просто чат‑боты, а полноценные ИИ‑ассистенты, способные искать информацию, взаимодействовать с инструментами, планировать и писать отчёты. Ниже — 10 мощных open‑source проектов, которые уже можно протестировать:

1. DeerFlow — модульная система от Bytedance: DeerFlow — open‑source фреймворк от Bytedance для создания модульных LLM-агентов.
Поддерживает:
- планирование действий,
- анализ кода,
- генерацию отчётов (включая Text-to-Speech),
- адаптивную интеграцию инструментов.
Создан для исследований, автоматизации и построения сложных агентных пайплайнов.
https://github.com/bytedance/deer-flow

2. Alita — самообучающийся агент с поддержкой Model Context Protocols (MCP), всё в одном модуле. Alita — агент, который сам придумывает, как ему расширить себя, не полагаясь на заранее написанные сценарии, и уже демонстрирует топовые результаты на сложных тестах.
https://github.com/CharlesQ9/Alita

3. WebThinker — автономный веб‑поиск с логикой "думай‑ищи‑пиши", RL‑обучением и глубокой навигацией
https://github.com/RUC-NLPIR/WebThinker

4. SimpleDeepSearcher — это лёгкий, но эффективный open‑source фреймворк от RUCAIBox, предназначенный для автономного веб-поиска через импровизированные многотуровые сессии:

- Использует Supervised Fine‑Tuning (SFT) вместо сложного RL, что значительно упрощает обучение и снижает вычислительные затраты
- Генерирует реалистичные траектории поиска и рассуждений, симулируя поведение пользователя в живом поисковом окружении .
- Критически отбирает данные по нескольким критериям качества: разнообразие запросов, сложность, структура ответов

5. AgenticSeek — приватный on‑device ассистент с выбором эксперта под задачу и голосовым управлением
https://github.com/Fosowl/agenticSeek

6. Suna — универсальный ассистент: браузер, CLI, работа с файлами, API, деплой
https://github.com/kortix-ai/suna

7. DeepResearcher — это комплексный open-source фреймворк от GAIR‑NLP, предназначенный для обучения LLM‑агентов, способных проводить глубокие исследования в автономном режиме, взаимодействуя с вебом. Использует несколько агентов‑браузеров, которые совместно исследуют веб и обрабатывают информацию
https://github.com/GAIR-NLP/DeepResearcher

8. Search‑R1 — агент на PPO/GRPO с поддержкой LLaMA3, Qwen2.5 и кастомных поисковиков. Агент учится эффективному циклу «думай — ищи — думай — отвечай» через RL, достигая важных улучшений в точности ответов и эффективности поиска.
https://github.com/PeterGriffinJin/Search-R1

9. ReCall — это фреймворк на основе RL, который учит LLM "должным образом" вызывать и комбинировать инструменты, используя сгенерированные задачи, без необходимости вручную собирать примеры вызовов — и всё это в открытом доступе.
https://github.com/Agent-RL/ReCall

10. OWL — мультиагентная система на CAMEL‑AI для динамического взаимодействия между агентами
https://github.com/camel-ai/owl

Агенты умеют планировать, взаимодействовать с браузером, запускать скрипты, интегрироваться с API и работать автономно.

Всё проекты — с открытым кодом. Можно изучить, собрать и доработать под свои задачи.

@ai_machinelearning_big_data

#ml #rl #aiagents #ai #agents

Читать полностью…

🌟 Собрал для вас БЕСПЛАТНЫЕ аналоги популярных нейросетей, которые значительно облегчат вашу работу

• Ideogram (MidJourney) — генератор изображений с огромным количеством настроек.
• Pikalabs (Runway) — инструмент для создания и редактирования видео с помощью ИИ
• Gamma (Power Point) — платформа для создания презентаций с ИИ-поддержкой.
• N&N (Zapier) — автоматизация задач с использованием ИИ.
• Krita (Photoshop) — бесплатный редактор изображений с функциями ИИ.
• Gemini (ChatGPT) — мультимодальная нейросеть от Google для генерации текста, изображений и кода.



freecourses

Читать полностью…

🧬 Genesys: Language Modeling by Language Models
Проект от Allen Institute — Genesys (Genetic Discovery System) — это распределённая эволюционная система, в которой сами языковые модели (LLM) создают и улучшают другие языковые модели.

🛠 Что делает Genesys:
• Автоматизирует весь цикл: от генерации идеи до реализации, проверки, обучения и оценки новых моделей
• Использует LLM-агентов в роли исследователей и архитекторов
• Работает как распределённая система, способная параллельно развивать десятки направлений
• Имеет визуальный интерфейс, где можно наблюдать за эволюцией моделей и сравнивать результаты

🌐 Демо-доступ:
Доступен онлайн на сайте genesys.allen.ai (первая сборка может загружаться медленно)

📊 Основные разделы интерфейса:
• Evolution Statistics — статистика и ход эволюции
• Design Viewer — галерея сгенерированных архитектур (можно скачивать)
• Design Leaderboard — лидерборд лучших дизайнов по метрикам

🎥 Есть короткое видео-демо, где показаны функции и логика системы

📄 Исходный код и исследовательская статья опубликованы на GitHub и в открытом доступе

🧠 Genesys — это шаг к будущему, где языковые модели смогут исследовать и разрабатывать сами себя

💻 Попробовать: https://genesys.allen.ai
📝 Код https://github.com/allenai/genesys
✍️ Статья: https://arxiv.org/abs/2506.20249

Читать полностью…

✔️ OpenAI выложили в открытый доступ Customer Service Agent Demo

Теперь у всех есть пример, как сделать продакшн-агентов с маршрутизацией, безопасностью и интерфейсом — от запроса до ответа.

Что это такое:

• Многоагентная система для поддержки клиентов (например: бронирование мест, отмена рейса, статус рейса, FAQ)
• Демка написана на Python + Next.js
• Использует OpenAI Agents SDK
• Встроены guardrails: защита от неуместных запросов и попыток обхода правил
• UI: внутри готовый интерфейс чат-бота

Как работает:

1. Пользователь пишет запрос
2. Система выбирает подходящего агента (например, `SeatBooking`)
3. Агент отвечает или передаёт диалог другому
4. Есть fallback на человека, если нужно

Как запустить:

# Backend
cd python-backend
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
uvicorn api:app --reload --port 8000

# Frontend
cd ui
npm install
npm run dev

Далее открываем: http://localhost:3000

Особенности
• MIT-лицензия — можно адаптировать под свои задачи
• Удобно расширять: добавлять новых агентов, инструменты, правила
• Простой код, всё задокументировано
• Рабочий кейс от OpenAI

🔗 GitHub: github.com/openai/openai-cs-agents-demo

Если вы хотите собрать систему из агентов — это отличная точка старта.

@ai_machinelearning_big_data

#chatgpt #openai #aiagents #ai

Читать полностью…

📚 ArXiv Research Agent — отличный помощник для научных исследований.

Агент самостоятельно:
• Найдёт релевантные статьи с arXiv, bioRxiv, medRxiv и Semantic Scholar
• Проведёт полноценный литературный обзор
• Покажет, что упущено, и предложит, что добавить
• Даст инсайты и цитаты из миллионов научных работ
• Генерирует готовые конспекты
И др.

Вскоре обещают добавить поддержку MCP.

🔜 Попробовать: https://www.alphaxiv.org/assistant

@ai_machinelearning_big_data


#agent #ArXiv #ai #ml

Читать полностью…

🐍 Задача на Python — Топ‑3 самых популярных товаров

Допустим, у нас есть список покупок пользователей:

orders = [
    {"user": "alice", "items": ["apple", "banana", "apple"]},
    {"user": "bob", "items": ["banana", "orange"]},
    {"user": "carol", "items": ["banana", "apple", "orange", "banana"]},
    {"user": "dave", "items": ["apple"]},
]

🎯 Задание:
Найти 3 самых популярных товара по количеству покупок (не по числу пользователей, а по общему количеству упоминаний).

✅ Ожидаемый результат:

[('banana', 4), ('apple', 4), ('orange', 2)]

💡 Решение:

from collections import Counter

# Собираем все товары в один список
all_items = []
for order in orders:
    all_items.extend(order["items"])

# Считаем количество каждого товара
item_counts = Counter(all_items)

# Получаем топ-3 самых популярных
top_3 = item_counts.most_common(3)

print(top_3)

📌 Что тренирует задача:

• Работа со словарями и списками
• Использование Counter из модуля collections
• Умение работать с вложенными структурами
• Сортировка по частоте с помощью most_common()

#python #задача #кодинг #алгоритмы #учимпитон #collections

Читать полностью…

🐍 Лайфхак: Ленивая загрузка огромных JSON-файлов с помощью ijson
Ситуация:
У вас огромный JSON-файл (гигабайты данных), который не помещается в память.
Стандартный json.load() просто упадёт с OOM.

Решение:
Используйте библиотеку ijson — это парсер JSON "на лету", который читает данные потоково, как SAX для XML.

Пример:

import ijson

with open('huge.json', 'rb') as f:
    # Предположим, внутри файла — массив объектов
    for obj in ijson.items(f, 'item'):
        # obj — очередной элемент массива, не вся структура целиком!
        # Можно обрабатывать на лету и не держать в памяти гигабайты
        process(obj)  # Ваш код обработки

Плюсы:

Поддерживает вложенные структуры, сложные схемы JSON

Минимальное потребление памяти

Подходит для любых задач потоковой обработки

🔥 Если часто работаете с большими файлами — этот инструмент реально спасает время и ресурсы!

Читать полностью…

🧠 Qwen3-MT — Alibaba продолжает жечь и выпускает еще одну модель, в этот раз для машинного перевода.

🌍 Поддерживает 92+ языка, на которых говорит 95% населения мира

📚 Обучен на триллионах токенов из интернета, открытых документов и книгах, субтитров из видео.

🔬 Что внутри:
- Модель Qwen3-MoE-72B с архитектурой Mixture-of-Experts
- Заточена на переводческие фишки, поддерживает сложную терминологию и даже очень редкие слова.
- RLHF: обучение с подкреплением повышает точность и естественность модели

Возможности:
✅ Обеспечивает качественный перевод в реальном времени
✅ Контроль стиля и терминов
✅ Масштабируемость для API и продакшена
✅ Цена — от $0.5 за миллион токенов

🟡 Попробовать демку: https://huggingface.co/spaces/Qwen/Qwen3-MT-Demo
🟡 ModelScope: https://modelscope.cn/studios/Qwen/Qwen3-MT-demo
🟡 Документация API: https://alibabacloud.com/help/en/model-studio/translation-abilities
🟡 Блог с подробностями: https://qwenlm.github.io/blog/qwen-mt/

@ai_machinelearning_big_data


#Qwen #Alibaba #ml #llm #ai

Читать полностью…

🎨 Встречайте Neta Lumina — самую продвинутую open-source модель для генерации аниме-артов!

Это уже 4-я модель в линейке, и она впечатляет:

🔹 Точная настройка под 200+ аниме-стилей: от Guofeng и Furry до пейзажей и редких тем
🔹 Хорошая согласованность промптов, даже при длинных описаниях на естественном языке
🔹 Мультиязычная поддержка

🔥 Идеальный выбор для художников, аниматоров и фанатов генеративного арта.

🔹 Model on Hugging Face (Commercial use allowed):https://huggingface.co/neta-art/Neta-Lumina
🔹 Playground (Free to test):https://huggingface.co/spaces/neta-art/NetaLumina_T2I_Playground
⚙️ Supports ComfyUI, LoRA tutorial → https://docs.google.com/document/d/1fSp8wgraQeeaM58DVbnFoRULyyhPvt3MgY0Qja0Otc0/edit?tab=t.0

@data_analysis_ml

Читать полностью…

📦 Pydantic Extra Types — коллекция дополнительных типов данных для Pydantic, которые не вошли в основную библиотеку. Проект расширяет возможности валидации данных, предлагая специфические форматы и проверки.

Типы подключаются как опциональные зависимости, позволяя выбирать только нужные компоненты. Например, можно добавить поддержку pendulum для работы с временными зонами.

🤖 GitHub

Читать полностью…

🐧 Продвинутый совет для Linux: как узнать, какой процесс держит файл, даже если он уже удалён

Иногда файл удаляется (`rm`), но система продолжает занимать под него место. Почему?

Потому что процесс всё ещё держит этот файл открытым, и диск не освобождается, пока он не завершится.

🔥 Найти такие случаи можно так:

lsof | grep deleted

📌 lsof покажет все файлы, которые открыты процессами. Если строка содержит (deleted) — это значит, что файл был удалён, но всё ещё используется.

Пример вывода:

python3  12345 user  txt  REG  8,1  20480 123456 /tmp/log.txt (deleted)

→ Процесс с PID 12345 держит удалённый файл /tmp/log.txt.

✅ Что можно сделать:
- Освободить диск — завершить процесс (`kill 12345`)
- Или: очистить через /proc без остановки:

: > /proc/12345/fd/3

(только если вы точно знаете, какой дескриптор используется)

⚠️ Часто встречается при работе с логами, Docker-контейнерами и временными файлами.

📌 Используйте lsof | grep deleted как диагностику, если "всё удалили, но место не освободилось".

Читать полностью…

✨ Google представили GenAI Processors — open-source библиотеку для создания AI-приложений в реальном времени

GenAI Processors — это новый инструмент от команды Google DeepMind, разработанный для быстрой сборки потоковых и мультимодальных AI‑систем. Библиотека обеспечивает удобную работу с цепочками обработки данных, модульную архитектуру и поддержку стриминга.

Основные возможности:

— Потоковый ввод/вывод (stream-based I/O)
— Простая сборка пайплайнов через chaining
— Модульность и переиспользуемость (composability)
— Поддержка Gemini и Gemini Live API
— Асинхронная архитектура с минимальной задержкой

🔧 GenAI Processors позволяет разработчикам легко собирать голосовых агентов, мультимодальные интерфейсы и реактивные приложения на базе LLM.

🔗 GitHub: https://github.com/google-gemini/genai-processors
📖 Блог: https://developers.googleblog.com/en/genai-processors

Читать полностью…

⚡️ Microsoft обновила собственный бесплатный курс по генеративному ИИ

В курсе видео, практика (код) и дополнительные материалы.
Пргорамма курса состоит из изучения структуры и работы LLM, тонкостям промптинга, созданию собственного приложения для генерации изображений, функционалу RAG для LLM и принципам файнтюна.

📌 А здесь мы вылудили полный список бесплатных курсов.

Для прохождения курса нужны:
- учетная запись на Azure
- доступ к api OpenAI

Разумеется, все методики и манипуляции предлагается выполнять обучающимся в экосистеме Microsoft, на их мощностях и с использованием их сервисов.

Бэкенд учебного приложения для генерации картинок - DALLE и Midjourney.

Большие надежды строить относительно курса не стоит - экосисистема Microsoft требует отдельных компетенций, но в качестве базового структурированного курса для новичков - вполне подойдет.

🖥 Курс полностью выложен на Github: https://github.com/microsoft/generative-ai-for-beginners

Читать полностью…

⚡️ Почему лучшие разработчики всегда на шаг впереди?

Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.

ИИ: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Мл собес t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
МЛ: t.me/machinelearning_ru
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Физика: t.me/fizmat

Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

📕Ит-книги: /channel/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi

Подпишись, чтобы всегда знать, куда двигаться дальше!

Читать полностью…

Linux: как быстро найти, какие файлы занимают больше всего места в системе

Когда df -h показывает, что диск забит, но ты не понимаешь, что именно съело память, вот команда, которая спасает.

du -ahx / | sort -rh | head -n 20

-a — считает и файлы, и каталоги
-h — human-readable (МБ, ГБ)
-x — не переходит в другие файловые системы (важно для /proc, /mnt, tmpfs)
sort -rh — сортировка от большего к меньшему
head -n 20 — покажет только топ

Она отлично работает, когда нужно:
– найти огромный лог или зависший кэш
– понять, где лежит более 100 Гигабайт
– навести порядок перед бэкапом системы

Для интерактивного анализа — можно подключить ncdu.

Находим, какие файлы занимают больше всего места в системе

Читать полностью…

Python — это фундамент, на котором можно построить карьеру в аналитике данных.

Современные компании все чаще ищут специалистов, способных не просто писать код, но и извлекать из данных полезные для бизнеса инсайты. И если вы уже владеете Python, у вас есть серьезная фора перед другими кандидатами.

3 июля в 19:00 (мск) Анастасия Зеленова, team lead аналитики в Raiffeisen CIB, расскажет, кто такие аналитики и какие навыки и инструменты необходимы для работы, а также покажет повседневные задачи аналитика на реальных примерах.

Присоединяйтесь к бесплатному онлайн-вебинару: https://clc.to/erid_2W5zFHg41K6 

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFHg41K6

Читать полностью…

Wondera AI ии, который генерирует полноценные треки за минуту и заметно обходит конкурентов по качеству.

Вы можете создавать, редактировать и выпускать музыку бесплатно, а нейронка подскажет, как лучше составить промт для трека.

Пользуемся тут.

Читать полностью…

🧠 Сложная и интересная задача для Python-инженеров:
"Запусти чужой Python-код... но так, чтобы он не сломал твой сервер"

Представь, ты разрабатываешь платформу, где пользователи могут запускать произвольные Python-скрипты:
например, в формате онлайн-компилятора, песочницы для тестов, или генератора графиков.

📌 Условия задачи:
Ты должен написать систему, которая:
• Принимает произвольный Python-код от пользователя
• Выполняет его безопасно и изолированно
• Ограничивает время выполнения до 2 секунд
• Ограничивает память до 128 MB
• Блокирует доступ к файловой системе, сети, subprocess, fork
• Возвращает stdout, stderr и статус выполнения

🛡️ Безопасность — ключ:
• Скрипт может попытаться сделать os.remove('/'), import socket, while True: и т.п.
• Ваша система не должна пострадать. Даже если кто-то пошлёт fork-бомбу или запросит весь RAM.

📦 Технические ограничения:
• Решение должно быть на Python
• Можно использовать Docker, podman, или Firecracker — но обоснуй выбор
• Стандартная библиотека разрешена, но доступ к os, sys.modules, inspect, eval, __import__ — должен быть отключён или переопределён
• Никаких внешних HTTP-запросов, файловых сокетов или pip install

🔧 Что ожидается:

1. Функция запуска:

result = run_code_safely(code="print(2 + 2)")
# result = { "stdout": "4\n", "stderr": "", "exit_code": 0, "status": "ok" }

Изоляция среды:
• Вариант 1: через запуск контейнера с ограничениями (docker run --rm --net=none --memory=128m)
• Вариант 2: через Firejail / chroot / seccomp / AppArmor профили
• Вариант 3: через интерпретатор Python внутри subprocess с ограничениями через resource, signal, ast и multiprocessing.Process

Блокировка опасных импортов и функций:
• Запретить import os, import subprocess, import, eval, exec, open, globals()
• Пример: AST-парсер удаляет запрещённые ноды до запуска

Обработка ошибок и ограничений:
• TimeoutExceededError — если код работает > 2 сек
• MemoryLimitError — если процесс превысил лимит
• SecurityViolation — при попытке запрещённого импорта или доступа

Опционально — FastAPI API:

POST /run
{
  "code": "for i in range(10): print(i)"
}

→ Ответ:

{
  "stdout": "0\n1\n2\n...\n",
  "stderr": "",
  "status": "ok",
  "time": 0.032
}

🎯 Цель:
Собрать систему, которая запускает потенциально опасный код от незнакомцев — и не падает, не зависает, не открывает доступ к хосту.

🤯 Challenge:
• Как отследить попытку from os import system?
• Что делать с __import__('os').system('ls')?
• Как гарантировать остановку при while True: pass?
• Как контролировать память на уровне Python?

✅ Если решишь — ты разберёшься с:
• AST-парсингом и безопасностью исполнения Python
• Управлением ресурсами (CPU, RAM, время) на уровне ОС
• Изоляцией через контейнеры и sandbox-окружения
• Построением безопасных API и интерпретаторов

Читать полностью…

🧠 BREAKING: MIT опубликовал первое исследование мозга пользователей ChatGPT

Результаты звучат тревожно:

> 🧪 У пользователей наблюдаются измеримые изменения в мозге
> 🤖 Формируется зависимость от ИИ
> 📉 Способность к самостоятельному мышлению снижается
> 📝 83.3% участников не смогли вспомнить эссе, которое «написали» с помощью ChatGPT
> 🧠 Количество активных нейронных связей упало с 79 до 42

MIT буквально фиксирует "мягкую когнитивную атрофию" после регулярного использования LLM.

💬 Мы — не просто наблюдатели ИИ-революции. Мы её подопытные.

🤔 Вопрос не в том, заменит ли ИИ человека.
А в том, кем мы станем, если полностью передадим ему мыслительные функции.

📌 Почитать

Читать полностью…

Уверены в своих навыках кодинга?
 
Тогда заглядывайте в канал Selectel. Всю неделю в канале будут выходить полезные материалы для разработчиков:
● Подробная инструкция, как сделать приложение на базе веб-технологий;
● Технические задачи для настоящих Python-энтузиастов;
● Идеи для pet-проектов: от генерации сложных паролей до нейросети для создания изображений;
● И даже выгодные продуктовые предложения, которые помогут воплотить идеи на инфраструктуре Selectel.
 
Подписывайтесь на канал и прокачивайте знания в сфере разработки ➡️
 
Реклама, АО «Селектел», ИНН: 7810962785, ERID: 2VtzquikcTx

Читать полностью…

QA-митап от YADRO — уже 19 июня

📍 Санкт-Петербург и онлайн
🕕 Сбор гостей с 18:00
🎫 Участие бесплатное

Мероприятие будет полезно специалистам в области автоматизированного тестирования, особенно тем, кто работает с Python и внедряет собственные инструменты и процессы в тестовую инфраструктуру.

В программе:
— Обзор TestY — системы управления тестированием (TMS) с открытым исходным кодом и плагинной архитектурой.
— Подход к автоматизации тестирования оборудования: от простого Bash до интеграции с тестовыми планами.
— Анализ метрик качества, которые оказывают влияние на принятие решений в IT-продуктах и проектах.

Спикеры — эксперты YADRO и приглашенные гости из Сбера, Т-банка и других компаний с опытом построения QA-процессов в крупных IT-командах.

Офлайн-участников ждут демозона с оборудованием YADRO, интерактивные стенды, технический квест, кофе-брейк и неформальное общение на афтепати.

👉 Регистрация уже открыта, участие бесплатное. До встречи!

Читать полностью…

🔥 Успех в IT = скорость + знания + окружение

Здесь ты найдёшь всё это — коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Собеседования DS: t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Подпишись, если хочешь быть в числе тех, кого зовут в топовые проекты!

Читать полностью…