17610
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🧠 Улучши ИИ на хакатоне X5 Tech AI Hack! У тебя будет 10 дней, чтобы избавить нейросеть от галлюцинаций или научить ее работать с конфиденциальными данными. Призовой фонд от X5 Tech – 2 000 000 рублей.
Старт ML-соревнования – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас: https://cnrlink.com/x5techaihackbdai
Приглашаем на хакатон экспертов по Data Science, ML-специалистов, разработчиков на Python и всех остальных, кто хочет прокачать свои знания о создании ИИ. На выбор – один из двух треков:
🥷 Трек 1. Маскирование. При использовании сторонней языковой модели нельзя передавать ей чувствительные данные организации – имена клиентов, доменные адреса и прочие. Поэтому участникам необходимо подготовить алгоритм, который заменит эти сведения в тексте без потери смысла.
🔎 Трек 2. Детекция галлюцинаций. Никто не любит, когда ИИ-ассистент в ответ на вопрос дает неправильную информацию. Задача конкурсантов – разработать систему, которая сможет эффективно выявлять аномалии в текстах, сгенерированных нейросетью.
Хакатон продлится 10 дней. У тебя будет шанс получить консультацию от крутых ML-экспертов и специалистов по Data Science, обсудить решения с единомышленниками, узнать больше о проектах X5 Tech.
28-29 мая по результатам тестирования моделей участников 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет 30 мая на мероприятии X5 Future Night.
Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий: https://cnrlink.com/x5techaihackbdai
Реклама. ООО «ИТ ИКС 5 Технологии». ИНН 1615014289. erid: LjN8KaLjm
⚡️ Ludwig — Python-фреймворк для создания пользовательских LLM и нейронных сетей
— pip install ludwig[full]
Особенности:
🟡позволяет легко создавать пользовательские модели: декларативный YAML-конфиг — все, что вам нужно, чтобы обучить современную LLM на ваших данных. Поддержка многозадачного и мультимодального обучения. Комплексная проверка конфигурации позволяет обнаружить недопустимые комбинации параметров и предотвратить сбои во время выполнения.
🟡Ludwig оптимизирован для масштабирования и эффективности: автоматический выбор размера партии, распределенное обучение (DDP, DeepSpeed), эффективная тонкая настройка параметров (PEFT), 4-битное квантование (QLoRA), страничные и 8-битные оптимизаторы, наборы данных больше, чем память.
🟡даёт полный контроль над своими моделями вплоть до функций активации. Поддержка оптимизации гиперпараметров, интерпретируемость и богатые возможности визуализации.
🟡модульность и расширяемость: экспериментируйте с различными архитектурами моделей, задачами, функциями и модальностями, изменяя всего несколько параметров в конфигурации.
🟡разработано для продакшена: готовые Docker-контейнеры, встроенная поддержка запуска с Ray на Kubernetes, экспорт моделей в Torchscript и Triton, загрузка в HuggingFace одной командой.
https://github.com/ludwig-ai/ludwig
⚡️ Google just dropped Code Gemma 1.1 7B IT 🔥
СЮРПРИЗ: Google только что выпустила Code Gemma 1.1 7B IT 🔥
Модели постепенно становятся все совершеннее в генерации кода .
Значительный прогресс достигнут для C#, Go, Python 🐍
Вместе с версией 7B они также выпустили обновленную базовую модель 2B.
Наслаждайтесь!
• 7B: https://huggingface.co/google/codegemma-1.1-7b-it
• 2B: https://huggingface.co/google/codegemma-1.1-2b
• Report: https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf
@ai_machinelearning_big_data
🌟 В Google Фото можно будет улучшать видео по клику
Недавно Google Фото анонсировала AI-инструмент для редактирования фотографий Magic Editor, который был доступен только на последних смартфонах Pixel.
Теперь же Google Фото доступен на большем числе устройств Android, Chromebook и iOS, а скоро в нём появится новая опция для редактирования видео.
@bigdatai
☁️ OpenDAC
Исследователи из GeorgiaTech опубликовали крупнейший датасет и новую SOTA модель для исследования прямого захвата воздуха, это — ключевой процесс для борьбы с изменением климата ☺️
https://open-dac.github.io/
@bigdatai
⭐️ Data Science разбор реальной задачи с собеседования. Прогнозирование оттока клиентов.
▪Смотреть
▪Данные
▪Ноутбук
@machinelearning_ru
⚡️ YandexART обновился до версии 1.3 и перешел на латентную диффузию
Рассказали, чем латентная диффузия отличается от каскадной и что еще изменилось в новой версии нейросети.
▪️ Статья
@bigdatai
Последняя возможность принять участие в хакатоне от Центра ИИ МФТИ и Сбера ⚡️
📌 В рамках хакатона DeepHack.Agents тебе предстоит создать своего ИИ-ассистента для научных исследований с помощью фреймворка GigaChain.
Дата: 24-28 апреля.
Формат: гибридный.
Призовой фонд: 500 000 рублей.
В последний день хакатона у тебя будет возможность пообщаться с экспертами вживую и собраться вместе с другими участниками! 🔥
Хакатон подойдёт для тебя, если ты:
– Студент технического вуза
– Разработчик
– Аналитик
– Учёный или интересуешься наукой
Регистрироваться можно как готовой командой, так и собрать её с нашей помощью.
❗️ Успей подать заявку до 22 апреля 23:59, МСК по ссылке
▶️Meta бросила вызов ChatGPT — все сервисы компании получили «самого умного» ИИ-помощника
🟡Совсем недавно Meta представила не только новое поколение собственных языковых моделей Llama 3, но и подключила их к поисковым строкам своих основных приложений — Facebook, Messenger, Instagram и WhatsApp, пусть и не во всех странах. Кроме того, компания запустила отдельный сайт для своего чат-бота, meta.ai.
🟡Meta AI запустили ещё в прошлом году, и он по-прежнему поддерживает лишь английский язык, однако работает во многих странах, включая Австралию, Канаду, Гану, Ямайку, Малави, Новую Зеландию, Нигерию, Пакистан, Сингапур, Южную Африку, Уганду, Замбию и Зимбабве.
Среди новых функций Meta AI — возможность попросить ИИ найти определённую информацию в Google и Bing. Разработчики не просто ускорили генерацию изображений с помощью Meta AI, но и наделили ИИ возможностью анимировать картинки, а также улучшили функцию размещения текста на генерируемых изображениях.
🟡Стремясь как можно сильнее расширить присутствие ИИ в своих продуктах, Meta добавила его не только в поисковые строки, но и в индивидуальные и групповые чаты, и даже в ленты приложений. Например, увидев в ленте Facebook фотографию северного сияния можно спросить ИИ, когда лучше отправиться в Исландию, чтобы наблюдать его своими глазами. Помимо этого, Meta AI добавили в умные очки Ray-Ban, вскоре он появится и в VR-гарнитуре Meta Quest.
📎 Подробнее
@bigdatai
🔥 Анонс альфа-релиза torch tune от Pytorch!
torchtune - это библиотека, созданная на базе PyTorch для файнтюнинга LLM.
Она сочетает в себе функции файнтюнинга, которые можно использовать, экономя память. Они легко интегрируются в ваши любимые инструменты.
Начните файнтюнить уже сегодня!
▪Github
▪Анонс
@bigdatai
🔥Adobe объявила о выпуске ИИ-редактора для Premiere Pro.
На видео продемонстрированы возможности модели Adobe Firefly. В ближайшее время в Premiere Pro появится новая вкладка Generative, предлагающая следующие функции:
🔸Добавление объектов — это позволит выделить область на сцене и указать, что именно должно быть добавлено туда. Необходимые объекты будут автоматически сгенерированы на выбранном месте.
🔸Удаление объектов — помимо добавления, теперь можно также удалять объекты. Процесс выделения объектов выглядит очень просто, и следы удаленных объектов не остаются.
🔸Расширение контента — функция Generative Extend позволит увеличить длительность ваших видеороликов, чтобы достичь нужной продолжительности.
Все эти нововведения появятся в Premiere Pro "позже в этом году". Кроме того, программа будет поддерживать интеграцию с другими видеомоделями (Pika, Runway и, возможно, Sora от OpenAI).
https://www.adobe.com/products/premiere/ai-video-editing.html
@bigdatai
🔥 Крутая Шпаргалка по языку Julia
Если вы хотите узнать, чем синтаксис Julia отличается от пайтоновского, то эта шпаргалка — отличный материал для быстрого изучения.
Содержит информацию об использовании:
▪️пакетов;
▪️операторов;
▪️векторов;
▪️разных функций;
▪️датафреймов.
OmniFusion 1.1 представляет собой гибридную LLM, способную взаимодействовать с изображениями.
В дополнение к стандартному текстовому диалогу, OmniFusion 1.1 может отвечать на вопросы, основанные на изображениях. Например, она способна анализировать рукописные задачи, интерпретировать карты или предоставлять рецепты на основе фотографий продуктов.
Эта модель построена на базе Mistral, однако легко заменяема другими языковыми моделями.
Разработчики обеспечили доступ к модели как для некоммерческого, так и для коммерческого использования.
Модель доступна на платформе Hugging Face.
https://github.com/AIRI-Institute/OmniFusion
@bigdatai
NVIDIA’s AI Puts You In a Video Game 75,000x Faster!
https://www.youtube.com/watch?v=CyIqd_HR6rY
@bigdatai
🔥Подборка лучших обучающих каналов для программистов.
➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять
⚡Машинное обучение
Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат
🏆 Golang
Golang - изучи один из самых перспективных языков на ит-рынке
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест
💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность
🚀 Data Science
Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data
🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных
#️⃣C#
С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа
🐍 Python
Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги
☕ Java
Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги
💻 C++
C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии
⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend
🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов
📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки
🇬🇧 Английский для программистов
🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence
🔥 DevOPs
Devops для программистов
Книги Devops
🌟 Docker/Kubernets
Docker
Kubernets
📓 Книги
Библиотеки Книг для программситов
💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend
🔝 Команда разработки AllSee выложили статью на Habr о том, как внедрять YandexGPT API в свои проекты
Показали, как решать проблемы интеграции YandexGPT. А именно — отсутствие официального SDK. Авторы создали свой и пошагово расписали, как его интегрировать.
https://habr.com/ru/articles/812979/
@bigdatai
🌟 Redpanda — платформа для потоковой передачи данных
Совместима с API Kafka. В 10 раз быстрее. Никакого ZooKeeper. Никаких JVM
— brew install redpanda-data/tap/redpanda && rpk container start
(rpk скачать можно тут)
Redpanda спроектирована для полной загрузки быстрых накопителей данных, таких как SSD или NVMe-устройства, а также на использование преимуществ многоядерных процессоров и компьютеров с большим объемом оперативной памяти. Это позволяет достичь максимальной производительности при обработке значительных объемов данных и запросов.
🖥 GitHub
🟡 Доки
🟡 Другой взгляд на Redpanda
@DevOPSitsec
💡Интересуетесь Data Science? Изучите гибридные рекомендательные системы на примере LightFM.
Познакомьтесь с коллаборативной фильтрацией и контентным подходом в рекомендательных системах, научитесь объединять их при помощи модели LightFM.
📚И все это под руководством опытного эксперта на открытом практическом уроке от OTUS, где вы:
- познакомитесь с двумя подходами к построению рекомендательных систем: collaborative filtering и content-based;
- изучите архитектуру модели LightFM, которая позволяет объединять эти подходы;
- примените модели LightFM на практике.
📌Встречаемся 7 мая в 20:00 мск в преддверии старта курса «Рекомендательные системы». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджеров OTUS!
Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://clck.ru/3ASBZP?erid=LjN8KEmZD
⚡️ Тинькофф разбор заданий на стажировку!
▪Видео
▪Задачи
@bigdatai
DeepMind’s New Robots: An AI Revolution!
https://www.youtube.com/watch?v=ET-MmoeSvXk
@bigdatai
🧍♂ NVIDIA представляет TeSMo!!
Это новый метод создания движений с учетом заданный сцены, управляемый текстом, который позволяет создавать реалистичные и разнообразные взаимодействия человека и различных объектов.
TeSMo генерирует реалистичную ориентацию в пространстве, позволяет задавать положение тела и позы.
• Model
• Paper
@bigdatai
⚡️Open Interface
Инструмент, который позволяет управлять любым компьютером через LLM.
Способен автоматически выполнять действия, эмулируя ввод с клавиатуры и мыши.
Корректирует курс, отправляя текущий снимок экрана в LLM при необходимости.
Подробное руководство по установке представлено для MacOS, Linux и Windows.
▪ Github
@bigdatai
🌐 AutoCrawler: Интеллектуальный веб-агент для парсинга.
AutoCrawler - крутой фреймворк, который использует иерархическую структуру HTML для разбора веб страниц
https://arxiv.org/abs/2404.12753
@bigdatai
Хотите углубить свои знания в Data Science? Освойте технологию многоруких бандитов в задаче рекомендаций
Приходите на открытый практический урок от OTUS. Спикер Андрей Канашов — Senior Data Scientist.
На вебинаре вы:
- узнаете про алгоритмы многоруких бандитов и как они применяются на практике для решения задачи рекомендательных систем;- изучите основные алгоритмы UCB и Tompson Sampling;- получите практический опыт применения многоруких бандитов для задачи рекомендации фильмов.
Встречаемся 22 апреля в 19:00 мск в рамках курса «Рекомендательные системы». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджеров OTUS!
Регистрируйтесь прямо сейчас, чтобы не пропустить урок: https://clck.ru/3A9JJh?erid=LjN8KHPqA
🤗 Основы квантования: Новый краткий курс, созданный в сотрудничестве DeepLearning.AI
с Hugging
Узнайте, как сжать модели с открытым исходным кодом с помощью метода квантования, чтобы сделать их более быстрыми и доступными.
https://www.deeplearning.ai/short-courses/quantization-fundamentals-with-hugging-face/
@bigdatai
Оплачиваемая стажировка от Газпромбанка в сфере Data Science и аналитики данных
Ты еще успеваешь подать заявку!
Что такое GPB.Level Up?
Это стажировка для Data Science-специалистов в Газпромбанке. Опыт работы не требуется: внутренняя система и обучение актуальным фреймворкам на реальных задачах банка прокачают сильнее дюжины пет-проектов. Открыто 5 различных направлений от работы с ИИ до моделирования финансовых рисков.
Тебя ждут классные условия:
— 67 000 р. gross в месяц
— ДМС и корпоративные скидки
— Удаленный или гибридный формат работы
— Программа наставничества
— Карьерные перспективы: 85% участников GPB.Level Up прошлого года перешли в штат Газпромбанка
Оставить заявку
Весь опыт Data Science – в одном месте. Data Fusion в четвертый раз соберет DS-экспертов для диалога на кросс-индустриальной площадке. Конференция пройдет 17-18 апреля в Москве. Регистрация уже открыта: https://tglink.io/77b991229131
Data Fusion 2024 – главное событие весны в области анализа больших данных и технологий ИИ. Исследованиям и практике посвящен первый день конференции.
– Известные ученые и эксперты по Data Science расскажут о трендах в различных направлениях машинного обучения и технологиях ИИ.
– Желающие еще глубже погрузиться в сферу искусственного интеллекта смогут посетить трек ML+, посвященный использованию машинного обучения на стыке с физикой, медициной и фармакологией и другими науками.
Второй день мероприятия будет посвящены бизнесу и стратегии.
В этом году конференция Data Fusion пройдет в московском технологическом кластере «Ломоносов». Регистрация здесь: https://tglink.io/77b991229131
⚡️ Пройди хардкорный тест по Компьютерному зрению и проверь свои знания.
Ответишь — пройдешь на продвинутый курс «Компьютерное зрение. Advanced» от OTUS по специальной цене🎁 .
👉 ПРОЙТИ ТЕСТ:
https://otus.pw/Z67Hl/?erid=LjN8K2mAW
🔥 Новый огромный многоязычный датасет для LLM" [Удалено дублирование ~5,6 трлн токенов]. 🔥
✨ Доступно 75 языков (22 ТБ необработанных файлов, 11 ТБ дедуплированных файлов и 8,4 ТБ чистых файлов), которые представлены в формате JSON, сжатых с помощью zstd.
Для удобства данные разделены на несколько сегментов по несколько ГБ каждый. Количество фрагментов для каждого языка зависит от размера конкретного корпуса.
✨ Формат - JSONL, в котором каждая строка представляет собой допустимое значение JSON и полный документ с метаданными.
- Статья: https://arxiv.org/abs/2403.14009
- Страница проекта: https://hplt-project.org
- Датасет: https://hplt-project.org/datasets/v1.2
@bigdatai