⚡️ Qwen2 - самый крутой релиз откртых LLM со времен Llama 3!

Alibaba только что выпустили свое новое семейство мультиязычных моделей, которых превосходят по производительности Llama 3 по многим параметрам.

🤯 Qwen2 выпущен в 5 размерах, обучен на 29 языках!

5️⃣ Размеры: 0.5B, 1.5B, 7B, 57B-14B (MoE), 72B.
✅ Контекст: 32k для 0.5B & 1.5B, 64k для 57B MoE, 128k для 7B и 72B
✅ Поддерживает 29 языков.
📜 Выпущены под лицензией Apache 2.0, за исключением версии 72B.

📖 BLOG: https://qwenlm.github.io/blog/qwen2/
🤗 HF collection: https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557f
🤖 https://modelscope.cn/organization/qwen
💻 GitHub: https://github.com/QwenLM/Qwen2

@ai_machinelearning_big_data

Читать полностью…

⚡️ ElevenLabs запустил ИИ-генератор звуковых эффектов

Компания ElevenLabs представила инструмент на базе генеративного ИИ под названием AI Sound Effects, который способен генерировать по текстовому запросу любые звуковые эффекты.
ElevenLabs заявила, что использовала аудиотеку Shutterstock, содержащую лицензионные треки, в качестве инструмента для обучения своей модели.

Сервис генерирует звуки продолжительностью до 22 секунд на основе подсказок пользователя, их можно комбинировать с голосовой и музыкальной платформой компании. Он предоставляет как минимум четыре варианта загружаемых аудиоклипов.

Есть бесплатная и платная версии. При бесплатном доступе будет установлен лимит в 10 тысяч символов, пользователь обязан ссылаться при публикации клипа на ElevenLabs, добавив в заголовок elevenlabs.io. При создании звуковых эффектов будет взиматься 40 символов за секунду аудио. По умолчанию каждый запрос будет стоить 200 символов. При платном доступе пользователи получают коммерческую лицензию на свободное использование сгенерированных клипов.

▶️ Попробовать Sound Effects ElevenLabs

@ai_machinelearning_big_data

Читать полностью…

🌟 FaceFusion — замена лица / улучшение фотографии в 1 команду

FaceFusion — это open-source инструмент для замены лица на фотографии и для улучшения изображения

Для необходимого действия с фото нужно просто запустить файл run.py с нужными опциями (на последнем изображении):
— python run.py ...

Ну или можно использовать удобный UI вместо прописывания команд

🖥 GitHub
🟡 Доки

@ai_machinelearning_big_data

Читать полностью…

🌟 Omost — использование мощи LLM, пишущих код, для генерации изображений

Проект Omost предоставляет LLM, которые будут писать коды для компоновки фрагментов изображений с помощью виртуального агента Canvas. Таким образом можно сгенерировать даже сложные изображения с хорошим качеством.

В настоящее время Omost предоставляет 3 предобученные LLM, основанные на вариациях Llama3 и Phi3.

Все модели обучены на смешанных данных, состоящих из
(1) точных описаний изображений из нескольких датасетов, включая Open-Images,
(2) данных, полученных путем автоматического аннотирования изображений,
(3) данных от DPO,
(4) небольшого количества данных от мультимодальной GPT4o

На последних 2 изображениях приведён код, который необходим для генерации изображения таким образом

🖥 GitHub
🤗 Попробовать на Hugging Face

@ai_machinelearning_big_data

Читать полностью…

Как девушке построить карьеру в инжиниринге данных?

Любить математику, смело говорить о своих ожиданиях от работы даже на позиции стажера и еще кое-что, о чем Мария Косарев рассказала здесь. Она прошла длинный путь от стажера до главы Департамента анализа данных и моделирования в Газпромбанке.

@ai_machinelearning_big_data

Читать полностью…

🔥 unsloth — файнтюнинг Llama 3, Mistral, Phi и Gemma LLM, уменьшение потребления памяти на 80%, ускорение в 2-5 раз

conda create --name unsloth_env python=3.10
conda activate unsloth_env

conda install pytorch-cuda=<12.1/11.8> pytorch cudatoolkit xformers -c pytorch -c nvidia -c xformers

pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

pip install --no-deps trl peft accelerate bitsandbytes

Некоторые бенчмарки unsloth приведены здесь

🖥 GitHub
🟡 Wiki

@ai_machinelearning_big_data

Читать полностью…

🌟 V-Express — метод анимирования статичной фотографии лица с учётом позы, звука и самого изображения

Метод V-Express был представлен совсем недавно Cong Wang, Kuan Tian, Jun Zhang и другими как один из самых эффективных методов генерации таких анимаций, код и модель опубликованы

🖥 GitHub
🟡 Страничка V-Express
🤗 Модель на Hugging Face

@ai_machinelearning_big_data

Читать полностью…

🖥 На выставке COMPUTEX 2024 генеральный директор Nvidia Дженсен Хуанг демонстрирует ускорение Pandas в 50 раз в GoogleColab после интеграции с RAPIDS cuDF.

Это работает без каких либо изменений кода, все, что нужно добавить %load-ext cudf.pandas поверх кода pandas.

cuff обеспечивает ускорение с помощью процессоров NVIDIA L4 Tensor Core.

Эти графические процессоры недавно стали доступны в Google Colab для пользователей с платной подпиской.

👉 Колаб-ноутбук с гайдом по запуску

Еще Дженсен Хуанг озвучил планы по выпуску новых продуктов Nvidia.

Nvidia планирует выпускать новые флагманские решения для дата-центров каждый год, постоянно наращивая их производительность и функциональность

Уже в следующем году ожидается выход графического процессора Blackwell Ultra, преемника нынешнего флагмана Blackwell

Blackwell Ultra будет оснащен памятью HBM3e с 12 кристаллами в стеке, что позволит увеличить объем на 50 % по сравнению с Blackwell, у которого память с 8 кристаллами.

В 2026 году будет представлен новый графический чип Rubin с памятью HBM4. Еще, появится центральный процессор Vera, который придёт на смену нынешнему Grace. Rubin — это будет суперчип, связка GPU+CPU, аналогично актуальному Grace Hopper. Кроме того, пропускная способность запатентованной Nvidia технологии интерконнекта NVLink будет удвоена до 3,6 Тбит/с (NVLink 6 против NVLink 5).

На 2027 г планируется выход улучшенной версии Rubin Ultra с HBM4 с 12 кристаллами в стеке вместо 8.

Nvidia намерена выжимать максимум из доступных на данный момент производственных техпроцессов, чтобы каждый год выводить на рынок новые решения, работающие на пределе возможного.

По словам Дженсена Хуанга, именно эта стратегия непрерывного совершенствования позволит компании сохранять лидерство в сфере решений для дата-центров.

📌 Полное выступление: https://www.youtube.com/watch?v=pKXDVsWZmUU

@ai_machinelearning_big_data

Читать полностью…

🌟 Devil70B — нейросеть с выпиленной цензурой

Devil70B — это модель без цензуры и ограничений, во всяком случае так заявляют разработчики. Она отвечает на любой вопрос и поддерживает русский язык.

▶️ Задать вопрос Devil70B

@ai_machinelearning_big_data

Читать полностью…

🌟 InstaDrag: сложное редактирование изображений (поворот в пространстве, изменение формы и т.д.) с помощью простых жестов

InstaDrag — подход, позволяющий редактировать изображение с помощью простого жеста перетаскивания за ~1 секунду.
При этом InstaDrag справляется и со сложными деформациями части изображения, не представленными в обучающих данных (такие деформации — это, например, удлинение волос, искривление радуги и т. д.).
В будущем планируется интеграция InstaDrag с SDXL

🖥 GitHub
🟡 Страничка InstaDrag
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

⚡️ Codestral от Mistral AI — мощная модель, заточенная под работу с кодом

— ollama run codestral:22b

29 мая Mistral представили Codestral с 22 миллиардами параметров.
Это генеративная модель с открытыми весами, предназначенная в первую очередь для задач генерации кода.
Умеет писать и рефакторить код, подсказывает наилучшие решения задач и даже паттерны проектирования. Её можно интегрировать в свои проекты с помощью API или просто использовать в VS Code. Нейросеть знает даже Fortran и COBOL.

🟡 Подробнее о Codestral
🟡 Чат с Codestral
🟡 Codestral на Hugging Face

@ai_machinelearning_big_data

Читать полностью…

🖥 Анонсирован новый ChatGPT Edu, созданный для образовательных учереждений.

Модель основана на GPT-4o, она может работать с текстовой и визуальной информациией, поддерживает передовые инструменты анализа данных.

ChatGPT Edu включает в себя средства безопасности и контроля корпоративного уровня для образовательных учреждений.

Новая модель дает возможность создавать пользовательские версии ChatGPT, и делиться ими для совместных исследований и обучения.

- Значительно более высокие лимиты на количество сообщений, чем в бесплатной версии ChatGPT

- Улучшены языковые возможности по качеству и скорости работы, поддерживается более 50 языков

- Надежная защита информации,конфиденциальность данных и продвинутые административные средства управления ИИ.

ChatGPT Edu призван заменить репетиторов и предоставляет:

* Обратную связь и поддержку
* Обучение и выставление оценок
* Интеграцию с образовательными ресурсами

openai.com/index/introducing-chatgpt-edu/

@ai_machinelearning_big_data

Читать полностью…

✅ Друзья, этой осенью в Москве состоится Ai Conf 2024 – первая прикладная тематическая конференция по Data Science.

Темы конференции:

- работа со звуком
- компьютерное зрение и генерация изображений
- обработка естественного языка
- рекомендательные системы и поиск
- умные механизмы
- разработка агентов
- академические исследования
- оптимизация использования железа и др.

Программа конференции будет строиться вокруг областей применения машинного обучения, а к выступлению приглашены не только спикеры из отраслей отраслей IT, Интернет и E-commerce, но и из отраслей реального сектора.

Вам есть чем поделиться? Отправляйте заявку на спикерство на сайте

🎁 Для всех наших спикеров предусмотрены бонусы: билет на конференцию; покроем ваши расходы на логистику, будь то поезд, самолет или автобус; предоставим вам номер в комфортабельном отеле рядом с местом проведения конференции; и, конечно, поможем подготовиться к выступлению.

Подробности о конфeренции AiConf

erid:2VtzqvzVtR3
Рекалма ООО «Конференции Олега Бунина»
ИНН 7733863233

Читать полностью…

⚡️ Cortex — AI-движок для создания LLM-приложений (поддерживает llama.cpp и TensorRT-LLM)

npm i -g @janhq/cortex

cortex init

cortex models pull janhq/TinyLlama-1.1B-Chat-v1.0-GGUF

cortex models start janhq/TinyLlama-1.1B-Chat-v1.0-GGUF

cortex chat --model janhq/TinyLlama-1.1B-Chat-v1.0-GGUF

Cortex — это open-source AI-движок для создания LLM-приложений.
Можно импортировать в виде библиотеки Cortex или использовать как сервер.

В настоящее время Cortex поддерживает:
— Llama.cpp
— TensorRT-LLM

🖥 GitHub
🟡 Доки

@ai_machinelearning_big_data

Читать полностью…

⚡️ SynCHMR — реконструкция движения камеры и изменения положения отдельных точек по видео

На днях Yizhou Zhao, Tuanfeng Y. Wang и ещё несколько ребят из Adobe представили работу по SynCHMR — реконструкции движения камеры на основе видео.
Представленный ими метод позволяет восстанавливать траекторию движения камеры и облака точек сцены по видео.

▶️ Страничка SynCHMR
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

🌟 Stability AI опубликовала открытую модель Stable Audio для генерации музыки

Stability AI опубликовала в открытом доступе модель Stable Audio, предназначенную для генерации музыки, звуковых эффектов и окружения.

Stable Audio Open — открытая модель в формате Text-to-Audio, которая генерирует 47-секундные музыкальные семплы и звуковые эффекты. К примеру, можно попросить нейросеть создать партию на фортепиано, барабанный бит, гитарный риф, пение соловья или шум дождя. Для генерации надо отправить текстовый запрос. Примечательно, что пользователи могут генерировать музыку на своих данных. К примеру, барабанщик может загрузить записи своих битов и на их основе создавать новые.

В блоге компании рассказали, что открытая модель отличается от одноимённой коммерческой. Закрытая версия Stable Audio может генерировать трёхминутные треки с проработанной структурой. Также поддерживается режим Audio-to-Audio, в котором в качестве запроса можно передать уже готовый трек.

Открытую модель Stable Audio Open обучили на данных сервисов FreeSound и Free Music Archive, что позволило соблюсти все требования к авторским правам. При этом для доступа к нейросети всё равно необходимо ознакомиться с лицензией использования.

🤗 Модель и веса опубликованы на Hugging Face.

@ai_machinelearning_big_data

Читать полностью…

⚡️ Только что выпущена версия Jina CLIP v1: новая современная мультимодальная модель, которая превосходит OpenAI CLIP в задачах извлечения изображений по текстовому описанию😍

Модель совместима с 🤗 Transformers.js версией 3 и работает с ускорением WebGPU! ⚡️

📌 Попробуйте демо-версию:
https://huggingface.co/spaces/Xenova/webgpu-jina-clip?v2=
📌 Статья: https://arxiv.org/abs/2405.20204

@ai_machinelearning_big_data

Читать полностью…

Хотите попробовать себя в роли аналитика и попрактиковаться на реальных задачах?

Приходите на бесплатный курс-симулятор Нетологии и Yandex Cloud «Основы анализа данных в SQL, Python, Power BI, DataLens».

В этой профессии много разных направлений — аналитик данных, BI-аналитик, продуктовый аналитик, Data Scientist. Но везде пригодится навык работы с инструментами-помощниками, которые вы и освоите на курсе.

Эксперты-практики расскажут, как делать простые отчёты, исследовать данные и строить интерактивные дашборды. А чтобы понять, что анализ данных — это точно ваше, вместе решите практические задачи из реальных кейсов.

Воспользуйтесь шансом попробовать новые инструменты и запишитесь на бесплатный курс Нетологии.

Регистрация: https://netolo.gy/dbfG
Реклама ООО "Нетология" 2VSb5wU3gtx

Читать полностью…

🌟 Dot — open-source приложение для локального разворачивания LLM, RAG и TTS для работы со своими документами

Dot предназначено для простого взаимодействия с документами и файлами (.pdf, .docx, .xlsx, .pptx, .md) с помощью локальных LLM и технологии Retrieval Augmented Generation.
Dot было вдохновлено такими решениями, как Chat with RTX от Nvidia
По умолчанию использует Phi-3

🖥 GitHub
🟡 Страничка Dot

@ai_machinelearning_big_data

Читать полностью…

🌟 GPT Researcher — автономный агент на основе GPT, выполняющий комплексное онлайн-исследование по любой заданной теме

— pip install gpt-researcher

Пример использования GPT Researcher:

from gpt_researcher import GPTResearcher

query = "why is Nvidia stock going up?"
researcher = GPTResearcher(query=query, report_type="research_report")
# Conduct research on the given query
research_result = await researcher.conduct_research()
# Write the report
report = await researcher.write_report()

🖥 GitHub
🟡 Страничка GPT Researcher

@ai_machinelearning_big_data

Читать полностью…

💥 Международный онлайн-хакатон «Лидеры цифровой трансформации» стартовал!

ТЗ и датасеты уже доступны в личном кабинете. Но ты еще можешь выбрать задачу и влететь на хакатон до 5 июня!

Тебя ждет 25 задач, работа в команде до 5 человек над актуальными кейсами, современный коворкинг, возможность пропитчить свои решения, пропилотировать и внедрить свою разработку, шанс получить крутой оффер и показать, что ты лучший из лучших не только в России, но и во всем мире! И конечно, драйв, опыт и деньги!

Призовой фонд 50 000 000 рублей!

Приступай к разработке решения прямо сейчас!

Когда: 3-16 июня 2024 года
Формат: Онлайн из любой точки мира
Дедлайн регистрации: 5 июня 2024 года, 23:59 (мск)

Победитель получит 1 млн рублей, второе и третье место — по 600 тыс. и 400 тыс. рублей соответственно. Разработка стартовала уже сегодня!

Собирай команду в чате лидеров и регистрируйся на сайте.

Читать полностью…

🌟 Anthropic позволит создавать персональных помощников на базе ИИ-чат-бота Claude

Компания Anthropic расширяет возможности своего чат-бота Claude, построенного на основе генеративной нейросети. Теперь любой пользователь сможет создать для себя персонализированного помощника, например, для обработки электронной почты, совершения покупок в интернете или чего-то иного. Нововведение называется «использование инструментов» или «вызов функций» и его можно подключить к любому внешнему API по выбору пользователя.

Такой подход позволит создать персонализированного помощника, который будет, например, анализировать данные для создания персонализированных рекомендаций по продуктам, основываясь на истории покупок пользователя. Он также может быть полезен для генерации быстрых ответов на вопросы клиентов, например, при отслеживании статуса заказа или предоставления информации в качестве инструмента технической поддержки. Для создания такого помощника потребуется доступ к API и умение программировать. Новая функция может обрабатывать изображения, позволяя приложениям анализировать визуальные данные. К примеру, персональный помощник для дизайнера интерьеров может задействовать нейросеть для обработки снимков помещения и генерации индивидуальных предложений по его оформлению.

Взаимодействовать с новым инструментом можно будет через Messages API от Anthropic, а также на платформах Amazon Bedrock и Google Vertex AI. Стоимость использования основана на объёме текстовых запросов к нейросетям Claude, измеряемом в токенах. Обычно 1000 токенов соответствует примерно 750 словам. На этапе бета-тестирования самым быстрым и доступным вариантом стала модель Haiku: $0,25 за миллион введённых токенов и $1,25 за миллион токенов на выходе. Тестирование новой функции проходит с апреля и в нём принимают участие несколько тысяч клиентов Anthropic.

📎 Подробнее

@ai_machinelearning_big_data

Читать полностью…

🔥 Burn — свежий open-source фреймворк для Deep Learning на Rust с упором на гибкость, эффективность вычислений и переносимость

cargo new my_burn_app && cd my_burn_app/
cargo add burn --features wgpu

С Burn весь рабочий процесс Deep Learning становится проще: вы можете следить за ходом обучения с помощью дашборда и выполнять вычисления на любых устройствах - от встраиваемых до больших кластеров GPU.

Burn был создан с нуля специально для Deep Learning и связанных с этим вычислений. Стоит также отметить, что Burn, по сравнению с такими фреймворками, как PyTorch, упрощает переход от экспериментов к развертыванию в прод, в процессе масштабирования не придётся менять код.

🖥 GitHub
🟡 Доки

@ai_machinelearning_big_data

Читать полностью…

⚡️ Flash версия Scribble SDXL

Это быстрая версия Scribble SDXL, о которой мы недавно писали.

Использует SDXL Flash и Scribble SDXL, что позволяет ещё быстрее получать качественные изображения из простых набросков и каракулей

🤗 Запустить на Hugging Face

@ai_machinelearning_big_data

Читать полностью…

⚡️ Итоги конкурса Технотекст от Хабра в номинации ML

Победителями жюри выбрало три работы:

🟡 Статья Виктора Юрченко из Яндекса про нейронные сети для планирования движения беспилотных автомобилей.
🟡 Статья Котенкова Игоря из Open Data Science про то, как работает ChatGPT.
🟡 Статья Мурата Апишева о методах позиционного кодирования в Transformer.

@ai_machinelearning_big_data

Читать полностью…

Приглашаем Data Engineer на проект «Прикладная аналитическая платформа Сбер B2C» ⚡️

Платформа позволяет создавать аналитические витрины на Data Lake по различным направлениям бизнеса. Мы анализируем клиентские пути, создаём синергию в продуктах и сервисах и формируем целостное предложение для сегментов.

Какие задачи будут в вашем планере:

👉 Ведение стримов разработки витрин.
👉 Управление жизненным циклом разработки витрин, умение находить правильный баланс между скоростью и качеством разработки.
👉 Организация внутрикомандных взаимодействий и мотивация.

Мы активно расширяемся и усиливаем нашу команду, поэтому сейчас ищем талантливых Lead/Senior/Middle Data Engineer с опытом разработки приложений на Spark от двух лет, Scala/Java, знанием конвейеров и инструментов CI/CD.

Читайте подробности и откликайтесь по ссылке 😉

Читать полностью…

⚡️ Scribble SDXL — позволяет превратить каракули в шедевр

Scribble SDXL создан на основе SDXL ControlNet и его можно без проблем запустить на Hugging Face (спасибо linoy_tsaban из X).
Можно выбирать разные стили и экспериментировать

🤗 Scribble SDXL

@ai_machinelearning_big_data

Читать полностью…

🌟 ChatTTS — генеративная text2speech модель с упором реалистичность

import ChatTTS
from IPython.display import Audio

chat = ChatTTS.Chat()
chat.load_models()

texts = ["<PUT YOUR TEXT HERE>",]

wavs = chat.infer(texts, use_decoder=True)
Audio(wavs[0], rate=24_000, autoplay=True)

ChatTTS — это модель преобразования текста в речь, разработанная специально для сценариев диалога, таких как LLM-ассистент.
ChatTTS поддерживает как английский, так и китайский языки (если кому актуально).

🖥 GitHub
🤗 Погонять в Hugging Face
🟡 Страничка ChatTTS

@ai_machinelearning_big_data

Читать полностью…

Релиз YandexGPT 3 Lite

Яндекс представил облегченную версию генеративной модели третьего поколения. Нейросеть лучше справляется со сценариями, в которых важна скорость ответа. Например, чат-бот на сайте, исправление орфографических ошибок в текстах, анализ данных и так далее.

YandexGPT 3 Lite доступна клиентам Yandex Cloud для интеграции через API. Модель можно протестировать в демо-режиме бесплатно.

▪️Подробнее

@ai_machinelearning_big_data

Читать полностью…

📔 Curated list of 50+ textbooks on machine learning,

Большой список из более чем 50 учебников по машинному обучению, искусственному интеллекту, глубокому обучению, компьютерному зрению и т.д.

Книги со ссылками для скачивания в PDF и в веб формате.

📚 BOOKS: https://franknielsen.github.io/Books/CuratedBookLists.html

#books #книги

@ai_machinelearning_big_data

Читать полностью…