machinelearning_ru | Unsorted

Telegram-канал machinelearning_ru - Машинное обучение RU

18194

Все о машинном обучении админ - @workakkk @data_analysis_ml - анализ даннных @ai_machinelearning_big_data - Machine learning @itchannels_telegram -лучшие ит-каналы @pythonl - Python @pythonlbooks- python 📚 @datascienceiot - 📚 РКН: clck.ru/3FmrUw

Subscribe to a channel

Машинное обучение RU

🔥 Новый ИИ "текст-видео" .

Установка LaVie в 1 клик, модель ИИ "текст-видео".

Если Stable Video (текущая версия) генерирует видео из изображения, то LaVie генерирует видео из текста.

Вы можете запустить ее на своем ноутбуке, причем легко и очень быстро!

demo: https://huggingface.co/spaces/Vchitect/LaVie

run with docker: https://huggingface.co/spaces/Vchitect/LaVie?docker=true

duplicate space with private gpu: https://huggingface.co/spaces/Vchitect/LaVie?duplicate=true


@machinelearning_ru

Читать полностью…

Машинное обучение RU

🦜🧱Построение LLM-приложения для работы с документами Q&A с помощью Chainlit, Qdrant и Zephyr

Это руководство не только очень подробное, но и:

💬 Использует локальную модель (Zephyr) и локальное векторное хранилище (Qdrant)
🧮 Использует продвинутые техники RAG (реранжирование)

Blog: https://nayakpplaban.medium.com/building-an-llm-application-for-document-q-a-using-chainlit-qdrant-and-zephyr-7efca1965baa

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🦾 Краткое руководство по настройке llama.cpp на инстансах AWS

Например, вы можете использовать один из самых дешевых инстансов с 16 ГБ VRAM (NVIDIA T4) для параллельного обслуживания квантовой модели Mistral 7B нескольким клиентам с полным контекстом.

github.com/ggerganov/llama.cpp/discussions/4225

@machinelearning_ru

Читать полностью…

Машинное обучение RU

👉 Машинное обучение на языке Ruby

Список библиотек, источников данных, учебников и презентаций по машинному обучению с использованием языка программирования Ruby.

🔗 https://github.com/arbox/machine-learning-with-ruby

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Любому ML-специалисту нужна практика

Не важно, нужно ли вам пройти собеседование или подглядеть лучшие практики решения своих задач — во всём этом поможет Симулятор ML от karpovꓸcourses.

Здесь вы не просто прокачаете отдельные навыки, а поймёте, как сводить бизнес-задачи к задачам машинного обучения — всё как на настоящей работе.

Вы научитесь:
- Понимать, какие у бизнеса есть проблемы и какими метриками их можно измерить
- Проводить А/В-тесты, чтобы подтверждать прирост метрик
- Формулировать задачу для модели
- Выбирать подходящую модель и обучать её
- Организовывать процесс доставки данных для модели
- Оборачивать модель в сервис и деплоить его

После симулятора вы точно найдете применение знаниям в работе или сможете успешно пройти собеседование на позицию в сфере Machine Learning и приносить пользу бизнесу уже с первых дней.

До конца ноября в karpovꓸcourses действуют скидки до 27%, успейте купить подписку на Симулятор по самой выгодной цене!

[Начать учиться]

Читать полностью…

Машинное обучение RU

БАБУШКИН РЕМОНТ ЗА 20 МЛН В МОСКВЕ ИЛИ КВАРТИРА МЕЧТЫ В ДУБАЕ? 🌃

Квартира мечты в Дубае за 20 млн рублей включает в себя:
– дизайнерский ремонт
– кухню, бытовую технику
– машино-место
– бассейн
– спортивный зал
– коворкинг и бизнес -центр для встреч
– ресторан


Квартира в Дубае покупается в рассрочку под 0%, т.е. ты платишь 6 лет и не переплачиваешь ни рубля! 🔥

🎁 В качестве подарка я СОЗДАЛА БОТА. Кликай и ты сможешь подобрать для себя идеальную недвижимость

А в моем телеграм можно узнать все о недвижимости в Дубае ⬇️

ЗАБИРАЙ САМЫЕ ПОЛЕЗНЫЕ ПОСТЫ:
– 8 причин инвестировать в недвижимость в Дубае
– Как получить прибыль до 60%, имея всего $30 000
– Как превратить $50 000 в $250 000

Реклама: Общество с ограниченной ответственностью «ВИЛЛАДЖИО РИЭЛТИ»ИНН: 7702430783 Erid:2VtzqvfWDkc

Читать полностью…

Машинное обучение RU

🖥 По умолчанию Pandas использует для числовых столбцов значения float64 и int64, что не всегда экономит память.

Если вам известен диапазон данных, то для оптимизации использования памяти при загрузке данных лучше использовать аргумент dtype.

@machinelearning_ru

Читать полностью…

Машинное обучение RU

2023 год оказался прорывным для искусственного интеллекта: многие компании вступили в гонку нейросетей, чтобы разработать лучшие генеративные и языковые модели. Вчера Яндекс выпустил YaC 2023 — мини-сериал о технологиях и команде компании, — где рассказал, как разрабатывал универсальную языковую модель Yandex GPT и генеративную нейросеть Yandex ART, которую можно попробовать в приложении “Шедеврум”. 

Ставка делалась на претейн-модель и русскоязычную аудиторию. В результате нейросети изучили триллионы текстов и изображений из Интернета и теперь могут ответить практически на любой вопрос. Они также внедряются в продукты: Yandex GPT дает краткое описание видеороликов в тезисах в Яндекс Браузере, пересказывает статьи из Интернета, а в Маркете и Поиске обобщает информацию из отзывов, суммируя основные плюсы и минусы.

Посмотреть, как выросла Алиса за год и создавалась Yandex GPT, можно на YouTube или Кинопоиске.

Читать полностью…

Машинное обучение RU

🚀 Конвертируем скриншот в HTML

Интересный проект, в котором скриншот с сайта конвертируется в HTML и CSS код , используя модель зрения OpenAI

https://github.com/abi/screenshot-to-code

@machinelearning_ru

Читать полностью…

Машинное обучение RU

AI Art: How is This Quality Even Possible?

https://www.youtube.com/watch?v=LfjwO5RKkZg

@machinelearning_ru

Читать полностью…

Машинное обучение RU

👉 Awesome TensorFlow

Список awesome учебников по TensorFlow, моделей/проектов, библиотек, инструментов/утилит, видео, докладов, статей, сообществ, книг и многого другого.

🔗 https://github.com/jtoy/awesome-tensorflow

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥 ИИ-агент, использующий GPT-4V(ision), способный использовать, cv, мышь/клавиатуру для взаимодействия с веб-интерфейсом.

GPT-4V-ACT:
https://github.com/ddupont808/GPT-4V-Act
GPT-V-on-Web: https://github.com/Jiayi-Pan/GPT-V-on-Web
vimGPT: https://github.com/ishan0102/vimGPT

@machinelearning_ru

Читать полностью…

Машинное обучение RU

OpenAI's ChatGPT: 7 Unexpected Results!

https://www.youtube.com/watch?v=y0ls3lH3rYM

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🚀 Реализация MetNet-3, нейронной модели погоды SOTA из Google Deepmind, в #Pytorch

https://github.com/lucidrains/metnet3-pytorch

#machinelearning #ml #ai #neuralnetworks #datascience #deeplearning

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Представляем DeepSpeed-FastGen 🚀

Обслуживание LLM и генеративных моделей ИИ с
- 2,3-кратное увеличение пропускной способности
- В 2 раза меньшая средняя задержка

Автоматическое TP, балансировка нагрузки с линейным масштабированием, а также простой в использовании API.

https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-fastgen

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Увеличьте производительность XGBoost и других моделей до 70 %: Подход, ориентированный на данные! 🚀

Что, если я скажу вам, что вы можете значительно улучшить производительность вашей модели - не за счет изменения гиперпараметров, а за счет совершенствования данных⁉️.

В подходе, ориентированном на данные, особое внимание уделяется улучшению качества набора данных, а не изменению архитектуры модели или гиперпараметров.

Результат? Более точная и надежная модель, применимая для решения различных аналитических задач, с улучшением производительности до 70% 🔥.

🤖 Почему это важно:

1️⃣ Модель: улучшения применимы к различным моделям, а не только к XGBoost.

2️⃣ Ориентированность на данные: Фокусируется на качестве данных - фундаментальном аспекте эффективности ИИ.

3️⃣ Практичность и масштабируемость: Вам даже не придется менять существующий код/программу модели.

Готовы улучшить свою модель⁉️

В следующем твите я поделился ссылкой на видео на YouTube и Colab Notebook, чтобы попробовать это самостоятельно!

Видео на YouTube: http://youtube.com/watch?v=4iGylgAngdg

Данные, описание и код, который вы можете запустить в Colab: http://cleanlab.ai/blog/label-errors-tabular-datasets/

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Blender 4.0 Is Here: A Revolution…For Free!

https://www.youtube.com/watch?v=5_E5HNk3UN4

@machinelearning_ru

Читать полностью…

Машинное обучение RU

В интернете вирусится продажа протеза с 6 пальцем, с камер наблюдения выглядят так, будто они получены методом стабильной диффузии 😅.

Человечество быстро приспосабливается к причудам искусственного интеллекта.

@machinelearning_ru

Читать полностью…

Машинное обучение RU

💥Bedrock в LangSmith Playground💥

Поддержка Bedrock в LangSmith Playground

Использование различных моделей
- часть экспериментов, проводимых при разработке LLM-приложений с контекстно-зависимыми рассуждениями. С помощью LangSmith возможно делать смену модели максимально просто!

Теперь вы можете запускать новейшие модели от Anthropic, AI21 Labs, Cohere, Meta и Amazon Titan, предоставляемые AWS Bedrock, прямо из LangSmith Playground.

Документацию LangSmith можно найти здесь:

🆕LangSmith🆕

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🚀 Generate parameter Library

Эта библиотека генерирует код на C++/Python из YAML для параметров ROS 2, обеспечивает удобство работы с кодом и его проверку, а также автоматическое создание документации.

🐱 Github

@machinelearning_ru

Читать полностью…

Машинное обучение RU

NVIDIA’s AI: Superhuman Performance…1000x Faster!

https://www.youtube.com/watch?v=057OY3ZyFtc

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Глубокое погружение в режим Copy-on-Write в pandas. Часть 3

В настоящее время включенный по умолчанию режим CoW планируется внедрить в релиз pandas 3.0, запланированный на апрель 2024 года. В первой части данной серии мы рассказывали о поведении Copy-on-Write, а во второй — об оптимизациях производительности, связанных с Copy-on-Write.

Мы планируем добавить режим предупреждения, оповещающий обо всех операциях, изменяющих поведение при работе CoW. Предупреждение будет довольно шумным для пользователей, поэтому к нему следует относиться с некоторой осторожностью. В этой статье речь пойдет о типичных случаях и о том, как можно адаптировать код, чтобы избежать изменений в поведении.

Цепочечное присваивание
Цепочечное присваивание — это техника, при которой один объект обновляется посредством двух последовательных операций.

📌 Далее
📌 Часть 2.
📌 Часть 1.

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Хотите разобраться в языковых моделях? Учитесь у профессионалов и получайте знания из первых рук — на интенсиве GPT Week Школы анализа данных Яндекса!

Эксперты ШАДа, разрабатывающие YandexGPT, подготовили насыщенную 5-дневную программу. Вы узнаете, как запустить генеративную модель на ограниченных ресурсах, какие вызовы есть в сборе гигантских датасетов и в чём особенности предобучения и alignment. Каждый участник сможет задать вопросы спикерам, а также познакомиться с устройством YandexGPT — от деталей создания до сложных инженерных аспектов.

Что ещё нужно знать? Интенсив пройдёт онлайн с 27 ноября по 1 декабря. Участие бесплатное, но потребуется регистрация. Записаться и посмотреть программу можно на сайте.

Реклама. ООО «ЯНДЕКС», ИНН 7736207543

Читать полностью…

Машинное обучение RU

🔊 Transforming the future of music creation

Deepmind объявили о создании самой совершенной модели генерации музыки и двух новых экспериментах с искусственным интеллектом, призванных открыть новую площадку для творчества

https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/

@machinelearning_ru

Читать полностью…

Машинное обучение RU

ChatAnything: Facetime-чат с LLM-персонами

проект: https://chatanything.github.io/

abs: https://arxiv.org/abs/2311.06772

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Глубокое погружение в режим Copy-on-Write в pandas. Часть 2

Мы используем технику, применяемую внутренними средствами pandas, чтобы избежать копирования всего DataFrame, когда в этом нет необходимости, и тем самым повысить производительность.

Удаление защитных копий
Начнем с наиболее значимого улучшения. Многие методы pandas выполняли защитное копирование, чтобы избежать побочных эффектов и защититься от последующих модификаций в памяти.

df = pd.DataFrame({"a": [1, 2, 3], "b": [4, 5, 6]})
df2 = df.reset_index()
df2.iloc[0, 0] = 100


В reset_index нет необходимости копировать данные, но возврат представления привел бы к побочным эффектам при модификации результата (к примеру, также обновился бы df). Поэтому в reset_index выполняется защитное копирование.

При включении Copy-on-Write всех этих защитных копий уже нет. Такое действие затрагивает многие методы (с полным списком можно ознакомиться здесь).

Кроме того, при выборе столбцового подмножества DataFrame теперь всегда будет возвращаться представление, а не копия, как раньше.

Посмотрим, как все это выглядит с точки зрения производительности, когда мы комбинируем некоторые из этих методов:

import pandas as pd
import numpy as np

N = 2_000_000
int_df = pd.DataFrame(
np.random.randint(1, 100, (N, 10)),
columns=[f"col_{i}" for i in range(10)],
)
float_df = pd.DataFrame(
np.random.random((N, 10)),
columns=[f"col_{i}" for i in range(10, 20)],
)
str_df = pd.DataFrame(
"a",
index=range(N),
columns=[f"col_{i}" for i in range(20, 30)],
)

df = pd.concat([int_df, float_df, str_df], axis=1)

Создается DataFrame с 30 столбцами, 3 разными типами данных и 2 миллионами строк. Выполним следующую цепочку методов для этого DataFrame:

Смотреть
Часть 1.

@machinelearning_ru

Читать полностью…

Машинное обучение RU

📌 Существует три основных способа обучения LLM: естественный язык, классификация предложений и классификация лексем.

👉 Приведенная картинка дает представление о каждом из них!

#llms #largelanguagemodel #generativeai

@machinelearning_ru

Читать полностью…

Машинное обучение RU

👉 Awesome Data Labeling

Коллекция инструментов для аннотирования изображений, аннотирования видео, семантической сегментации и маркировки данных для машинного обучения.

🔗 https://github.com/HumanSignal/awesome-data-labeling

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Creating Virtual Worlds 20x Faster!

https://www.youtube.com/watch?v=wKgMxrWcW1s

@machinelearning_ru

Читать полностью…

Машинное обучение RU

NVIDIA’s New AI: Wow, 8x Better Text To 3D!

https://www.youtube.com/watch?v=FEOAnDgCD5A

@machinelearning_ru

Читать полностью…
Subscribe to a channel