18194
Все о машинном обучении админ - @workakkk @data_analysis_ml - анализ даннных @ai_machinelearning_big_data - Machine learning @itchannels_telegram -лучшие ит-каналы @pythonl - Python @pythonlbooks- python 📚 @datascienceiot - 📚 РКН: clck.ru/3FmrUw
🔥 Новый ИИ "текст-видео" .
Установка LaVie в 1 клик, модель ИИ "текст-видео".
Если Stable Video (текущая версия) генерирует видео из изображения, то LaVie генерирует видео из текста.
Вы можете запустить ее на своем ноутбуке, причем легко и очень быстро!
demo: https://huggingface.co/spaces/Vchitect/LaVie
run with docker: https://huggingface.co/spaces/Vchitect/LaVie?docker=true
duplicate space with private gpu: https://huggingface.co/spaces/Vchitect/LaVie?duplicate=true
@machinelearning_ru
🦜🧱Построение LLM-приложения для работы с документами Q&A с помощью Chainlit, Qdrant и Zephyr
Это руководство не только очень подробное, но и:
💬 Использует локальную модель (Zephyr) и локальное векторное хранилище (Qdrant)
🧮 Использует продвинутые техники RAG (реранжирование)
Blog: https://nayakpplaban.medium.com/building-an-llm-application-for-document-q-a-using-chainlit-qdrant-and-zephyr-7efca1965baa
@machinelearning_ru
🦾 Краткое руководство по настройке llama.cpp на инстансах AWS
Например, вы можете использовать один из самых дешевых инстансов с 16 ГБ VRAM (NVIDIA T4) для параллельного обслуживания квантовой модели Mistral 7B нескольким клиентам с полным контекстом.
github.com/ggerganov/llama.cpp/discussions/4225
@machinelearning_ru
👉 Машинное обучение на языке Ruby
Список библиотек, источников данных, учебников и презентаций по машинному обучению с использованием языка программирования Ruby.
🔗 https://github.com/arbox/machine-learning-with-ruby
@machinelearning_ru
Любому ML-специалисту нужна практика
Не важно, нужно ли вам пройти собеседование или подглядеть лучшие практики решения своих задач — во всём этом поможет Симулятор ML от karpovꓸcourses.
Здесь вы не просто прокачаете отдельные навыки, а поймёте, как сводить бизнес-задачи к задачам машинного обучения — всё как на настоящей работе.
Вы научитесь:
- Понимать, какие у бизнеса есть проблемы и какими метриками их можно измерить
- Проводить А/В-тесты, чтобы подтверждать прирост метрик
- Формулировать задачу для модели
- Выбирать подходящую модель и обучать её
- Организовывать процесс доставки данных для модели
- Оборачивать модель в сервис и деплоить его
После симулятора вы точно найдете применение знаниям в работе или сможете успешно пройти собеседование на позицию в сфере Machine Learning и приносить пользу бизнесу уже с первых дней.
До конца ноября в karpovꓸcourses действуют скидки до 27%, успейте купить подписку на Симулятор по самой выгодной цене!
[Начать учиться]
БАБУШКИН РЕМОНТ ЗА 20 МЛН В МОСКВЕ ИЛИ КВАРТИРА МЕЧТЫ В ДУБАЕ? 🌃
Квартира мечты в Дубае за 20 млн рублей включает в себя:
– дизайнерский ремонт
– кухню, бытовую технику
– машино-место
– бассейн
– спортивный зал
– коворкинг и бизнес -центр для встреч
– ресторан
Квартира в Дубае покупается в рассрочку под 0%, т.е. ты платишь 6 лет и не переплачиваешь ни рубля! 🔥
🎁 В качестве подарка я СОЗДАЛА БОТА. Кликай и ты сможешь подобрать для себя идеальную недвижимость
А в моем телеграм можно узнать все о недвижимости в Дубае ⬇️
ЗАБИРАЙ САМЫЕ ПОЛЕЗНЫЕ ПОСТЫ:
– 8 причин инвестировать в недвижимость в Дубае
– Как получить прибыль до 60%, имея всего $30 000
– Как превратить $50 000 в $250 000
Реклама: Общество с ограниченной ответственностью «ВИЛЛАДЖИО РИЭЛТИ»ИНН: 7702430783 Erid:2VtzqvfWDkc
🖥 По умолчанию Pandas использует для числовых столбцов значения float64 и int64, что не всегда экономит память.
Если вам известен диапазон данных, то для оптимизации использования памяти при загрузке данных лучше использовать аргумент dtype.
@machinelearning_ru
2023 год оказался прорывным для искусственного интеллекта: многие компании вступили в гонку нейросетей, чтобы разработать лучшие генеративные и языковые модели. Вчера Яндекс выпустил YaC 2023 — мини-сериал о технологиях и команде компании, — где рассказал, как разрабатывал универсальную языковую модель Yandex GPT и генеративную нейросеть Yandex ART, которую можно попробовать в приложении “Шедеврум”.
Ставка делалась на претейн-модель и русскоязычную аудиторию. В результате нейросети изучили триллионы текстов и изображений из Интернета и теперь могут ответить практически на любой вопрос. Они также внедряются в продукты: Yandex GPT дает краткое описание видеороликов в тезисах в Яндекс Браузере, пересказывает статьи из Интернета, а в Маркете и Поиске обобщает информацию из отзывов, суммируя основные плюсы и минусы.
Посмотреть, как выросла Алиса за год и создавалась Yandex GPT, можно на YouTube или Кинопоиске.
🚀 Конвертируем скриншот в HTML
Интересный проект, в котором скриншот с сайта конвертируется в HTML и CSS код , используя модель зрения OpenAI
https://github.com/abi/screenshot-to-code
@machinelearning_ru
AI Art: How is This Quality Even Possible?
https://www.youtube.com/watch?v=LfjwO5RKkZg
@machinelearning_ru
👉 Awesome TensorFlow
Список awesome учебников по TensorFlow, моделей/проектов, библиотек, инструментов/утилит, видео, докладов, статей, сообществ, книг и многого другого.
🔗 https://github.com/jtoy/awesome-tensorflow
@machinelearning_ru
🔥 ИИ-агент, использующий GPT-4V(ision), способный использовать, cv, мышь/клавиатуру для взаимодействия с веб-интерфейсом.
GPT-4V-ACT: https://github.com/ddupont808/GPT-4V-Act
GPT-V-on-Web: https://github.com/Jiayi-Pan/GPT-V-on-Web
vimGPT: https://github.com/ishan0102/vimGPT
@machinelearning_ru
OpenAI's ChatGPT: 7 Unexpected Results!
https://www.youtube.com/watch?v=y0ls3lH3rYM
@machinelearning_ru
🚀 Реализация MetNet-3, нейронной модели погоды SOTA из Google Deepmind, в #Pytorch
https://github.com/lucidrains/metnet3-pytorch
#machinelearning #ml #ai #neuralnetworks #datascience #deeplearning
@machinelearning_ru
Представляем DeepSpeed-FastGen 🚀
Обслуживание LLM и генеративных моделей ИИ с
- 2,3-кратное увеличение пропускной способности
- В 2 раза меньшая средняя задержка
Автоматическое TP, балансировка нагрузки с линейным масштабированием, а также простой в использовании API.
https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-fastgen
@machinelearning_ru
Увеличьте производительность XGBoost и других моделей до 70 %: Подход, ориентированный на данные! 🚀
Что, если я скажу вам, что вы можете значительно улучшить производительность вашей модели - не за счет изменения гиперпараметров, а за счет совершенствования данных⁉️.
В подходе, ориентированном на данные, особое внимание уделяется улучшению качества набора данных, а не изменению архитектуры модели или гиперпараметров.
Результат? Более точная и надежная модель, применимая для решения различных аналитических задач, с улучшением производительности до 70% 🔥.
🤖 Почему это важно:
1️⃣ Модель: улучшения применимы к различным моделям, а не только к XGBoost.
2️⃣ Ориентированность на данные: Фокусируется на качестве данных - фундаментальном аспекте эффективности ИИ.
3️⃣ Практичность и масштабируемость: Вам даже не придется менять существующий код/программу модели.
Готовы улучшить свою модель⁉️
В следующем твите я поделился ссылкой на видео на YouTube и Colab Notebook, чтобы попробовать это самостоятельно!
Видео на YouTube: http://youtube.com/watch?v=4iGylgAngdg
Данные, описание и код, который вы можете запустить в Colab: http://cleanlab.ai/blog/label-errors-tabular-datasets/
@machinelearning_ru
Blender 4.0 Is Here: A Revolution…For Free!
https://www.youtube.com/watch?v=5_E5HNk3UN4
@machinelearning_ru
В интернете вирусится продажа протеза с 6 пальцем, с камер наблюдения выглядят так, будто они получены методом стабильной диффузии 😅.
Человечество быстро приспосабливается к причудам искусственного интеллекта.
@machinelearning_ru
💥Bedrock в LangSmith Playground💥
Поддержка Bedrock в LangSmith Playground
Использование различных моделей - часть экспериментов, проводимых при разработке LLM-приложений с контекстно-зависимыми рассуждениями. С помощью LangSmith возможно делать смену модели максимально просто!
Теперь вы можете запускать новейшие модели от Anthropic, AI21 Labs, Cohere, Meta и Amazon Titan, предоставляемые AWS Bedrock, прямо из LangSmith Playground.
Документацию LangSmith можно найти здесь:
🆕LangSmith🆕
@machinelearning_ru
🚀 Generate parameter Library
Эта библиотека генерирует код на C++/Python из YAML для параметров ROS 2, обеспечивает удобство работы с кодом и его проверку, а также автоматическое создание документации.
🐱 Github
@machinelearning_ru
NVIDIA’s AI: Superhuman Performance…1000x Faster!
https://www.youtube.com/watch?v=057OY3ZyFtc
@machinelearning_ru
Глубокое погружение в режим Copy-on-Write в pandas. Часть 3
В настоящее время включенный по умолчанию режим CoW планируется внедрить в релиз pandas 3.0, запланированный на апрель 2024 года. В первой части данной серии мы рассказывали о поведении Copy-on-Write, а во второй — об оптимизациях производительности, связанных с Copy-on-Write.
Мы планируем добавить режим предупреждения, оповещающий обо всех операциях, изменяющих поведение при работе CoW. Предупреждение будет довольно шумным для пользователей, поэтому к нему следует относиться с некоторой осторожностью. В этой статье речь пойдет о типичных случаях и о том, как можно адаптировать код, чтобы избежать изменений в поведении.
Цепочечное присваивание
Цепочечное присваивание — это техника, при которой один объект обновляется посредством двух последовательных операций.
📌 Далее
📌 Часть 2.
📌 Часть 1.
@machinelearning_ru
Хотите разобраться в языковых моделях? Учитесь у профессионалов и получайте знания из первых рук — на интенсиве GPT Week Школы анализа данных Яндекса!
Эксперты ШАДа, разрабатывающие YandexGPT, подготовили насыщенную 5-дневную программу. Вы узнаете, как запустить генеративную модель на ограниченных ресурсах, какие вызовы есть в сборе гигантских датасетов и в чём особенности предобучения и alignment. Каждый участник сможет задать вопросы спикерам, а также познакомиться с устройством YandexGPT — от деталей создания до сложных инженерных аспектов.
Что ещё нужно знать? Интенсив пройдёт онлайн с 27 ноября по 1 декабря. Участие бесплатное, но потребуется регистрация. Записаться и посмотреть программу можно на сайте.
Реклама. ООО «ЯНДЕКС», ИНН 7736207543
🔊 Transforming the future of music creation
Deepmind объявили о создании самой совершенной модели генерации музыки и двух новых экспериментах с искусственным интеллектом, призванных открыть новую площадку для творчества
https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/
@machinelearning_ru
ChatAnything: Facetime-чат с LLM-персонами
проект: https://chatanything.github.io/
abs: https://arxiv.org/abs/2311.06772
@machinelearning_ru
Глубокое погружение в режим Copy-on-Write в pandas. Часть 2
Мы используем технику, применяемую внутренними средствами pandas, чтобы избежать копирования всего DataFrame, когда в этом нет необходимости, и тем самым повысить производительность.
Удаление защитных копий
Начнем с наиболее значимого улучшения. Многие методы pandas выполняли защитное копирование, чтобы избежать побочных эффектов и защититься от последующих модификаций в памяти.df = pd.DataFrame({"a": [1, 2, 3], "b": [4, 5, 6]})
df2 = df.reset_index()
df2.iloc[0, 0] = 100
В reset_index нет необходимости копировать данные, но возврат представления привел бы к побочным эффектам при модификации результата (к примеру, также обновился бы df). Поэтому в reset_index выполняется защитное копирование.
При включении Copy-on-Write всех этих защитных копий уже нет. Такое действие затрагивает многие методы (с полным списком можно ознакомиться здесь).
Кроме того, при выборе столбцового подмножества DataFrame теперь всегда будет возвращаться представление, а не копия, как раньше.
Посмотрим, как все это выглядит с точки зрения производительности, когда мы комбинируем некоторые из этих методов:import pandas as pd
import numpy as np
N = 2_000_000
int_df = pd.DataFrame(
np.random.randint(1, 100, (N, 10)),
columns=[f"col_{i}" for i in range(10)],
)
float_df = pd.DataFrame(
np.random.random((N, 10)),
columns=[f"col_{i}" for i in range(10, 20)],
)
str_df = pd.DataFrame(
"a",
index=range(N),
columns=[f"col_{i}" for i in range(20, 30)],
)
df = pd.concat([int_df, float_df, str_df], axis=1)
Создается DataFrame с 30 столбцами, 3 разными типами данных и 2 миллионами строк. Выполним следующую цепочку методов для этого DataFrame:
Смотреть
Часть 1.
@machinelearning_ru
📌 Существует три основных способа обучения LLM: естественный язык, классификация предложений и классификация лексем.
👉 Приведенная картинка дает представление о каждом из них!
#llms #largelanguagemodel #generativeai
@machinelearning_ru
👉 Awesome Data Labeling
Коллекция инструментов для аннотирования изображений, аннотирования видео, семантической сегментации и маркировки данных для машинного обучения.
🔗 https://github.com/HumanSignal/awesome-data-labeling
@machinelearning_ru
Creating Virtual Worlds 20x Faster!
https://www.youtube.com/watch?v=wKgMxrWcW1s
@machinelearning_ru
NVIDIA’s New AI: Wow, 8x Better Text To 3D!
https://www.youtube.com/watch?v=FEOAnDgCD5A
@machinelearning_ru