Machinelearning

29 апреля 2024 12:12

💾 LLM Datasets: High-quality datasets, tools, and concepts for LLM fine-tuning.

Большая коллекция качественных датасетов, советов и инструментов для файнтюнинга LLM и для создания ваших собственных датасетов.

• GitHub: https://github.com/mlabonne/llm-datasets

@ai_machinelearning_big_data

Machinelearning

28 апреля 2024 18:26

🏠💻💌 AI Town : AI Town is a virtual town where AI characters live, chat and socialize.

Запустите свой ИИ-город в 1 клик.

Очень интересный проект с использованием искусственного интеллекта, где множество ИИ- агентов взаимодействуют друг с другом .

Агенты введут социальную жизнь, коммуницируют между собой и запоминают свои действия.

Вы можете запустить свой город на базе llama3🎉 или поиграть оналйн.

• Github
• Demo

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 14:02

🔥🪄 Awesome-LLM: a curated list of Large Language Model

Кураторский список статей, моделей, api, примеров с кодом, курсов, датасетов, посвященный большим языковым моделям.

Это хорошо структурированная академическая подборка.

• Github

Другие узкоспециализированные awesome репозиторий, посвященные LLM:
• Awesome-LLM-hallucination
• Awesome-hallucination-detection
• Awesome ChatGPT Prompts
• Awesome ChatGPT
• Awesome Deliberative Prompting
• Instruction-Tuning-Papers
• LLM Reading List
• Reasoning using Language Models
• Chain-of-Thought Hub
• Awesome GPT
• Awesome GPT-3
• Awesome LLM Human Preference Datasets
• RWKV-howto
• ModelEditingPapers
• Awesome LLM Securityrge
• Awesome-Code-LLM
• Awesome-LLM-Compression
• Awesome-LLM-Systems
• Awesome-LLM-Healthcare
• Awesome-LLM-Inference
• Awesome-LLM-3D
• LLMDatahub
• Language models for Russian language

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 09:27

⚡️ Команда PyTorch разрабатывает библиотеку для обучения LLM под названием torch titan.

Сегодня библиотека стала общедоступной на GitHub, но она все еще находится в предрелизном состоянии и активно разрабатывается.

- Ссылка на библиотеку: https://github.com/pytorch/torchtitan

- Туториал по работе с torch titan: https://www.youtube.com/watch?v=ee5DOEqD35I

Библиотека создана для предварительного обучения моделей, а для файнтюнига у PyTorch есть еще одна библиотека torchtune:
https://github.com/pytorch/torchtune

@ai_machinelearning_big_data

Machinelearning

26 апреля 2024 09:10

➕ OpenBioLLM-Llama3-70B и 8B: Open-source Large Language Models in Medical Domain

OpenBioLLM-Llama3-70B и 8B: самые эффективные и доступные на сегодняшний день Lms в области медицины! 🩺 💊 🧬

Превосходит таких гигантов индустрии, как GPT-4, Gemini, Meditron-70B, Med-PaLM-1 и Med-PaLM-2, в области биомедицины. 🏥 📈 🌟

OpenBioLLM-70B достигает SOTA и является новым достижением для моделей такого размера.
Модель OpenBioLLM-8B превосходит даже GPT-3.5, Gemini и Meditron-70B! 🚀

- 70B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B
- 8B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B
- Таблица лидеров в области медицины: https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 19:08

Яндекс анонсировал Young Con — фест для студентов и начинающих специалистов, которые интересуются карьерой в IT

Главная тема фестиваля — «Вселенная Яндекса», состоящая из 9 тематических «миров». Участники могут свободно перемещаться по ним и общаться с экспертами, которые поделятся вдохновляющим опытом и расскажут о том, какие возможности предоставляет то или иное IT-направление.

Еще гостей ждет финал «Баттла Вузов» — турнира, в котором студенты будут соревноваться в программировании за призовой фонд в размере 1 млн рублей. В завершение дня выступят группы The Hatters и Хлеб.

Фестиваль пройдет 27 июня в московском Live Arena. Для участия в фестивале нужно зарегистрироваться на сайте Young Con до 14 июня. Гостям достаточно написать мотивационное письмо, а разработчикам — выполнить техническое задание. Специалисты, которые хорошо справятся с тестом, смогут пройти экспресс-собеседование в день фестиваля, которое сильно увеличивает шансы приглашения на стажировку.

Machinelearning

25 апреля 2024 10:02

📌Apple приобрела компанию Datakalab, занимающуюся проектами на базе ИИ

🟡Apple купила французский стартап Datakalab, который специализируется на технологиях сжатия данных искусственного интеллекта и компьютерного зрения.

🟡Datakalab позиционирует себя как «эксперта в области маломощных эффективных алгоритмов глубокого обучения», работающих на устройствах. Стартап создаёт алгоритмы для анализа изображений и видео. Один из продуктов компании — инструмент для отслеживания наличия масок на лицах пассажиров общественного транспорта Парижа.
Полученные стартапом изображения мгновенно преобразуются в анонимные статистические данные, обрабатываемые локально за 100 мс. Стартап не хранит изображения или личные данные, а только статистические данные.

🟡Datakalab имеет несколько патентов, связанных с технологиями сжатия данных ИИ и машинного зрения.

🟡Приобретение стартапа, вероятно, обусловлено планами Apple предоставить набор ИИ-функций в iOS 18. Datakalab разработала передовую технологию на базе машинного обучения, которая может сыграть роль в развитии гарнитуры смешанной реальности Vision Pro.
Кстати, в начале 2024 года корпорация купила стартап WaveOne, который предлагает ИИ-алгоритм для сжатия видео.

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 17:03

🖼 HiDiffusion: Unlocking High-Resolution Creativity and Efficiency in Low-Resolution Trained Diffusion Models 🦊

Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.

Его можно интегрировать в конвейеры diffusion, добавив всего одну строку кода!

pip3 install hidiffusion


• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 09:15

🍏 OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework by Apple

Сегодня Apple выпустили Openly.

- Новое семейство LM с открытым исходным кодом для обучения моделей и логического вывода
- Работает наравне с OLMo, но требует в 2 раза меньше токенов для обучения
- Модели для различных задач, включая базовые модели (например, CLIP и LLM), классификацию объектов, обнаружение объектов и семантическую сегментацию.

Cписок моделей и подробная информации о каждой из них:

- OpenELM-270M
- OpenELM-450M
- OpenELM-1_1B
- OpenELM-3B
- OpenELM-270M-Instruct
- OpenELM-450M-Instruct
- OpenELM-1_1B-Instruct
- OpenELM-3B-Instruct

• gitHub: https://github.com/apple/corenet
• hf: https://huggingface.co/apple/OpenELM
• abs: https://arxiv.org/abs/2404.14619

@ai_machinelearning_big_data

Machinelearning

23 апреля 2024 18:34

Залетай на «Технолето» и прокачайся в ML-сфере

Приглашаем студентов и начинающих специалистов в области машинного обучения на стажировку «Технолето» от Яндекса. Участников ждет масштабная программа карьерных и развлекательных мероприятий. Стажеры смогут не только углубить свои навыки в IT, но и поближе познакомиться с культурой Яндекса: пообщаться с топовыми специалистами компании, пройтись с интерактивной экскурсией по офисам, посетить дата-центр, а также отдохнуть на диджей-сетах и Алгорейв-вечеринках.

Студенты, желающие изучить сферу машинного обучения, освоят востребованные в индустрии навыки ML-сферы и погрузятся во все тонкости направления. На стажировке также можно освоить фронтенд, бэкенд, мобильную разработку, девопс и не только.

Стажировка действует круглый год и длится три, четыре или шесть месяцев в зависимости от графика, который выбрал участник.

Чтобы поучаствовать в программе, достаточно оставить заявку и решить тестовое задание.

Удачи и ждем вас на «Технолето»!

Machinelearning

23 апреля 2024 15:44

GitVerse – теперь и для малого и среднего бизнеса

На онлайн-презентации «GitVerse: открой вселенную кода» СберТех рассказал про новые фичи платформы. Cреди них – CI/CD-инструменты, ускоряющие разработку, и новые функции GigaCode – персонального AI-ассистента разработчика (AI, artificial intelligence — искусственный интеллект).

Но это еще не все: теперь возможности GitVerse доступны не только индивидуальным разработчикам, но и малому и среднему бизнесу. Это очень удобно: можно организовывать совместную работу команды с GitVerse и управлять доступами к своим репозиториям.

Готовы попробовать? Присоединяйтесь.

Machinelearning

23 апреля 2024 12:03

⚡️ Поисковик Brave научился отвечать на вопросы с помощью ИИ

Ориентированная на конфиденциальность поисковая система Brave расширила функциональность своей системы ответов на запросы пользователей с помощью ИИ.

Теперь при вводе запроса в Brave в поле выдачи сперва отображается выжимка от AI с ссылками на источники, и только потом сайты.
Выглядит наподобие Perplexity и Phind.

▶️ Пробуйте)

@ai_machinelearning_big_data

Machinelearning

22 апреля 2024 12:01

⚡️ AI Safety — бенчмарк для оценки безопасности AI

⏩Некоммерческий проект MLCommons, занимающийся созданием и поддержкой бенчмарков, широко используемых в ИИ-индустрии, анонсировал новую разработку. Речь идёт об инструменте — AI Safety v0.5, позволяющем оценивать безопасность ИИ-систем.

⏩AI Safety v0.5 находится на стадии proof-of-concept и позволяет оценивать большие языковые модели (LLM), стоящие за современными чат-ботами, анализируя ответы на запросы из «опасных категорий». Необходимость в появлении такого инструмента давно назрела, поскольку технологию оказалось довольно легко использовать в неблаговидных и даже опасных целях. Например, можно применять для подготовки фишинговых атак и совершения других киберпреступлений, а также для распространения дезинформации и разжигания ненависти.

⏩Хотя измерить безопасность довольно сложно с учётом того, что ИИ используется в самых разных целях, в MLCommons создали инструмент, способный разбираться с широким спектром угроз. Например, он может оценивать, как бот отвечает на запрос о рецептах изготовления бомбы, что отвечать полиции, если пойман за созданием взрывного устройства и т.п. Каждая модель «допрашивается» серией тестовых запросов, ответы на которые потом подлежат проверке. LLM оценивается как по каждой из категорий угроз, так и по уровню безопасности в целом.

⏩Бенчмарк включает более 43 тыс. промтов. Методика позволяет классифицировать угрозы, конвертируя ответы в понятные даже непрофессионалам характеристики, вроде «высокий риск», «умеренно-высокий риск» и т.д. При этом представители организации заявляют, что LLM чрезвычайно трудно оценивать по ряду причин.

⏩Бенчмарк AI Safety v0.5 уже доступен для экспериментов и организация надеется, что исходные тесты сообществом позволят выпустить усовершенствованную версию v1.0 позже в этом году. Платформа открыта для предложений новых тестов и интерпретации результатов.

▶️ Страничка проекта

@ai_machinelearning_big_data

Machinelearning

21 апреля 2024 20:20

🔎 Moving Object Segmentation:All You Need Is SAM (and Flow)

SAM + Optical Flow = FlowSAM

FlowSAM - новый инструмент для обнаружения и сегментации движущихся объектов на видео, который значительно превосходит все предыдущие модели, как для одного объекта, так и для множества объектов 🔥

▪ Project page: https://www.robots.ox.ac.uk/~vgg/research/flowsam/
▪ Code: https://github.com/video2game/video2game
▪Paper: https://arxiv.org/abs/2404.12389
▪ Data: https://drive.google.com/drive/folders/1tmDq_vG_BvY5po40Ux5OBds1avUM_CbR

@ai_machinelearning_big_data

Machinelearning

21 апреля 2024 17:02

⁉️ Как следить за жизненным циклом ML-моделей, чтобы вовремя их корректировать?

💻  Узнайте на бесплатном практическом уроке «MLFlow и переобучение ML-моделей» от OTUS. 

На вебинаре вы узнаете: 

- как экспериментировать сразу с несколькими ML-моделями с разными гиперпараметрами;
- как, проводя регулярное переобучение, сравнивать качество работы моделей и выбирать лучший результат;
- как не потерять накопленный опыт и воспроизводить более ранние эксперименты. 

👉 Встречаемся 24 апреля в 20:00 мск в рамках курса «MLOps». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS! 

🔥 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://otus.pw/Qnnd/

Machinelearning

29 апреля 2024 10:03

🛂 ConsistentID : Portrait Generation with Multimodal Fine-Grained Identity Preserving

Consistent ID - новая модель, которая позволяет создавать различные персонализированные изображения для документов на основе текстовых промптов и исходного фото 🤌

• Github: https://github.com/JackAILab/ConsistentID
• Paper: https://arxiv.org/abs/2404.16771
• Project: https://ssugarwh.github.io/consistentid.github.io/
• Demo: http://consistentid.natapp1.cc/

@ai_machinelearning_big_data

Machinelearning

28 апреля 2024 11:20

🌐 The Powerful Multi-modal LLM Family
for OCR-free Document Understanding

Мощное мультимодальное семейство больших языковых моделей от Alibaba Group для понимания документов и работы с ними.

• mPLUG-DocOwl1.5 - модель для извлечения единой структуры из документов без распознавания текста.

• TinyChart - SOTA в различных тестах понимания диаграмм, в том числе Chart-to-Text, Chart-to-Table, OpenCQA, and ChartX. TinyChart превосходит несколько MLLM для понимания диаграмм по параметрам до 13B, таких как ChartLlama и ChartAst (код на подходе).

• mPLUG-PaperOwl - научный анализ диаграмм, с помощью мультимодальной LLM.

• UReader - разбор документов с помощью мультимодальной модели большого языка без OCR.

🖥 Github

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 11:03

☁️ Stable Diffusion запуск в облаке.

▪ Видео

@ai_machinelearning_big_data

Machinelearning

26 апреля 2024 18:14

🔥 Готовится к запуску ИИ-платформа Augment, конкурент GitHub Copilot, с бюджетом в $252 млн

⏩К запуску готовится новая ИИ-платформа Augment. Проект с бюджетом в $252 млн позиционируется как конкурент ИИ-помощника для программистов GitHub Copilot.

⏩В недавнем опросе StackOverflow 44% инженеров-программистов заявили, что они в настоящее время используют инструменты искусственного интеллекта как часть своих процессов разработки, а 26% планируют сделать это в ближайшее время. По оценкам Gartner, более половины организаций тестируют или уже внедрили помощников по кодированию на базе искусственного интеллекта, и что к 2028 году 75% разработчиков будут использовать ИИ для написания кода в той или иной форме.

⏩Экс-разработчик Microsoft Игорь Островский считает, что скоро не останется программиста, который не использует ИИ в своих рабочих процессах. «Разработка программного обеспечения остаётся сложной, зачастую утомительной и разочаровывающей работой, особенно в масштабе больших проектов. ИИ может улучшить качество программного обеспечения, производительность команды и помочь вернуть радость от программирования», — рассказал Островский TechCrunch.

⏩Островский решил создать удобную ИИ-платформа Augment, которую он сам хотел бы использовать. Это платформа Augment, которая ранее получила финансирование в размере $252 млн. Благодаря инвестициям бывшего генерального директора Google Эрика Шмидта и венчурных капиталистов, включая Index Ventures, Sutter Hill Ventures, Lightspeed Venture Partners, Innovation Endeavors и Meritech Capital, Augment стремится встряхнуть все ещё зарождающийся рынок технологий генеративного ИИ-кодинга.

▶️ Записаться в white-лист для тестирования Augment

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 21:08

⚡️ UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition

Модель распознавания математических выражений (MER).

git clone https://github.com/opendatalab/UniMERNet.git

• Github: https://github.com/opendatalab/unimernet
• Paper: https://arxiv.org/abs/2404.15254
• HF: https://huggingface.co/wanderkid/unimernet

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 12:10

🔥 FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

Массачусетский технологический университет представил FlowMap.

Это новый комплексный дифференцируемый метод для реконструкции 3D сцены, который позволяет точно задать ракурсы камеры, характеристики движения и глубину видеоряда для каждого кадра.

FlowMap позволяет создавать реалистичные ракурсы на 360°.

• Github: https://github.com/dcharatan/flowmap
• Paper: https://arxiv.org/abs/2404.15259
• Dataset: https://drive.google.com/drive/folders/1PqByQSfzyLjfdZZDwn6RXIECso7WB9IY

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 20:09

PyTorch 2.3 is here 😎🔥

Вышел PyTorch 2.3.

В PyTorch 2.3 реализована поддержка пользовательских ядер Triton в torch.compile, что позволяет пользователям переносить свои собственные ядра Triton без снижения производительности или сбоев в графике.

Triton – это языковой компилятор для создания сильно оптимизированных ядер CUDA.

В этом выпуске зафиксировано 3393 изменений.

Полный список обновлений: https://pytorch.org/blog/pytorch2-3/

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 14:59

В России появилась новая платежная система — KWIKPAY

Деньги приходят моментально с карт российских банков в другие страны, в том числе в ЕС.

Уже сейчас можно отправить деньги в Казахстан, Турцию, Израиль, Кипр, Грецию, Узбекистан и Киргизию.

Компания зарегистрирована в ЦБ РФ, на их сайте легко найти всю нужную информацию и документы

Скачать приложение можно здесь

Erid: 2VtzqwBS1VA Реклама. ООО КВИКПЭЙ ИНН: 7714437215

Machinelearning

23 апреля 2024 20:37

⚡️🗣 OpenVoice V2 - a Text-to-Speech model that can clone any voice and speak in any language.

OpenVoice V2 - новая версия открытой модели преобразования текста в речь, которая позволяет клонировать любой голос и генерировать речь на различных языках.

• Github: https://github.com/myshell-ai/OpenVoice/tree/main
• Usage: https://github.com/myshell-ai/OpenVoice/blob/main/docs/USAGE.md

@ai_machinelearning_big_data

Machinelearning

23 апреля 2024 17:53

🔥 AI Image Generator: Create images from text.

Новое поколение #Photoshop уже здесь.

Adobe добавили ИИ-инструменты в Photoshop на базе новой модели Firefly Image 3. Модель может самостоятельно подобрать или изменить фон, сгенерировать похожие изображения, генерировать изображения из пропитав .

Полный список обновлений здесь.

▪Blog
▪Demo

@ai_machinelearning_big_data

Machinelearning

23 апреля 2024 15:17

🪄👕 Magic Clothing: controllable garment-driven image synthesis

Вышла модель Waifu Dress Up 2024!

Magic Clothing позволяет создавать персонажей, одетых в заданную одежду, на основе промпта и входного изображения.

git clone https://github.com/ShineChen1024/MagicClothing.git

▪Github
▪Paper

@ai_machinelearning_big_data

Machinelearning

23 апреля 2024 10:00

erid: 2Ranyng8yqS

CodeFest — это ежегодная тёплая ламповая айтишная конференция, на которую слетаются русскоговорящие айтишники с разных уголков страны, чтобы встретиться с коллегами, поделиться новостями и обсудить последние тенденции в мире разработки.

Ключевые направления программы: Backend, Frontend, Management, QA, Data Science, Mobile, Design, Web 3, System Аnalysis, а также дискуссионный народный поток Kvartirniki и вдохновляющие Keynote выступления от айти-звёзд.

Изюминка CodeFest — неформальное общение, которого много, которое невероятно дружелюбное, и зачином для которого служат те самые выступления в ключевых секциях. Начали с доклада в зале — закончили спонтанным митапом в холле.

Присоединяйтесь к невероятной атмосфере конференции:

■ 25-26 мая, Новосибирск, Экспоцентр.
■ 1800 участников на одной площадке.
■ Участие офлайн и онлайн.
■ Более 120 докладов.
■ Насыщенная программа от партнёров конференции.

Приезжайте командой, участвуйте лично.

Регистрация 👉 https://l.codefest.ru/ai_machinelearning_big_data

Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Machinelearning

22 апреля 2024 10:03

I’ML — конференция для тех, кто использует в проектах машинное обучение.

🌐 21–22 мая, онлайн

В программе — два десятка докладов об NLP-разработке, MLOps, компьютерном зрении, рекомендательных системах, Advanced Analytics, продуктах на основе ML.

После каждого доклада пройдут дискуссии при участии спикеров, где участники задают профессиональные вопросы и обмениваются мнениями с коллегами по цеху.

Выступают специалисты из крупных технологических компаний:, Яндекс. VK, Циан, Сбер и Тинькофф.

Билеты можно купить за счет компании. Для тех, кто покупает билеты сам, у нас есть промокод на скидку 10%: MACHINELEARNING

Реклама. ООО «Джуг Ру Груп». ИНН 7801341446

Machinelearning

21 апреля 2024 18:04

🌟 Рост популярности Anthropic Claude: вызовы и перспективы для OpenAI

🟡В последнее время наблюдается значительный рост популярности платформы Anthropic Claude. Согласно данным SimilarWeb, посещаемость этой платформы значительно возросла за последние месяцы.
В то время как Anthropic Claude продолжает завоевывать пользователей, платформа ChatGPT от OpenAI испытывает снижение по трафику уже почти год. Сравнение данных показывает, что Claude обгоняет не только ChatGPT, но и других конкурентов.

🟡Одной из причин успеха Claude может быть недавний запуск 3 поколения разработки Anthropic, что, по мнению некоторых аналитиков, придало платформе значительное преимущество.

🟡Anthropic Claude 3 поколения является последней разработкой компании Anthropic в области искусственного интеллекта. Этот инструмент представляет собой мощную платформу, способную генерировать тексты, отвечать на вопросы и взаимодействовать с пользователями на уровне, близком к человеческому.

🟡Одной из ключевых причин, почему Anthropic Claude 3 поколения представляет угрозу для ChatGPT, является его улучшенная способность понимания контекста и генерации более качественных ответов. Claude обладает более развитой моделью понимания языка и обучен на более обширном корпусе текстов, что позволяет ему создавать более информативные и связные ответы на запросы пользователей.

📎 Исследование о популяризации Claude от SimilarWeb

@ai_machinelearning_big_data

Machinelearning

21 апреля 2024 16:00

🔥🎮 Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video

Video2Game - фреймворк, который позволяет преобразовывать видео в реалистичную и интерактивную игровую среду!

В основе модели лежат ри основных компонента: (i) NeRF, который отображает геометрию и пространство сцены; (ii) mesh модуль, который использует NeRF для ускорения рендеринга; и (iii) физический модуль, который моделирует физическую динамику и взаимодействие объектов.

Встроенные агенты могут свободно перемещаются по местности в виртуальной среде, где их действия соответствуют физике реального мира. Игроки могут взаимодействовать с объектами на сцене, подчиняясь физическими законами.

▪ Project page: https://video2game.github.io
▪ Code: https://github.com/video2game/video2game
▪ Demo: https://video2game.github.io/src/garden/index.html

@ai_machinelearning_big_data