Machinelearning

05 мая 2024 11:34

🧑‍💻 StarCoder2-Instruct: Fully Transparent and Permissive Self-Alignment for Code Generation

StarCoder2-Instruct - это первый полностью самонастраивающийся LLM-разработчик кода с помощью конвейера Hugging Face.

Этот конвейер использует StarCoder2-15B для генерации тысяч пар "промпт-ответ", которые затем используются для точной настройки StarCoder-15B без каких-либо человеческих аннотаций или дистиллированных данных из огромных и проприетарных LLM.

StarCoder2-15B-Instruct набрал 72,6 балла по шкале HumanEval и даже превосходит CodeLlama-70B-Instruct с ее 72,0 балла !

Оценки на LiveCodeBench показывают, что самонастраивающаяся модель работает даже лучше, чем та же модель, обученная на основе данных, полученных из GPT-4, это означает, что LLM может более эффективно учиться на собственных данных.

▪Blog: https://huggingface.co/blog/sc2-instruct
▪Model: https://huggingface.co/bigcode/starcoder2-15b-instruct-v0.1
▪Dataset: https://huggingface.co/datasets/bigcode/self-oss-instruct-sc2-exec-filter-50k
▪Code: https://github.com/bigcode-project/starcoder2-self-align

@ai_machinelearning_big_data

Machinelearning

04 мая 2024 11:57

⚡️ Google just dropped Code Gemma 1.1 7B IT 🔥

СЮРПРИЗ: Google только что выпустила Code Gemma 1.1 7B IT 🔥

Модели постепенно становятся все совершеннее в генерации кода .

Значительный прогресс достигнут для C#, Go, Python 🐍

Вместе с версией 7B они также выпустили обновленную базовую модель 2B.

Наслаждайтесь!

• 7B: https://huggingface.co/google/codegemma-1.1-7b-it
• 2B: https://huggingface.co/google/codegemma-1.1-2b
• Report: https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

@ai_machinelearning_big_data

Machinelearning

03 мая 2024 14:16

🚀 AI2 presents WildChat: 1M ChatGPT Interaction Logs in the Wild

Новый крутой датасет - Wild Chat, состоящий 1 миллиона реальных взаимодействий пользователей с ChatGPT, характеризующихся широким спектром языков и разнообразием промптов.

Он был собран путем предоставления бесплатного доступа всем желающим к ChatGPT и GPT-4 в обмен на сбор истории чатов.

Используя этот датасет, разработчики создали бота WildLlama-7b-user-assistant на базе Llama-2, который способен предсказывать как промптов пользователя, так и ответы, которые может выбрать Chatgpt.

Пользуйтесь )

• proj: https://wildchat.allen.ai
• abs: https://arxiv.org/abs/2405.01470

@ai_machinelearning_big_data

Machinelearning

03 мая 2024 10:46

🔥 Prometheus-Eval 🔥

Prometheus 2: Языковая модель с открытым исходным кодом, специализирующаяся на оценке других языковых моделей.

По сравнению с Prometheus 1 (13B), Prometheus 2 (8x7B) - обеспечивает более точные оценки моделей и также поддерживает оценку в формате попарного ранжирования (относительной классификации)!

На 8 бенчмарках Prometheus 2 демонстрирует наивысшую корреляцию с оценками, сделанными экспертами.

⚡ Поддерживает оценку Prometheus, GPT-4 и Claude-3 🚀 ⚡

pip install prometheus-eval

Machinelearning

02 мая 2024 15:02

🌟 OSWorld — среда для оценки мультимодальных AI-агентов

OSWorld — это первая в своем роде масштабируемая среда для мультимодальных агентов, поддерживающая постановку задач, оценку на основе выполнения и интерактивное обучение в разных операционных системах.
OSWorld может служить унифицированной средой для оценки бессрочных компьютерных задач, включающих произвольные
приложения.

🖥 GitHub
🟡 Arxiv

@ai_machinelearning_big_data

Machinelearning

01 мая 2024 10:58

⚡️ ExecuTorch Alpha: Taking LLMs and AI to the Edge

PyTorch выпустили новую версию своего инструмента - ExecuTorch alpha.

Он предназначен для развертывания больших языковых моделей и запуска моделей на Edge девайсах.

Edge ML - это технология, которая приближает алгоритмы машинного обучения к источнику данных, что значительно сокращает задержку и улучшает возможности обработки данных в реальном времени.

ExecuTorch позволяет эффективно запускать Llama 2 7B и Llama 3 8B (и другие модели) на телефонах iPhone 15 Pro, iPhone 15 ProMax, Samsung Galaxy S22, S23 и S24 и других современных устройствах.

Разработчики постоянно улучшают производительность на разных edge девайсах и добавляют новые модели.
Здесь можно посмотреть тесты производительности.

• Announce
• Github

@ai_machinelearning_big_data

Machinelearning

30 апреля 2024 20:27

🐇📚 Alice’s Adventures in a
differentiable wonderland: Aprimer on designing neural networks

Алиса отправляется в дифференцируемую страну чудес!* 🔥

Новая бесплатная книга по проектированию нейронных сетей.

Отправляемся в увлекательное приключение по миру математики нс, от самых азов до трансформеров.

Отличный баланс между теорией и кодом, с историческими справками и описанием современных тенденций развития нс.

Приятный бонус это красивый дизайн и приятные иллюстрации.

Отличное приключение на выходные)
.
📓 Book

@ai_machinelearning_big_data

Machinelearning

30 апреля 2024 09:20

🖥 Gpt2-chatbot = Gpt-5 ?

Появился новый загадочный LLM под названием “gpt2-chatbot”, который невероятно хорошо справляется с широком спектром задач.

Пользователи reddit уверены, что создатели модели - OpenAI и таким образом они тестируют GPT-5 или GPT-4.5.

Модель выдает рабочий код высочайшего качества на всех популярных языках, решает олимпиадные задачи по математике, физике, на недоступном ранее уровне и демонстрирует высокое качество рассуждений и логики.

GPT-4 тоже тестили подобным образом внутри Bing Chat, так что это вполне может быть новая модель OpenAI.

Вот как вы можете попробовать ее бесплатно и оценить модель сами:

- перейдите по ссылке: http://chat.lmsys.org

- перейдите во вкладку “Direct Chat”.

- введите свой промпт.

На видео сравниваем GPT-4 Turbo и Gpt2-chatbot. Отправляем запрос на создание игры на JS в одном HTML-документе.

Первое видео результат работы - GPT-4 Turbo, Второе - Gpt2-chatbot.

@ai_machinelearning_big_data

Machinelearning

29 апреля 2024 12:12

💾 LLM Datasets: High-quality datasets, tools, and concepts for LLM fine-tuning.

Большая коллекция качественных датасетов, советов и инструментов для файнтюнинга LLM и для создания ваших собственных датасетов.

• GitHub: https://github.com/mlabonne/llm-datasets

@ai_machinelearning_big_data

Machinelearning

28 апреля 2024 18:26

🏠💻💌 AI Town : AI Town is a virtual town where AI characters live, chat and socialize.

Запустите свой ИИ-город в 1 клик.

Очень интересный проект с использованием искусственного интеллекта, где множество ИИ- агентов взаимодействуют друг с другом .

Агенты введут социальную жизнь, коммуницируют между собой и запоминают свои действия.

Вы можете запустить свой город на базе llama3🎉 или поиграть оналйн.

• Github
• Demo

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 14:02

🔥🪄 Awesome-LLM: a curated list of Large Language Model

Кураторский список статей, моделей, api, примеров с кодом, курсов, датасетов, посвященный большим языковым моделям.

Это хорошо структурированная академическая подборка.

• Github

Другие узкоспециализированные awesome репозиторий, посвященные LLM:
• Awesome-LLM-hallucination
• Awesome-hallucination-detection
• Awesome ChatGPT Prompts
• Awesome ChatGPT
• Awesome Deliberative Prompting
• Instruction-Tuning-Papers
• LLM Reading List
• Reasoning using Language Models
• Chain-of-Thought Hub
• Awesome GPT
• Awesome GPT-3
• Awesome LLM Human Preference Datasets
• RWKV-howto
• ModelEditingPapers
• Awesome LLM Securityrge
• Awesome-Code-LLM
• Awesome-LLM-Compression
• Awesome-LLM-Systems
• Awesome-LLM-Healthcare
• Awesome-LLM-Inference
• Awesome-LLM-3D
• LLMDatahub
• Language models for Russian language

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 09:27

⚡️ Команда PyTorch разрабатывает библиотеку для обучения LLM под названием torch titan.

Сегодня библиотека стала общедоступной на GitHub, но она все еще находится в предрелизном состоянии и активно разрабатывается.

- Ссылка на библиотеку: https://github.com/pytorch/torchtitan

- Туториал по работе с torch titan: https://www.youtube.com/watch?v=ee5DOEqD35I

Библиотека создана для предварительного обучения моделей, а для файнтюнига у PyTorch есть еще одна библиотека torchtune:
https://github.com/pytorch/torchtune

@ai_machinelearning_big_data

Machinelearning

26 апреля 2024 09:10

➕ OpenBioLLM-Llama3-70B и 8B: Open-source Large Language Models in Medical Domain

OpenBioLLM-Llama3-70B и 8B: самые эффективные и доступные на сегодняшний день Lms в области медицины! 🩺 💊 🧬

Превосходит таких гигантов индустрии, как GPT-4, Gemini, Meditron-70B, Med-PaLM-1 и Med-PaLM-2, в области биомедицины. 🏥 📈 🌟

OpenBioLLM-70B достигает SOTA и является новым достижением для моделей такого размера.
Модель OpenBioLLM-8B превосходит даже GPT-3.5, Gemini и Meditron-70B! 🚀

- 70B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B
- 8B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B
- Таблица лидеров в области медицины: https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 19:08

Яндекс анонсировал Young Con — фест для студентов и начинающих специалистов, которые интересуются карьерой в IT

Главная тема фестиваля — «Вселенная Яндекса», состоящая из 9 тематических «миров». Участники могут свободно перемещаться по ним и общаться с экспертами, которые поделятся вдохновляющим опытом и расскажут о том, какие возможности предоставляет то или иное IT-направление.

Еще гостей ждет финал «Баттла Вузов» — турнира, в котором студенты будут соревноваться в программировании за призовой фонд в размере 1 млн рублей. В завершение дня выступят группы The Hatters и Хлеб.

Фестиваль пройдет 27 июня в московском Live Arena. Для участия в фестивале нужно зарегистрироваться на сайте Young Con до 14 июня. Гостям достаточно написать мотивационное письмо, а разработчикам — выполнить техническое задание. Специалисты, которые хорошо справятся с тестом, смогут пройти экспресс-собеседование в день фестиваля, которое сильно увеличивает шансы приглашения на стажировку.

Machinelearning

25 апреля 2024 10:02

📌Apple приобрела компанию Datakalab, занимающуюся проектами на базе ИИ

🟡Apple купила французский стартап Datakalab, который специализируется на технологиях сжатия данных искусственного интеллекта и компьютерного зрения.

🟡Datakalab позиционирует себя как «эксперта в области маломощных эффективных алгоритмов глубокого обучения», работающих на устройствах. Стартап создаёт алгоритмы для анализа изображений и видео. Один из продуктов компании — инструмент для отслеживания наличия масок на лицах пассажиров общественного транспорта Парижа.
Полученные стартапом изображения мгновенно преобразуются в анонимные статистические данные, обрабатываемые локально за 100 мс. Стартап не хранит изображения или личные данные, а только статистические данные.

🟡Datakalab имеет несколько патентов, связанных с технологиями сжатия данных ИИ и машинного зрения.

🟡Приобретение стартапа, вероятно, обусловлено планами Apple предоставить набор ИИ-функций в iOS 18. Datakalab разработала передовую технологию на базе машинного обучения, которая может сыграть роль в развитии гарнитуры смешанной реальности Vision Pro.
Кстати, в начале 2024 года корпорация купила стартап WaveOne, который предлагает ИИ-алгоритм для сжатия видео.

@ai_machinelearning_big_data

Machinelearning

04 мая 2024 18:21

⚡️ Finetuning for Text Classification

Если вы ищете чем занаться на выходных и хотите немного почитать и покодить,- вот свежая глава из книги Build an LLM from Scratch, по настройке GPT-модели для классификации СПАМ-сообщений с точностью до 96%.

Модель небольшая и обучение на MacBook Air M3 занимает ~ 5 минут.

▪ Github

#book #tutorial #llm

@ai_machinelearning_big_data

Machinelearning

03 мая 2024 18:54

⭐️ StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation

StoryDiffusion - новый инструмент, для создания, последовательных историй: изображений и видео.

Модель позволяет создавать комиксы в различных стилях, с акцентом на последовательное повествование и поддержание единого стиля окружения, персонажей и их одежды.

StoryDiffusion совместим со всеми моделями на базе SD1.5 и SDXL.

• Github: https://github.com/HVision-NKU/StoryDiffusion
• Paper: https://arxiv.org/abs/2405.01434
• Demo: https://storydiffusion.github.io

@ai_machinelearning_big_data

Machinelearning

03 мая 2024 12:04

🧠 Улучши ИИ на хакатоне X5 Tech AI Hack! У тебя будет 10 дней, чтобы избавить нейросеть от галлюцинаций или научить ее работать с конфиденциальными данными. Призовой фонд от X5 Tech – 2 000 000 рублей.

Старт ML-соревнования – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас: https://cnrlink.com/x5techaihackml

Приглашаем на хакатон экспертов по Data Science, ML-специалистов, разработчиков на Python и всех остальных, кто хочет прокачать свои знания о создании ИИ. На выбор – один из двух треков:

🥷 Трек 1. Маскирование. При использовании сторонней языковой модели нельзя передавать ей чувствительные данные организации – имена клиентов, доменные адреса и прочие. Поэтому участникам необходимо подготовить алгоритм, который заменит эти сведения в тексте без потери смысла.

🔎 Трек 2. Детекция галлюцинаций. Никто не любит, когда ИИ-ассистент в ответ на вопрос дает неправильную информацию. Задача конкурсантов – разработать систему, которая сможет эффективно выявлять аномалии в текстах, сгенерированных нейросетью.

Хакатон продлится 10 дней. У тебя будет шанс получить консультацию от крутых ML-экспертов и специалистов по Data Science, обсудить решения с единомышленниками, узнать больше о проектах X5 Tech.

28-29 мая по результатам тестирования моделей участников 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет на мероприятии X5 Future Night.

Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий: https://cnrlink.com/x5techaihackml

Реклама. ООО «ИТ ИКС 5 Технологии». ИНН 1615014289. erid: LjN8KLvK4

Machinelearning

02 мая 2024 16:18

🖥 Похоже, что OpenAI собирается занять позиции Google и запустить свои поисковик.

Это может быть самой серьезной угрозой, с которой Google когда-либо сталкивался.

В журналах регистрации SSL-сертификатов Openai добавили домен http://search.chatgpt.com

Это не слишком удивительно, учитывая:
1. В OpenAI есть веб сканер GPTBot.
2. Пользователи ChatGPT Plus имеет функциб Browse для поиска информации в Интернете.
3. Microsoft Bing использует движок GPT-4 от OpenAI, настроенный для поиска.

@ai_machinelearning_big_data

Machinelearning

02 мая 2024 11:12

⚡️ llamafile — утилита для быстрого запуска ИИ-моделей

⏩Инструмент llamafile от Mozilla даёт возможность упаковать веса LLM в исполняемый файл, который без установки можно запустить практически на любой современной платформе. Поддерживаются архитектуры x86-64 и ARM64, а также системы macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD.

⏩llamafile работает практически со всеми LLM, недавно была добавлена поддержка модели Phi-3 Mini 4k, а также LLaMA3, Grok, Mixtral 8x22b и Command-R.

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

01 мая 2024 09:37

🔥 mistral.rs — нереально быстрый интерфейс для LLM

🟡 mistral.rs поддерживает вывод на различных устройствах, квантование, предоставляет удобный HTTP-сервер, совместимый с Open-AI API.
Имеет удобное API для обращения из Python, вот примеры такого использования

🟡 mistral.rs поддерживает такие LLM:
— Mistral 7B (v0.1 и v0.2)
— Gemma
— Llama, включая Llama 3
— Mixtral 8x7B
— Phi 2, Phi 3
— Qwen 2

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

30 апреля 2024 16:03

⚡️ Arena-Hard is an evaluation tool for instruction-tuned LLMs.

Arena-Hard — создание высококачественных тестов для оценки LLM

Arena-Hard позволяет оценивать ответы LLM по 7 конкретным показателям; критерии на изображении

▶️ Подробно про Arena-Hard
🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

29 апреля 2024 19:46

🧠 Open AI только что добавили новую функцию памяти в Chatgpt.

Память теперь доступна всем пользователям ChatGPT Plus.

Пользоваться памятью очень просто: просто запустите новый чат и напишите ChatGPT все, что вы хотели бы, чтобы он запомнил.

Функция памяти ChatGPT позволяет запоминать нужные вам детали, чтобы в будущем сделать общение актуальным и персонализированны.

ChatGPT автоматически сохраняет такие детали, как ваши личные предпочтения, но вы также можете попросить ChatGPT запомнить конкретную информацию, сказав:
"Запомнить это" или "Сохрани это в своей памяти".

Примечание:
1. Эта функция доступна только в GPT-4, но не в версии 3.5.
2. Если вы хотите удалить что-либо из памяти, вы можете сделать это через настройки управления памятью
3.Похоже, что это замедляет работу GPT-4, потому что он пытается получить доступ к памяти, а затем отвечает.

Память можно включить или отключить в настройках.

@ai_machinelearning_big_data

Machinelearning

29 апреля 2024 10:03

🛂 ConsistentID : Portrait Generation with Multimodal Fine-Grained Identity Preserving

Consistent ID - новая модель, которая позволяет создавать различные персонализированные изображения для документов на основе текстовых промптов и исходного фото 🤌

• Github: https://github.com/JackAILab/ConsistentID
• Paper: https://arxiv.org/abs/2404.16771
• Project: https://ssugarwh.github.io/consistentid.github.io/
• Demo: http://consistentid.natapp1.cc/

@ai_machinelearning_big_data

Machinelearning

28 апреля 2024 11:20

🌐 The Powerful Multi-modal LLM Family
for OCR-free Document Understanding

Мощное мультимодальное семейство больших языковых моделей от Alibaba Group для понимания документов и работы с ними.

• mPLUG-DocOwl1.5 - модель для извлечения единой структуры из документов без распознавания текста.

• TinyChart - SOTA в различных тестах понимания диаграмм, в том числе Chart-to-Text, Chart-to-Table, OpenCQA, and ChartX. TinyChart превосходит несколько MLLM для понимания диаграмм по параметрам до 13B, таких как ChartLlama и ChartAst (код на подходе).

• mPLUG-PaperOwl - научный анализ диаграмм, с помощью мультимодальной LLM.

• UReader - разбор документов с помощью мультимодальной модели большого языка без OCR.

🖥 Github

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 11:03

☁️ Stable Diffusion запуск в облаке.

▪ Видео

@ai_machinelearning_big_data

Machinelearning

26 апреля 2024 18:14

🔥 Готовится к запуску ИИ-платформа Augment, конкурент GitHub Copilot, с бюджетом в $252 млн

⏩К запуску готовится новая ИИ-платформа Augment. Проект с бюджетом в $252 млн позиционируется как конкурент ИИ-помощника для программистов GitHub Copilot.

⏩В недавнем опросе StackOverflow 44% инженеров-программистов заявили, что они в настоящее время используют инструменты искусственного интеллекта как часть своих процессов разработки, а 26% планируют сделать это в ближайшее время. По оценкам Gartner, более половины организаций тестируют или уже внедрили помощников по кодированию на базе искусственного интеллекта, и что к 2028 году 75% разработчиков будут использовать ИИ для написания кода в той или иной форме.

⏩Экс-разработчик Microsoft Игорь Островский считает, что скоро не останется программиста, который не использует ИИ в своих рабочих процессах. «Разработка программного обеспечения остаётся сложной, зачастую утомительной и разочаровывающей работой, особенно в масштабе больших проектов. ИИ может улучшить качество программного обеспечения, производительность команды и помочь вернуть радость от программирования», — рассказал Островский TechCrunch.

⏩Островский решил создать удобную ИИ-платформа Augment, которую он сам хотел бы использовать. Это платформа Augment, которая ранее получила финансирование в размере $252 млн. Благодаря инвестициям бывшего генерального директора Google Эрика Шмидта и венчурных капиталистов, включая Index Ventures, Sutter Hill Ventures, Lightspeed Venture Partners, Innovation Endeavors и Meritech Capital, Augment стремится встряхнуть все ещё зарождающийся рынок технологий генеративного ИИ-кодинга.

▶️ Записаться в white-лист для тестирования Augment

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 21:08

⚡️ UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition

Модель распознавания математических выражений (MER).

git clone https://github.com/opendatalab/UniMERNet.git

• Github: https://github.com/opendatalab/unimernet
• Paper: https://arxiv.org/abs/2404.15254
• HF: https://huggingface.co/wanderkid/unimernet

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 12:10

🔥 FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

Массачусетский технологический университет представил FlowMap.

Это новый комплексный дифференцируемый метод для реконструкции 3D сцены, который позволяет точно задать ракурсы камеры, характеристики движения и глубину видеоряда для каждого кадра.

FlowMap позволяет создавать реалистичные ракурсы на 360°.

• Github: https://github.com/dcharatan/flowmap
• Paper: https://arxiv.org/abs/2404.15259
• Dataset: https://drive.google.com/drive/folders/1PqByQSfzyLjfdZZDwn6RXIECso7WB9IY

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 20:09

PyTorch 2.3 is here 😎🔥

Вышел PyTorch 2.3.

В PyTorch 2.3 реализована поддержка пользовательских ядер Triton в torch.compile, что позволяет пользователям переносить свои собственные ядра Triton без снижения производительности или сбоев в графике.

Triton – это языковой компилятор для создания сильно оптимизированных ядер CUDA.

В этом выпуске зафиксировано 3393 изменений.

Полный список обновлений: https://pytorch.org/blog/pytorch2-3/

@ai_machinelearning_big_data