Machinelearning

03 мая 2024 12:04

🧠 Улучши ИИ на хакатоне X5 Tech AI Hack! У тебя будет 10 дней, чтобы избавить нейросеть от галлюцинаций или научить ее работать с конфиденциальными данными. Призовой фонд от X5 Tech – 2 000 000 рублей.

Старт ML-соревнования – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас: https://cnrlink.com/x5techaihackml

Приглашаем на хакатон экспертов по Data Science, ML-специалистов, разработчиков на Python и всех остальных, кто хочет прокачать свои знания о создании ИИ. На выбор – один из двух треков:

🥷 Трек 1. Маскирование. При использовании сторонней языковой модели нельзя передавать ей чувствительные данные организации – имена клиентов, доменные адреса и прочие. Поэтому участникам необходимо подготовить алгоритм, который заменит эти сведения в тексте без потери смысла.

🔎 Трек 2. Детекция галлюцинаций. Никто не любит, когда ИИ-ассистент в ответ на вопрос дает неправильную информацию. Задача конкурсантов – разработать систему, которая сможет эффективно выявлять аномалии в текстах, сгенерированных нейросетью.

Хакатон продлится 10 дней. У тебя будет шанс получить консультацию от крутых ML-экспертов и специалистов по Data Science, обсудить решения с единомышленниками, узнать больше о проектах X5 Tech.

28-29 мая по результатам тестирования моделей участников 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет на мероприятии X5 Future Night.

Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий: https://cnrlink.com/x5techaihackml

Реклама. ООО «ИТ ИКС 5 Технологии». ИНН 1615014289. erid: LjN8KLvK4

Machinelearning

02 мая 2024 16:18

🖥 Похоже, что OpenAI собирается занять позиции Google и запустить свои поисковик.

Это может быть самой серьезной угрозой, с которой Google когда-либо сталкивался.

В журналах регистрации SSL-сертификатов Openai добавили домен http://search.chatgpt.com

Это не слишком удивительно, учитывая:
1. В OpenAI есть веб сканер GPTBot.
2. Пользователи ChatGPT Plus имеет функциб Browse для поиска информации в Интернете.
3. Microsoft Bing использует движок GPT-4 от OpenAI, настроенный для поиска.

@ai_machinelearning_big_data

Machinelearning

02 мая 2024 11:12

⚡️ llamafile — утилита для быстрого запуска ИИ-моделей

⏩Инструмент llamafile от Mozilla даёт возможность упаковать веса LLM в исполняемый файл, который без установки можно запустить практически на любой современной платформе. Поддерживаются архитектуры x86-64 и ARM64, а также системы macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD.

⏩llamafile работает практически со всеми LLM, недавно была добавлена поддержка модели Phi-3 Mini 4k, а также LLaMA3, Grok, Mixtral 8x22b и Command-R.

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

01 мая 2024 09:37

🔥 mistral.rs — нереально быстрый интерфейс для LLM

🟡 mistral.rs поддерживает вывод на различных устройствах, квантование, предоставляет удобный HTTP-сервер, совместимый с Open-AI API.
Имеет удобное API для обращения из Python, вот примеры такого использования

🟡 mistral.rs поддерживает такие LLM:
— Mistral 7B (v0.1 и v0.2)
— Gemma
— Llama, включая Llama 3
— Mixtral 8x7B
— Phi 2, Phi 3
— Qwen 2

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

30 апреля 2024 16:03

⚡️ Arena-Hard is an evaluation tool for instruction-tuned LLMs.

Arena-Hard — создание высококачественных тестов для оценки LLM

Arena-Hard позволяет оценивать ответы LLM по 7 конкретным показателям; критерии на изображении

▶️ Подробно про Arena-Hard
🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

29 апреля 2024 19:46

🧠 Open AI только что добавили новую функцию памяти в Chatgpt.

Память теперь доступна всем пользователям ChatGPT Plus.

Пользоваться памятью очень просто: просто запустите новый чат и напишите ChatGPT все, что вы хотели бы, чтобы он запомнил.

Функция памяти ChatGPT позволяет запоминать нужные вам детали, чтобы в будущем сделать общение актуальным и персонализированны.

ChatGPT автоматически сохраняет такие детали, как ваши личные предпочтения, но вы также можете попросить ChatGPT запомнить конкретную информацию, сказав:
"Запомнить это" или "Сохрани это в своей памяти".

Примечание:
1. Эта функция доступна только в GPT-4, но не в версии 3.5.
2. Если вы хотите удалить что-либо из памяти, вы можете сделать это через настройки управления памятью
3.Похоже, что это замедляет работу GPT-4, потому что он пытается получить доступ к памяти, а затем отвечает.

Память можно включить или отключить в настройках.

@ai_machinelearning_big_data

Machinelearning

29 апреля 2024 10:03

🛂 ConsistentID : Portrait Generation with Multimodal Fine-Grained Identity Preserving

Consistent ID - новая модель, которая позволяет создавать различные персонализированные изображения для документов на основе текстовых промптов и исходного фото 🤌

• Github: https://github.com/JackAILab/ConsistentID
• Paper: https://arxiv.org/abs/2404.16771
• Project: https://ssugarwh.github.io/consistentid.github.io/
• Demo: http://consistentid.natapp1.cc/

@ai_machinelearning_big_data

Machinelearning

28 апреля 2024 11:20

🌐 The Powerful Multi-modal LLM Family
for OCR-free Document Understanding

Мощное мультимодальное семейство больших языковых моделей от Alibaba Group для понимания документов и работы с ними.

• mPLUG-DocOwl1.5 - модель для извлечения единой структуры из документов без распознавания текста.

• TinyChart - SOTA в различных тестах понимания диаграмм, в том числе Chart-to-Text, Chart-to-Table, OpenCQA, and ChartX. TinyChart превосходит несколько MLLM для понимания диаграмм по параметрам до 13B, таких как ChartLlama и ChartAst (код на подходе).

• mPLUG-PaperOwl - научный анализ диаграмм, с помощью мультимодальной LLM.

• UReader - разбор документов с помощью мультимодальной модели большого языка без OCR.

🖥 Github

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 11:03

☁️ Stable Diffusion запуск в облаке.

▪ Видео

@ai_machinelearning_big_data

Machinelearning

26 апреля 2024 18:14

🔥 Готовится к запуску ИИ-платформа Augment, конкурент GitHub Copilot, с бюджетом в $252 млн

⏩К запуску готовится новая ИИ-платформа Augment. Проект с бюджетом в $252 млн позиционируется как конкурент ИИ-помощника для программистов GitHub Copilot.

⏩В недавнем опросе StackOverflow 44% инженеров-программистов заявили, что они в настоящее время используют инструменты искусственного интеллекта как часть своих процессов разработки, а 26% планируют сделать это в ближайшее время. По оценкам Gartner, более половины организаций тестируют или уже внедрили помощников по кодированию на базе искусственного интеллекта, и что к 2028 году 75% разработчиков будут использовать ИИ для написания кода в той или иной форме.

⏩Экс-разработчик Microsoft Игорь Островский считает, что скоро не останется программиста, который не использует ИИ в своих рабочих процессах. «Разработка программного обеспечения остаётся сложной, зачастую утомительной и разочаровывающей работой, особенно в масштабе больших проектов. ИИ может улучшить качество программного обеспечения, производительность команды и помочь вернуть радость от программирования», — рассказал Островский TechCrunch.

⏩Островский решил создать удобную ИИ-платформа Augment, которую он сам хотел бы использовать. Это платформа Augment, которая ранее получила финансирование в размере $252 млн. Благодаря инвестициям бывшего генерального директора Google Эрика Шмидта и венчурных капиталистов, включая Index Ventures, Sutter Hill Ventures, Lightspeed Venture Partners, Innovation Endeavors и Meritech Capital, Augment стремится встряхнуть все ещё зарождающийся рынок технологий генеративного ИИ-кодинга.

▶️ Записаться в white-лист для тестирования Augment

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 21:08

⚡️ UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition

Модель распознавания математических выражений (MER).

git clone https://github.com/opendatalab/UniMERNet.git

• Github: https://github.com/opendatalab/unimernet
• Paper: https://arxiv.org/abs/2404.15254
• HF: https://huggingface.co/wanderkid/unimernet

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 12:10

🔥 FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

Массачусетский технологический университет представил FlowMap.

Это новый комплексный дифференцируемый метод для реконструкции 3D сцены, который позволяет точно задать ракурсы камеры, характеристики движения и глубину видеоряда для каждого кадра.

FlowMap позволяет создавать реалистичные ракурсы на 360°.

• Github: https://github.com/dcharatan/flowmap
• Paper: https://arxiv.org/abs/2404.15259
• Dataset: https://drive.google.com/drive/folders/1PqByQSfzyLjfdZZDwn6RXIECso7WB9IY

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 20:09

PyTorch 2.3 is here 😎🔥

Вышел PyTorch 2.3.

В PyTorch 2.3 реализована поддержка пользовательских ядер Triton в torch.compile, что позволяет пользователям переносить свои собственные ядра Triton без снижения производительности или сбоев в графике.

Triton – это языковой компилятор для создания сильно оптимизированных ядер CUDA.

В этом выпуске зафиксировано 3393 изменений.

Полный список обновлений: https://pytorch.org/blog/pytorch2-3/

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 14:59

В России появилась новая платежная система — KWIKPAY

Деньги приходят моментально с карт российских банков в другие страны, в том числе в ЕС.

Уже сейчас можно отправить деньги в Казахстан, Турцию, Израиль, Кипр, Грецию, Узбекистан и Киргизию.

Компания зарегистрирована в ЦБ РФ, на их сайте легко найти всю нужную информацию и документы

Скачать приложение можно здесь

Erid: 2VtzqwBS1VA Реклама. ООО КВИКПЭЙ ИНН: 7714437215

Machinelearning

23 апреля 2024 20:37

⚡️🗣 OpenVoice V2 - a Text-to-Speech model that can clone any voice and speak in any language.

OpenVoice V2 - новая версия открытой модели преобразования текста в речь, которая позволяет клонировать любой голос и генерировать речь на различных языках.

• Github: https://github.com/myshell-ai/OpenVoice/tree/main
• Usage: https://github.com/myshell-ai/OpenVoice/blob/main/docs/USAGE.md

@ai_machinelearning_big_data

Machinelearning

03 мая 2024 10:46

🔥 Prometheus-Eval 🔥

Prometheus 2: Языковая модель с открытым исходным кодом, специализирующаяся на оценке других языковых моделей.

По сравнению с Prometheus 1 (13B), Prometheus 2 (8x7B) - обеспечивает более точные оценки моделей и также поддерживает оценку в формате попарного ранжирования (относительной классификации)!

На 8 бенчмарках Prometheus 2 демонстрирует наивысшую корреляцию с оценками, сделанными экспертами.

⚡ Поддерживает оценку Prometheus, GPT-4 и Claude-3 🚀 ⚡

pip install prometheus-eval

Machinelearning

02 мая 2024 15:02

🌟 OSWorld — среда для оценки мультимодальных AI-агентов

OSWorld — это первая в своем роде масштабируемая среда для мультимодальных агентов, поддерживающая постановку задач, оценку на основе выполнения и интерактивное обучение в разных операционных системах.
OSWorld может служить унифицированной средой для оценки бессрочных компьютерных задач, включающих произвольные
приложения.

🖥 GitHub
🟡 Arxiv

@ai_machinelearning_big_data

Machinelearning

01 мая 2024 10:58

⚡️ ExecuTorch Alpha: Taking LLMs and AI to the Edge

PyTorch выпустили новую версию своего инструмента - ExecuTorch alpha.

Он предназначен для развертывания больших языковых моделей и запуска моделей на Edge девайсах.

Edge ML - это технология, которая приближает алгоритмы машинного обучения к источнику данных, что значительно сокращает задержку и улучшает возможности обработки данных в реальном времени.

ExecuTorch позволяет эффективно запускать Llama 2 7B и Llama 3 8B (и другие модели) на телефонах iPhone 15 Pro, iPhone 15 ProMax, Samsung Galaxy S22, S23 и S24 и других современных устройствах.

Разработчики постоянно улучшают производительность на разных edge девайсах и добавляют новые модели.
Здесь можно посмотреть тесты производительности.

• Announce
• Github

@ai_machinelearning_big_data

Machinelearning

30 апреля 2024 20:27

🐇📚 Alice’s Adventures in a
differentiable wonderland: Aprimer on designing neural networks

Алиса отправляется в дифференцируемую страну чудес!* 🔥

Новая бесплатная книга по проектированию нейронных сетей.

Отправляемся в увлекательное приключение по миру математики нс, от самых азов до трансформеров.

Отличный баланс между теорией и кодом, с историческими справками и описанием современных тенденций развития нс.

Приятный бонус это красивый дизайн и приятные иллюстрации.

Отличное приключение на выходные)
.
📓 Book

@ai_machinelearning_big_data

Machinelearning

30 апреля 2024 09:20

🖥 Gpt2-chatbot = Gpt-5 ?

Появился новый загадочный LLM под названием “gpt2-chatbot”, который невероятно хорошо справляется с широком спектром задач.

Пользователи reddit уверены, что создатели модели - OpenAI и таким образом они тестируют GPT-5 или GPT-4.5.

Модель выдает рабочий код высочайшего качества на всех популярных языках, решает олимпиадные задачи по математике, физике, на недоступном ранее уровне и демонстрирует высокое качество рассуждений и логики.

GPT-4 тоже тестили подобным образом внутри Bing Chat, так что это вполне может быть новая модель OpenAI.

Вот как вы можете попробовать ее бесплатно и оценить модель сами:

- перейдите по ссылке: http://chat.lmsys.org

- перейдите во вкладку “Direct Chat”.

- введите свой промпт.

На видео сравниваем GPT-4 Turbo и Gpt2-chatbot. Отправляем запрос на создание игры на JS в одном HTML-документе.

Первое видео результат работы - GPT-4 Turbo, Второе - Gpt2-chatbot.

@ai_machinelearning_big_data

Machinelearning

29 апреля 2024 12:12

💾 LLM Datasets: High-quality datasets, tools, and concepts for LLM fine-tuning.

Большая коллекция качественных датасетов, советов и инструментов для файнтюнинга LLM и для создания ваших собственных датасетов.

• GitHub: https://github.com/mlabonne/llm-datasets

@ai_machinelearning_big_data

Machinelearning

28 апреля 2024 18:26

🏠💻💌 AI Town : AI Town is a virtual town where AI characters live, chat and socialize.

Запустите свой ИИ-город в 1 клик.

Очень интересный проект с использованием искусственного интеллекта, где множество ИИ- агентов взаимодействуют друг с другом .

Агенты введут социальную жизнь, коммуницируют между собой и запоминают свои действия.

Вы можете запустить свой город на базе llama3🎉 или поиграть оналйн.

• Github
• Demo

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 14:02

🔥🪄 Awesome-LLM: a curated list of Large Language Model

Кураторский список статей, моделей, api, примеров с кодом, курсов, датасетов, посвященный большим языковым моделям.

Это хорошо структурированная академическая подборка.

• Github

Другие узкоспециализированные awesome репозиторий, посвященные LLM:
• Awesome-LLM-hallucination
• Awesome-hallucination-detection
• Awesome ChatGPT Prompts
• Awesome ChatGPT
• Awesome Deliberative Prompting
• Instruction-Tuning-Papers
• LLM Reading List
• Reasoning using Language Models
• Chain-of-Thought Hub
• Awesome GPT
• Awesome GPT-3
• Awesome LLM Human Preference Datasets
• RWKV-howto
• ModelEditingPapers
• Awesome LLM Securityrge
• Awesome-Code-LLM
• Awesome-LLM-Compression
• Awesome-LLM-Systems
• Awesome-LLM-Healthcare
• Awesome-LLM-Inference
• Awesome-LLM-3D
• LLMDatahub
• Language models for Russian language

@ai_machinelearning_big_data

Machinelearning

27 апреля 2024 09:27

⚡️ Команда PyTorch разрабатывает библиотеку для обучения LLM под названием torch titan.

Сегодня библиотека стала общедоступной на GitHub, но она все еще находится в предрелизном состоянии и активно разрабатывается.

- Ссылка на библиотеку: https://github.com/pytorch/torchtitan

- Туториал по работе с torch titan: https://www.youtube.com/watch?v=ee5DOEqD35I

Библиотека создана для предварительного обучения моделей, а для файнтюнига у PyTorch есть еще одна библиотека torchtune:
https://github.com/pytorch/torchtune

@ai_machinelearning_big_data

Machinelearning

26 апреля 2024 09:10

➕ OpenBioLLM-Llama3-70B и 8B: Open-source Large Language Models in Medical Domain

OpenBioLLM-Llama3-70B и 8B: самые эффективные и доступные на сегодняшний день Lms в области медицины! 🩺 💊 🧬

Превосходит таких гигантов индустрии, как GPT-4, Gemini, Meditron-70B, Med-PaLM-1 и Med-PaLM-2, в области биомедицины. 🏥 📈 🌟

OpenBioLLM-70B достигает SOTA и является новым достижением для моделей такого размера.
Модель OpenBioLLM-8B превосходит даже GPT-3.5, Gemini и Meditron-70B! 🚀

- 70B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B
- 8B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B
- Таблица лидеров в области медицины: https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard

@ai_machinelearning_big_data

Machinelearning

25 апреля 2024 19:08

Яндекс анонсировал Young Con — фест для студентов и начинающих специалистов, которые интересуются карьерой в IT

Главная тема фестиваля — «Вселенная Яндекса», состоящая из 9 тематических «миров». Участники могут свободно перемещаться по ним и общаться с экспертами, которые поделятся вдохновляющим опытом и расскажут о том, какие возможности предоставляет то или иное IT-направление.

Еще гостей ждет финал «Баттла Вузов» — турнира, в котором студенты будут соревноваться в программировании за призовой фонд в размере 1 млн рублей. В завершение дня выступят группы The Hatters и Хлеб.

Фестиваль пройдет 27 июня в московском Live Arena. Для участия в фестивале нужно зарегистрироваться на сайте Young Con до 14 июня. Гостям достаточно написать мотивационное письмо, а разработчикам — выполнить техническое задание. Специалисты, которые хорошо справятся с тестом, смогут пройти экспресс-собеседование в день фестиваля, которое сильно увеличивает шансы приглашения на стажировку.

Machinelearning

25 апреля 2024 10:02

📌Apple приобрела компанию Datakalab, занимающуюся проектами на базе ИИ

🟡Apple купила французский стартап Datakalab, который специализируется на технологиях сжатия данных искусственного интеллекта и компьютерного зрения.

🟡Datakalab позиционирует себя как «эксперта в области маломощных эффективных алгоритмов глубокого обучения», работающих на устройствах. Стартап создаёт алгоритмы для анализа изображений и видео. Один из продуктов компании — инструмент для отслеживания наличия масок на лицах пассажиров общественного транспорта Парижа.
Полученные стартапом изображения мгновенно преобразуются в анонимные статистические данные, обрабатываемые локально за 100 мс. Стартап не хранит изображения или личные данные, а только статистические данные.

🟡Datakalab имеет несколько патентов, связанных с технологиями сжатия данных ИИ и машинного зрения.

🟡Приобретение стартапа, вероятно, обусловлено планами Apple предоставить набор ИИ-функций в iOS 18. Datakalab разработала передовую технологию на базе машинного обучения, которая может сыграть роль в развитии гарнитуры смешанной реальности Vision Pro.
Кстати, в начале 2024 года корпорация купила стартап WaveOne, который предлагает ИИ-алгоритм для сжатия видео.

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 17:03

🖼 HiDiffusion: Unlocking High-Resolution Creativity and Efficiency in Low-Resolution Trained Diffusion Models 🦊

Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.

Его можно интегрировать в конвейеры diffusion, добавив всего одну строку кода!

pip3 install hidiffusion


• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing

@ai_machinelearning_big_data

Machinelearning

24 апреля 2024 09:15

🍏 OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework by Apple

Сегодня Apple выпустили Openly.

- Новое семейство LM с открытым исходным кодом для обучения моделей и логического вывода
- Работает наравне с OLMo, но требует в 2 раза меньше токенов для обучения
- Модели для различных задач, включая базовые модели (например, CLIP и LLM), классификацию объектов, обнаружение объектов и семантическую сегментацию.

Cписок моделей и подробная информации о каждой из них:

- OpenELM-270M
- OpenELM-450M
- OpenELM-1_1B
- OpenELM-3B
- OpenELM-270M-Instruct
- OpenELM-450M-Instruct
- OpenELM-1_1B-Instruct
- OpenELM-3B-Instruct

• gitHub: https://github.com/apple/corenet
• hf: https://huggingface.co/apple/OpenELM
• abs: https://arxiv.org/abs/2404.14619

@ai_machinelearning_big_data

Machinelearning

23 апреля 2024 18:34

Залетай на «Технолето» и прокачайся в ML-сфере

Приглашаем студентов и начинающих специалистов в области машинного обучения на стажировку «Технолето» от Яндекса. Участников ждет масштабная программа карьерных и развлекательных мероприятий. Стажеры смогут не только углубить свои навыки в IT, но и поближе познакомиться с культурой Яндекса: пообщаться с топовыми специалистами компании, пройтись с интерактивной экскурсией по офисам, посетить дата-центр, а также отдохнуть на диджей-сетах и Алгорейв-вечеринках.

Студенты, желающие изучить сферу машинного обучения, освоят востребованные в индустрии навыки ML-сферы и погрузятся во все тонкости направления. На стажировке также можно освоить фронтенд, бэкенд, мобильную разработку, девопс и не только.

Стажировка действует круглый год и длится три, четыре или шесть месяцев в зависимости от графика, который выбрал участник.

Чтобы поучаствовать в программе, достаточно оставить заявку и решить тестовое задание.

Удачи и ждем вас на «Технолето»!