🔥🔥🔥 Google объявила конкурс для всех разработчиков Gemini API с призовым фондом в $3 млн и Custom Electric 1981 DeLorean (Легендарной машины из фильма Назад в будущее)
В рекламе снялся легендарный Кристофер Ллойд, актер снимавшийся в трилогии Назад в будущее.
🛻 Главный приз: полностью электрическая версия DeLorean 1981, произведенная на заказ.
Общий призовой фонд: $3 млн.
Конкурс Google Gemini API открыт как для отдельных участников, так и для команд. Разработчикам предлагается создать и представить приложения с использованием API Gemini.
⚡️Критерии оценки
Google оценивает приложения по пяти основным критериям:
* Креативность
* Полезность
* Исполнение
* Новизна
* Влияние
Компания будет выбирать приложения, которые:
*Ииспользуют API Gemini
* Решают реальные проблемы
* Оригинальны и хорошо продуманы
* Дают потяьный пользовательский опыт
Призы
В рамках конкурса также будут вручаться денежные призы в различных категориях:
* Лучшее приложение для Android
* Лучшее веб-приложение
* Лучшая игра
Кроме того, будут присуждаться крупные денежные призы за:
* Самое полезное приложение
* Самое эффективное приложение
* Самое креативное приложение
Крайний срок подачи заявок
Крайний срок подачи заявок: 12 августа 2024 года.
Онлайн-голосование в категории «Выбор пользователей» ожидается 16 августа.
В остальных категориях победителей выберет внутренняя команда Google. Результаты конкурса Gemini API будут объявлены в октябре.
Подать заявку: https://ai.google.dev/competition?hl=ru
@ai_machinelearning_big_data
🖥 А вот и ответный удар от Google
Смотрит Google I/O ‘24 онлайн, ждем достойного ответа Open AI.
https://www.youtube.com/watch?v=XEzRZ35urlk
@ai_machinelearning_big_data
🧠 Прокачай свои знания о Data Science! X5 Tech запускает хакатон X5 Tech AI Hack – узнай на практике больше об алгоритмах маскирования данных и избавлении нейросетей от галлюцинаций. Призовой фонд – 2 000 000 рублей.
🔔 Старт ML-соревнования уже через несколько дней – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас!
Приглашаем на хакатон Python-разработчиков и специалистов по машинному обучению вне зависимости от их опыта. На выбор – один из двух треков:
1️⃣ Маскирование. Предстоит разработать алгоритм, который будет заменять чувствительные данные в датасете без потери смысла. Ты научишься решать задачу Named Entity Recognition и обучать модели обработки естественного языка.
2️⃣ Детекция галлюцинаций. Задача конкурсантов – создать систему, которая сможет эффективно выявлять аномалии в тексте, сгенерированном нейросетью. Решение поможет лучше понять, как работают языковые модели, разобраться, как анализировать и классифицировать большие данные.
Хакатон продлится 10 дней. У тебя будет шанс получить советы от крутых ML-экспертов и специалистов по Data Science, обсудить задачи соревнования с единомышленниками, узнать больше о проектах X5 Tech.
28-29 мая 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет 30 мая на X5 Future Night, где ты сможешь вживую пообщаться с представителями компании и коллегами по Data Science.
🔥 Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий
✅ Приложение, в котором вы можете посмотреть прогресс открытых и проприетарных моделей LMS с течением времени✅
Это приложение отображает изменения показателей моделей, который оценивается чат-ботом LMSYS Arena, крутая штука, чтобы поиграться. Показатель ELO (ось y)
- это показатель относительной силы модели, основанный на ее показателях по сравнению с другими моделями на арене.Дата публикации (по оси x)
соответствует моменту, когда модель была впервые опубликована публично.
Линии тренда основаны на обычной регрессии методом наименьших квадратов (МНК) и корректируются в соответствии с критериями фильтрации.
https://huggingface.co/spaces/andrewrreed/closed-vs-open-arena-elo
@ai_machinelearning_big_data
Yandex приглашает поучаствовать в Practical ML Conf 14 сентября!
На конференции поговорим о том, как применять ML-технологии в бизнесе и реальных продуктах. Регистрируйтесь уже сейчас — те, кто сделает это раньше всех, попадут на закрытый мини-ивент в июле.
А если хотите поделиться своим опытом в ML, станьте спикером, оставив заявку. Ключевые темы конференции — CV, RecSys, MLOps, NLP, Speech и Analytics. После подачи программный комитет рассмотрит заявки и примет решение об участии каждого претендента.
🔹 Сбор заявок завершится 13 июля.
Реклама. ООО "Яндекс", ИНН 7736207543.
🔥 Грег Брокман, соучредитель OpenAI, опубликовал 5-минутное видео, в котором он общается с языковой моделью GPT-4 Omni и демонстрирует ее возможности компьютерного зрения.
А вот еще 33 видео с примерами работы ИИ - https://vimeo.com/openai.
А если интерсно, тут обращение самого Сэма Альтмана - https://blog.samaltman.com/gpt-4o
@ai_machinelearning_big_data
🖥 Модель общается естественным и понятным языком, обрабатывает информацию в реальном времени и даже умеет шутить и понимать эмоции. Делает паузы, если вы спросите ее что-то.
Модель практически невозможно отличить от живого человека.
@ai_machinelearning_big_data
🖥 Началась трансляция OpenAI Spring Update, смотрим:
https://www.youtube.com/watch?v=DQacCB9tDaw
@ai_machinelearning_big_data
🔥 DocsGPT — open-source AI-помощник для работы с документами и не только
DocsGPT — это функциональное решение на базе LLM и GPT с открытым исходным кодом, которое упрощает процесс поиска информации в документации.
Благодаря интеграции мощных LLM можно задавать вопросы по документации и различным текстам и получать точные ответы.
Модели на Hugging Face:
🟡 Docsgpt-7b-mistral — требует 1×A10G GPU
🟡 Docsgpt-14b — требует 2×A10 GPU
🟡 Docsgpt-40b-falcon — требует 8×A10G GPU
🖥 GitHub
#llm #gpt
@ai_machinelearning_big_data
⚡️ LLaVA-NeXT: A Strong Zero-shot Video Understanding Model
LLaVA-NeXT - одна из самых мощных на сегодняшний день моделей для понимания видео, превосходящая все существующие VLM, с открытым исходным кодом.
Новая SoTA!
LLaVA-Next демонстрирует высокую скорость передачи данных и демонстрирует отличные результаты при zero-shot обучении.
git clone https://github.com/LLaVA-VL/LLaVA-NeXT
🔥Gemma 2B with recurrent local attention with context length of up to 10M
Огненная модель Gemma 2B с длиной контекста 10M, которая анализирует до 7 млн слов.
В нее можно закидывать огромные документы и модель всё проанализирует.
Производительность выше Gemini в 10 раз, а памяти нужно всего 32 ГБ.
▪Github: https://github.com/mustafaaljadery/gemma-2B-10M
▪HF: https://huggingface.co/mustafaaljadery/gemma-2B-10M
▪Technical Overview: akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb" rel="nofollow">https://medium.com/@akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb
@ai_machinelearning_big_data
💡 Lumina-T2X: Transforming Text into Any Modality, Resolution, and Duration via Flow-based Large Diffusion Transformers
Lumina-T2X - новое семейство диффузионных моделей, способных преобразовывать текст в: изображения, динамичные видео с любым разрешением и длительностью, 3D модели и речь с минимальными вычислительными затратами..
В основе Lumina-T2X лежит большой диффузионный Flow-based трансформер (Flag-DiT), который поддерживает до 7 миллиардов параметров и длины контекста в 128 000 токенов.
▪Github: https://github.com/alpha-vllm/lumina-t2x
▪Paper: https://arxiv.org/abs/2405.05945
▪Demo: https://lumina.sylin.host/
@ai_machinelearning_big_data
⚡️ Google Threat Intelligence — AI-решение в сфере кибербеза
Google представила новое решение в сфере кибербезопасности Threat Intelligence, которое позволит клиентам «получать ценную информацию и защищать корпоративную IT-инфраструктуру от угроз быстрее, чем когда-либо прежде», используя аналитические данные подразделения кибербезопасности Mandiant, службы анализа угроз VirusTotal в сочетании с возможностями ИИ-модели Gemini AI.
«Бесспорно, что сегодня Google обеспечивает два наиболее важных столпа анализа угроз в отрасли — VirusTotal и Mandiant. Интеграция обоих в единое предложение, дополненное ИИ и анализом угроз Google, предлагает командам безопасности новые средства для использования актуальных сведений об угрозах для лучшей защиты своих организаций», — отметил Дэйв Грубер (Dave Gruber), главный аналитик Enterprise Strategy Group.
Google отметила, что основным преимуществом Threat Intelligence является предоставление специалистам по безопасности ускоренной аналитики за счёт использования генеративного ИИ. Задействованная в решении большая языковая модель Gemini 1.5 Pro, по словам Google, сокращает время, необходимое для анализа вредоносного ПО и раскрытия его исходного кода.
Компания отметила, что вышедшей в феврале версии Gemini 1.5 Pro потребовалось всего 34 секунды, чтобы проанализировать код вируса WannaCry, программы-вымогателя, с помощью которой хакеры в 2017 году атаковали множество компаний по всему миру.
Также Gemini позволяет ускорить сбор информации о хакерской группе, её целях, тактике взлома и связанных с ней деталях. Кроме того, Gemini обеспечивает обобщение отчётов об угрозах на естественном языке в Threat Intelligence, что позволяет компаниям оценить, как потенциальные атаки могут на них повлиять, и расставить приоритеты, на чём следует сосредоточиться.
📎 Подробнее
🟡 Демонстрация
@ai_machinelearning_big_data
🧬 AlphaFold 3 predicts the structure and interactions of all of life’s molecules
Google DeepMind представили Alpha Fold3, новую модель искусственного интеллекта, которая предсказывает структуру и взаимодействия молекул.
Благодаря точному прогнозированию структуры белков, ДНК, РНК и многого другого, а также того, как они взаимодействуют, наше понимание биологического мира может выйти на новый уровень, а в практическом применение поможет разработке новых лекарств.
Эта революционная модель, может предсказывать структуру и взаимодействия всех молекул жизни с беспрецедентной точностью.
На основе входного списка молекул Alpha Fold3 генерирует их общую трехмерную структуру, показывая, как они сочетаются друг с другом. Программа моделирует крупные биомолекулы, такие как белки, ДНК и РНК, а также небольшие молекулы, также известные как лиганды.
Кроме того, Alpha Fold3 может моделировать химические модификации этих молекул, которые контролируют здоровое функционирование клеток, нарушение которых может привести к различным заболеваниям.
Теперь для учёные со всего мира могут работать с AlphaFold 3 совершенно бесплатно.
▪Blog: https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/
▪Nature: https://www.nature.com/articles/s41586-024-07487-w
▪Two Minute Papers: https://www.youtube.com/watch?v=Mz7Qp73lj9o
@ai_machinelearning_big_data
🔉 AudioSeal is the state of art audio watermarking model
Audio Seal - это SOTA для добавления метаданных на аудио и распознавания их, предназначенная для локального распознавания речи, сгенерированной искусственным интеллектом.
Инструмент прост в настройке и работает молниеносно.
Audioseal обеспечивает самые современные характеристики распознавания как естественной, так и синтетической речи, обеспечивает незначительное изменение качества сигнала и устойчив ко многим типам редактирования аудио.
Audioseal значительно превосходит существующие модели по скорости обнаружения.
pip install audioseal
💪 Разбираемся, у кого контекст длиннее!
У GEMINI обещают контекстное окно 2млн токенов. Это в 16 раз больше, чем у GPT-4o .
У GPT-4o 128k токенов, это две копии книги «Великого Гетсби», в Gemini 1.5 Pro можно загрузить всю «Войну и мир».
- Gemini теперь будет во ВСЕХ продуктах Google: Поисковике, gmail, photo, Workspace, NotebookGmail, Google Meet
, модель может писать письма, делать выжимки из них, вести диалог, искать нужные для вас части письма, читает вложения и может отвечать по любым длинным документам, видео, изображениям во вложениях, управляется голосом.
- Еще Google представили Gemini 1.5 Flash оптимизированную модель с низкой задержкой.
-Новый Project Astra - это прототип от GoogleDeepMind, ИИ-ассистенты, с которыми можно общаться в реальном времени. ИИ работает прямо с вашего телефона и даже с умных очков! Project Astra может быть по-настоящему полезен в повседневной жизни.
Агенты могут взаимодействовать с окружающим миром, воспринимая информацию, запоминая то, что видит, обрабатывая эту информацию и понимая окружение и детали.
- Представлен Veo - прямой конкурент Sora для генерации видео.
Модель принимает текст и может генерировать видео с разрешением до 1080p продолжительностью более минуты.
- Представлен Imagen 3 - самая соверщенная модель Google для генерации изображений.
- Песочница с искусственным интеллектом для преобразования текста в музыку.
- Google наконец-то прилагают серьезные усилия для интеграции искусственного интеллекта в свой поисковик
@ai_machinelearning_big_data
⚡️ AT-EDM: Attention-Driven Training-Free Efficiency Enhancement of Diffusion Models
Компания Adobe нашла способ снизить вычислительные затраты на диффузионные модели данных без переобучения.
Они назвали метод AT-EDM, и это позволяет добиться сокращения FLOPs до 40% при сохранении почти такого же качества изображения, как и в исходной модели.
▪Почитать подробнее: https://atedm.github.io
▪Видео: https://www.youtube.com/watch?v=ZmOdN4F_8Ew
▪Статья: https://arxiv.org/abs/2405.05252
Код на подходе.
@ai_machinelearning_big_data
🔥 Некоторые крутые скрытые фишки новой GPT4o
1) GPT4o на 2 головы опередил всех в создании текста на изображениях, сгенерированных искусственным интеллектом. Великолепный результат.
2) Новая модель позволяет генерировать шрифты.
3) Поддерживает 3d-рендеринг.
4/ GPT4o может создавать звуковые эффекты, а не только речь.
5) Эффективная и стабильная работа в преобразовании изображений в зависимости от контекста.
А на последнем видео, вы можете посмотреть как модель отвечает на русском языке.
Сегодня намечена Google I/O, где нам покажут обновленный Gemini, ждем достойного ответа.
@ai_machinelearning_big_data
🌟 LocalAI — свободная альтернатива предложений от OpenAI
LocalAI — это open-source альтернатива решений от OpenAI. LocalAI выступает в качестве замены REST API, совместимого со спецификациями OpenAI API для локальных выводов.
Позволяет локально запускать LLM, генерировать изображения, аудио (и не только), клонировать голос; при этом не требует GPU.
Поддерживается множество семейств LLM и архитектур, LocalAI работает с gguf, transformers, diffusers и не только.
Запуск LocalAI с помощью Docker:
— docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu
При наличии GPU Nvidia (аналогично для CUDA 12):
— docker run -p 8080:8080 --gpus all --name local-ai -ti localai/localai:latest-aio-gpu-nvidia-cuda-11
🖥 GitHub
🟡 Страничка LocalAI
@ai_machinelearning_big_data
⚡️ MatterSim — модель глубокого обучения для моделирования атомных структур; поддерживает все элементы, температуры и давления
MatterSim — Deep Learning, которая позволяет моделировать свойства атомных структур на высоком уровне и точно предсказывать свойства материалов во всей периодической таблице, при температурах от 0 до 5000 К и давления до 1000 ГПа.
MatterSim может быть тонко настроена для моделирования атомных структур на желаемом уровне теории.
Или же можно использовать модель для прямого прогнозирования свойств на основе заданной структуры.
📎 Arxiv
@ai_machinelearning_big_data
🖥 Вышла новая, улучшенная версия GPT-4 Omni для. И что самое главное — она доступна всем БЕСПЛАТНО!
Это самая совершенная модель из всех, намного превосходящая своих предшественников, включая таинственный gpt2-chatbot.
Она появится уже сегодня в виде приложения для пк.
GPT-4 Omni будет понимать эмоции и тон голоса.
@ai_machinelearning_big_data
⚡️ Lory — полностью дифференцируемая Mixture-of-Experts (MoE) для предварительного обучения авторегрессионной языковой модели
На днях исследователи из Принстона и MetaAI представили Lory — первое в своём роде решение, которое позволяет масштабировать MoE-архитектуры для предварительного обучения авторегрессионных языковых моделей.
В Lory реализованы 2 ключевые технологии:
(1) — стратегия маршрутизации причинных сегментов, которая обеспечивает высокую эффективность операций объединения экспертов при сохранении авторегрессивной природы языковых моделей
(2) — метод группировки данных на основе сходства, который стимулирует специализацию "экспертов" путем группировки похожих документов в обучающих выборках
Результаты экспериментов с Lory показывают значительный прирост производительности по сравнению с обычными MoE-моделями.
📎 Arxiv
@ai_machinelearning_big_data
📊 Time Series Foundation Model by Google
TimesFM - это новая модель прогнозирования временных рядов от Google, предварительно обученная на большом массиве данных состоящем из 100 миллиардов реальных временных точек.
Модель демонстрирует впечатляющую производительность при zero-shot обучении на множестве бенчмарков.
#TimesFM #TimeSeries #Forecasting #FoundationModels
▪Github: https://github.com/google-research/timesfm
▪Paper: https://arxiv.org/abs/2310.10688
▪Blog: https://research.google/blog/a-decoder-only-foundation-model-for-time-series-forecasting/
▪HF: https://huggingface.co/google/timesfm-1.0-200m
@ai_machinelearning_big_data
KAN + NeRF = 🔥
KAN (Kolmogorov-Arnold Networks) — многообещающий конкурент традиционных MLP.
Почему бы не внедрить его в NeRF?
Оптимизация NeRF занимает от нескольких часов до одного-двух дней (в зависимости от разрешения) и требует GPU.
Рендеринг изображения из оптимизированного NeRF с KAN занимает от секунды до ~30 секунд в зависимости от разрешения.
🖥 GitHub
@ai_machinelearning_big_data
⚡️ Deblur-GS: 3D Gaussian Splatting from Camera Motion Blurred Images
Новый метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки.
Deblur-GS обеспечивает превосходную производительность и качество рендеринга по сравнению с предыдущими методами, что подтверждается бенчмарками, как на синтетических, так и на реальных наборах данных.
▪Code: https://github.com/Chaphlagical/Deblur-GS
▪Paper: https://chaphlagical.icu/Deblur-GS/static/paper/Deblur_GS_author_version.pdf
▪Project: https://chaphlagical.icu/Deblur-GS/
@ai_machinelearning_big_data
🔦 IC-Light: Imposing Consistent Light 💡
IC-Light - это новый интересный проект для реалистичного управления освещением.
Внутри два типа моделей: модель изменения освещения с из тектовых промптов и модель изменения подсветки фона изображений.
▪Github: https://github.com/lllyasviel/IC-Light
▪Jupyter: https://github.com/camenduru/IC-Light-jupyter
▪Demo: https://huggingface.co/spaces/lllyasviel/IC-Light
@ai_machinelearning_big_data
⚡️ You Only Cache Once: Decoder-Decoder Architectures for Large Language Models
Microsoft только что представили инструмент You Only Cache Once: Decoder-Decoder : архитектура Decoder-Decoder для больших языковых моделей
YOCO существенно снижает потребление памяти GPU и состоит из двух компонентов - cross decoder'а, объединенного с self-decoder'ом.
Self-decoder
кодирует глобальные кэши
значений ключей (KV), которые повторно используются cross decoder'ом с механизмом cross-attention.
Результаты экспериментов показывают, что YOCO достигает более высокой производительности по сравнению с архитектурой Трансформеров при различных настройках масштабирования размера модели и количества обучающих токенов, подробнее тут.
▪Github: https://github.com/microsoft/unilm/tree/master/YOCO
▪ABS: https://arxiv.org/abs/2405.05254
#microsoft
@ai_machinelearning_big_data
🚀 На Хабре вышел гайд о том, как внедрять YandexGPT API в свои продукты
Команда AllSee показала, как они реализовали SDK для быстрой интеграции YandexGPT в python-приложение. Попутно показали, что модель даёт похожий на ChatGPT результат по метрикам, но при этом её дешевле использовать в своих проектах.
Пользуйтесь )
▪️ Habr: https://habr.com/ru/articles/812979/
@ai_machinelearning_big_data
🌟 Introduction to Granite Code Models
IBM выпустили Granite Code Models: семейство моделей Open Foundation для интеллектуального анализа и генерации кода
Все модели Granite Code выпущены под лицензией Apache 2.0.
Модели Granite превосходят модели с открытым исходным кодом по всем параметрам. На рисунке показано, как Granite-8B-CodeBase превосходит Mistral-7B, LLama-3-8B и другие модели с открытым исходным кодом в трех задачах кодинга. Полные оценки можно найти здесь.
Модели отлично справляются с задачами генерации кода, исправления багов объяснения кода, генерации документации к кода.
- Размер моделей варьируется от 3B до 34B параметров
- Обученных на 3-4 тыс. токенах, полученных из 116 языков программирования
▪Github: https://github.com/ibm-granite/granite-code-models
▪Paper: https://arxiv.org/abs/2405.04324
▪HF: https://huggingface.co/collections/ibm-granite/granite-code-models-6624c5cec322e4c148c8b330
#llm #codegeneration
@ai_machinelearning_big_data