🎧 Слушать под ёлкой, заедая оливье
Что выйдет, если собрать трёх дата-сайентистов и одну ИТ-журналистку в помещении с микрофонами? Получится подкаст, в котором они подводят итоги 2023 года по теме machine learning и всего того, что около. В выпуске обсудили развитие генеративных нейросетей, их применение в работе и в жизни, этические вопросы и угрозы. А также попытались выяснить у ИИ, когда он нас поработит.
Слушайте на любой удобной платформе.
🔍 FIND: Interface Foundation Models' Embeddings
FIND - удобный интерфейс для настройки эмбедингов вших моделей.
🖥 Code: https://github.com/UX-Decoder/FIND
🎓 Demo: http://find.xyzou.net/
🔮 Project Page: https://x-decoder-vl.github.io
🥩 Demo: http://find.xyzou.net
📚 ArXiv: https://arxiv.org/pdf/2312.07532.pdf
@ai_machinelearning_big_data
🥳FreeInit with AnimateDiff Gradio Colab
FreeInit - новый эффективный метод улучшения временной согласованности видео, генерируемых диффузионными моделями.
🖥 colab: https://github.com/camenduru/FreeInit-colab
🔮page: https://tianxingwu.github.io/pages/FreeInit/
📚paper: https://arxiv.org/abs/2312.07537
🥩code: https://github.com/TianxingWu/FreeInit
@ai_machinelearning_big_data
🃏 Poker Hand History File Format Specification
An open-source Python library for poker simulations and hand evaluations.
PokerKit - это библиотека Python с открытым исходным кодом для симуляции игры в покер и оценки покерных рук, разработанная группой по изучению покера Университета Торонто.
PokerKit поддерживает широкий спектр разновидностей покера и предоставляет архитектуру для создания собственных игр.
Все эти возможности предоставляются через интуитивно понятный унифицированный API высокого уровня.
Библиотека может быть использована в самых разных сферах, от разработки покерного AI до создания инструментов предсказания покерных. pip install pokerkit
🖥 GitHub: https://github.com/uoftcprg/pokerkit
📚 Paper: https://arxiv.org/pdf/2312.11753v1.pdf
🥩 Project: https://pokerkit.readthedocs.io/en/stable/
@ai_machinelearning_big_data
🖼 ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation
ImageDream - новый набор диффузионных моделей многоракурсной генерации, разработанный для решения сложной задачи создания 3D-объектов из изображения.
🖥 GitHub: https://github.com/bytedance/ImageDream
📚 Paper: https://arxiv.org/abs/2312.02201
🥩 Demo: https://github.com/bytedance/ImageDream/blob/main
@ai_machinelearning_big_data
🪩 DiffusionLight: Light Probes for Free by Painting a Chrome Ball
Диффузионная модель, обучена на миллиардах изображений, для визуализации хромированного шара на изображениях с разным освещением.
Несмотря на простоту, эта задача остается сложной: диффузионные модели часто вставляют неправильные или непоследовательные объекты и не могут правильно генерировать изображения со светом в формате HDR.
Для входного изображения, оценивается освещение сцены в виде карты окружения HDR. Идея заключается в том, чтобы нарисовать на изображении хромированный шар с помощью диффузионной модели и развернуть его в окружении. Таким образом решаются задачи: (1) как последовательно генерировать хромированные шары и (2) как использовать модель диффузии LDR для создания хромированных шаров HDR.
Данный метод позволяет генерировать освещение высокого качества в различных условиях и демонстрирует превосходный результат для изображений в дикой природе.
🖥 GitHub: https://github.com/DiffusionLight/DiffusionLight
🔮 Colab: https://colab.research.google.com/drive/15pC4qb9mEtRYsW3utXkk-jnaeVxUy-0S?usp=sharing&sandboxMode=true
📚 Paper: https://arxiv.org/abs/2312.09168
🥩 Score Measurement: https://vistec-my.sharepoint.com/:f:/g/personal/pakkapon_p_s19_vistec_ac_th/EvBHbnLrVnZArhQTcboh6qkBGcSqUqzdgx13iZ2IsLPzOw
@ai_machinelearning_big_data
🔊 Amphion: An Open-Source Audio, Music, and Speech Generation Toolkit
Amphion - это новый инструмент с открытым исходным кодом, позволяющий создавать речь, звуки и песни.
Он разработан для поддержки исследований в области аудио, музыки и генерации речи.
С его помощью Тейлор Свифт демонстрирует свой талант, исполняя песни на китайском. 😊🎵
🖥 GitHub: https://github.com/open-mmlab/Amphion
📚 Paper: arxiv.org/abs/2312.09911
🥩 HF: https://huggingface.co/amphion
@ai_machinelearning_big_data
🖥 𝗧𝗵𝗲 𝘀𝘁𝗮𝘁𝗲 𝗼𝗳 𝗼𝗽𝗲𝗻 𝘀𝗼𝘂𝗿𝗰𝗲 𝗶𝗻 𝟮𝟬𝟮𝟯 by GitHub
GitHub только что опубликовал свой последний отчет о состоянии открых проектов. Авторы отметили тренд на использование разработчиками технологий искусственного интеллекта и тренд на создание приложений на основе искусственного интеллекта.
Они выделили основные тенденции:
🔹 Разработчики все чаще используют генеративный ИИ: Все больше разработчиков работают с моделями OpenAI ( 92% ) и с моделями других ИИ-компаний; в 2023 году проекты генеративного ИИ с открытым исходным кодом входят в десятку самых популярных проектов по количеству контрибьюторов.
🔹 Наблюдается тренд на работу с облачными приложениями:
Развертывание облаков становится стандартом; резко возросло количество использования разработчиками Docker
контейнеров, IaC
и других облачных нативных технологий.
🔹 В 2023 году на GitHub было создано 98 млн новых проектов (за 2022 год - 85.7 млн, за 2021 - 61 млн, за 2020 - 60 млн). Общее число проектов достигло отметки в 420 млн (+27%), а число публично доступных репозиториев - 284 млн (+22%).
🔸 За год добавлено около 65 тысяч новых проектов, связанных с машинным обучением, это на 248% больше, чем в прошлом году. Число AI-проектов за год выросло на 148%.
🔸 Аудитория GitHub за год выросла на 20.2 млн пользователей (+26%) и теперь достигает 114 млн (в прошлом году было 20.5 млн, позапрошлом - 73 млн, три года назад - 56 млн). На первом месте по числу разработчиков находится США, на втором - Индия, на третьем - Китай, на четвёртом Бразилия, на пятом - Великобритания, на шестом - РФ, на седьмом Германия. К 2027 году Индия обгонит США как крупнейшее сообщество разработчиков на GitHub
🔸Javascript остается самым популярным язком. Второе место сохраняет за собой Python.Популярность TypeScript выросла на 37 %. и он вытеснил на четвёртое место язык Java. 5, 6 и 7 места удержали за собой языки С#, C++ и PHP. На восьмое место поднялся язык С, который вытеснил на девятое место Shell. Десятое место занял Go.
🔸 𝗥𝘂𝘀𝘁 растет быстрее всех остальных языков в этом году (рост на 40 % по сравнению с предыдущим годом).
🔸 𝟰.𝟯 миллиона открытых и приватных репозиториев используют 𝗗𝗼𝗰𝗸𝗲𝗿𝗳𝗶𝗹𝗲𝘀. Это является следcтвием роста использования Terraform и других облачных нативных технологий, который мы наблюдали в течение последних нескольких лет.
🔸 Сингапур занял первое место по количеству новых разработчиков на душу населения.
📌 Полный отчет
📌 Видео
ai_machinelearning_big_data
⚡️ UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models ✒ Colab 🥳
UDiffText: Единая платформа для высококачественной генерации текста на изображениях с помощью моделей диффузии.
UDiffText способен синтезировать точный текст на синтетических или реальных изображениях, поэтому может применяться для решения таких задач, как редактирование текста на картинке (a), генерация произвольного текста и генерация точного текста.
🖥 code: https://github.com/ZYM-PKU/UDiffText
⚡️page: https://udifftext.github.io
📚 paper: https://arxiv.org/abs/2312.04884
🔥colab: https://github.com/camenduru/UDiffText-colab
ai_machinelearning_big_data
🖼 AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning
Только что были выпущены Animate Diff v3
и Sparse Ctrl
, модели которые позволяют качественно анимировать и стилизовать видео, генерировать переходы между кадрами.
🖥 Github: https://github.com/guoyww/animatediff/
💻 Colab: https://colab.research.google.com/github/camenduru/AnimateDiff-colab/blob/main/AnimateDiff_colab.ipynb
📚 Paper: https://arxiv.org/abs/2307.04725
📁 Project: https://animatediff.github.io/
ai_machinelearning_big_data
Яндекс вручил ученым премию Yandex ML Prize
Лауреатами международной премии, которую присуждают за значимый вклад в развитие науки в области машинного обучения, стали в этом году 11 человек. Работы лауреатов расширяют возможности для прикладного применения ML-технологий: например, научный сотрудник AIRI и Центра глубинного обучения и байесовских методов НИУ ВШЭ Айбек Аланов исследует генеративные модели для компьютерного зрения и синтеза речи.
@ai_machinelearning_big_data
📈 PromptBench: A Unified Library for Evaluating and Understanding Large Language Models.
PromptBench - это основанный на Pytorch пакет Python для оценки больших языковых моделей (LLM). Он предоставляет удобные API для исследователей, чтобы проводить оценку LLM.
🖥 Code: https://github.com/microsoft/promptbench
🌟 Docs: https://promptbench.readthedocs.io/en/latest/
📚 Paper: https://arxiv.org/abs/2312.07910v1
⚡️ Dataset: https://paperswithcode.com/dataset/mmlu
@ai_machinelearning_big_data
#ds #ml #ai #career #meetup
Митап для начинающих IT-специалистов
Будет большой блок Data Science-лекций, а еще расскажут, как прокачать IT-карьеру и многое другое.
Участников ждут:
🔹 лекции, мастер-классы и воркшопы по DS, ML, AI и др.;
🔹 лайфхаки быстрого роста от джуна до сеньора и прожарка резюме;
🔹 оживление цифрового аватара при помощи нейросети;
🔹 демонстрация квантового компьютера;
🔹 after-party и 🎁 мерч в подарок каждому участнику.
Участие бесплатное, но нужно зарегистрироваться!
📅 16 декабря
📍 Москва, ЦДП
🔗 Зарегистрироваться
Реклама. БАНК ГПБ (АО). ИНН 7744001497.
19 декабря приглашаем на вебинар «BI в мессенджере с ИИ: Кейс застройщика ГК Самолет»📣
Руководители, менеджеры продаж, торговые представители часто не имеют времени и навыков для того, чтобы разбираться в сложных интерфейсах BI-систем. А данные нужны им здесь и сейчас: на совещании, по пути на встречу с клиентом, по дороге на объект и т.д.
Содержание вебинара:
1. Easy Report: BI в мессенджере. Обзор системы и кейсы применения.
2. Быстрый доступ к данным для коммерческого блока через BI в мессенджере: кейс ГК Самолет.
3. Демонстрация работы решения.
На вебинаре поговорим о том, как сделать бизнес-аналитику доступной для сотрудников буквально в несколько касаний с Easy Report, российским BI-решением, присылающим отчеты в мессенджер. Расскажем, как с помощью AI сократить путь к данным до 15 секунд и уменьшить время на работу с отчетами на 1 час в день.
Зарегистрироваться и узнать подробности ✅
Реклама. ООО "ТСР ТЕХ". ИНН 9729307967.
От идеи до коммерциализации всего один шаг — правильный CustDev!
Как обеспечить уверенный рост проекта? Как адаптировать свой цифровой продукт под потребности будущих потребителей?
📆Обсудим это в четверг, 14 декабря, в 13:00 на вебинаре!
Спикеры вебинара: София Болквадзе, руководитель бизнес-группы «Промышленный маркетинг» и эксперт по бизнес-моделированию и стратегии, а также Михаил Рудов, исполнительный директор ООО «ИТ-Лидер», компании-выпускника программы Tech Explorer.
Мы разберем:
✅Как компания «ИТ-Лидер» прошла путь от диагностики проекта до пилота в рамках программы Развития;
✅Что является ключевым при разработке стратегии продвижения на рынке;
✅Как найти стратегически важные отрасли для роста проекта и его коммерциализации.
Узнайте на реальном примере, как изменение концепции с продуктовой на пользовательскую может кардинально изменить вектор развития продукта и вывести компанию на пилотный запуск!
📌Регистрируйтесь на вебинар по ссылке и присоединяйтесь к нашему сообществу Tech Explorer Skolkovo!
Реклама. Фонд «Сколково». ИНН 7701058410. Erid:LdtCKXmDC
⚡️ LongAnimateDiff, a text2video model for generating extended videos.
▪Новая модель "LongAnimateDiff" способная генерировать видео с количеством кадров от 16 до 64.
Веса можно загрузить с Google Drive или HuggingFace. Для получения оптимальных результатов рекомендуется использовать шкалу движения 1,28.
▪Специализированная модель, предназначенная для создания видеороликов с 32 кадрами. Эта модель обычно создает видео более высокого качества по сравнению с моделью LongAnimateDiff
, поддерживающей 16-64 кадра. Веса на Google Drive или HuggingFace. Для получения хороших результатов используйте масштаб движения 1,15.
🖥 Code: https://github.com/Lightricks/LongAnimateDiff
🎓 HF: https://huggingface.co/spaces/Lightricks/LongAnimateDiff
@ai_machinelearning_big_data
Всё, что нужно знать о CatBoost и LightGBM
Не нашёл инфу — написал сам. Так поступил дата-сайентист из Точки Артур Сосновиков.
В статье на Хабре он рассказал, как работают алгоритмы CatBoost и LightGBM: что у каждого под капотом и в чём их особенности. Подробно, с примерами и формулами.
Будет интересно начинающим и тем, кто уже знает классический градиентный бустинг, а мидлам будет полезно для расширения кругозора. Ну и конечно тем, кто готовится к собесам и хочет произвести хорошее впечатление)
Читать статью на Хабре
@ai_machinelearning_big_data
👾 Погрузитесь в мир цифровых двойников и моделирования с подкастом «Математическим путем»!
В нем Дмитрий Фомичев, директор по математическому моделированию Росатома, и Александр Никоноров, которого вы знаете по Инженерному подкасту НИЯУ МИФИ, разберут на мельчайшие детали науку математического моделирования и обсудят новые технологии с приглашенными экспертами атомной отрасли.
🎧 Слушайте подкаст и читайте подробности по ссылке: https://podcast.mephi.ru/special
#ЯРосатом #КарьеравРосатоме
⚠️ Как получить вакансию в машинном обучении в Европе, Азии и США?
⬆️ Расскажет Валентин Шкулов – Data Scientist в Meson Capital Partners на бесплатном вебинаре.
🔹 На занятии вы познакомитесь с различными этапами собеседований для разных локаций и изучите подходы к подготовке и прохождению интервью
🔹 Узнаете особенности в получении офферов в разных локациях.
🔥 Урок идеально подойдет продвинутым IT-специалистам, практикующим ML и желающим выйти на другие рынки или релоцироваться.
👉 Встречаемся 26 декабря в 19:00 мск в рамках курса «Machine Learning. Advanced».
➡️ Регистрация
https://otus.pw/DWOk/?erid=LjN8K8QYH
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963
Критерии выбора инструментов в MLOps и возможности Open Source
Вышла третья часть подкаста «Деньги любят техно» про MLOps. На этот раз — максимально практическая: про платформы, инструменты и требования к ним, а также как всё это применять в больших проектах.
🎧Слушать на любой удобной платформе
⚡ Как выпустить ML-сервис в прод малыми силами с помощью Cloud ML Platform
Создание ML-модели — сложный процесс, а выкатка сервиса на основе модели в прод ещё сложнее.
Упростит жизнь работа с облаками. Точнее, с ними можно сделать простую, но эффективную модель, дающую высокую точность предсказаний, и быстро развернуть её в проде, используя предварительно настроенную среду и инструменты, например, Cloud ML Platform. Более того, ML-модель будет иметь потенциал для улучшения.
https://habr.com/ru/companies/vk/articles/780632/
@ai_machinelearning_big_data
📲 CogAgent: A Visual Language Model for GUI Agents
A state-of-the-art-level open visual language model.
Люди проводят огромное количество времени на цифровых устройствах, используя графические пользовательские интерфейсы (GUI), например, экраны компьютеров или смартфонов.
Большие языковые модели, такие как ChatGPT, могут помочь людям в решении таких задач, как написание электронных писем и ответов на вопросы, но они не способны понимать и взаимодействовать с графическими интерфейсами, что ограничивает их потенциал в плане повышения уровня автоматизации. CogAgent
- новая визуальная языковая модель (VLM) с 18 миллиардами параметров, которая специализируется на работе и навигации в графических интерфейсах.
Используя кодировщики изображений как низкого, так и высокого разрешения, CogAgent поддерживает ввод с разрешением 1120*1120, что позволяет ему распознавать мельчайшие элементы страниц и текст.
Будучи универсальной моделью визуального языка, CogAgent достигает передовых результатов в пяти тестах VQA с большим количеством текста и четырех тестах VQA общего назначения, включая VQAv2, OK-VQA, Text-VQA, ST-VQA, ChartQA, infoVQA, DocVQA, MM-Vet и POPE. CogAgent, использующий в качестве входных данных только скриншоты, превосходит методы на основе LLM, которые принимают извлеченный HTML-текст, в задачах навигации по графическому интерфейсу на ПК и смартфонах.
🖥 code: https://github.com/thudm/cogvlm
📚 paper: https://arxiv.org/abs/2312.08914v1
🔥dataset: https://paperswithcode.com/dataset/ok-vqa
ai_machinelearning_big_data
⚡️ Deep dive into 4 NeurIPS 2023 best paper award winners
NeurIPS 2023 обзор лучших работ: https://youtu.be/LkED9wKI1TY
- Является ли эмерджентность больших языковых моделей миражом? https://arxiv.org/abs/2304.15004
- Масштабирование языковых моделей с ограничениями по данным. https://arxiv.org/abs/2305.16264
- Прямая оптимизация предпочтений: Your Language Model is Secretly a Reward Model. https://arxiv.org/abs/2305.18290
- DecodingTrust: Всесторонняя оценка достоверности в GPT-моделях. https://arxiv.org/abs/2306.11698
ai_machinelearning_big_data
Как строится работа полного цикла ML-разработки и как в ней использовать готовые платформенные решения
Ведущий программист VK Cloud Станислав Кипрюшин показывает пример работы с Cloud ML Platform для создания сервиса распознавания лиц.
В машинном обучении (Machine Learning, ML) можно использовать два подхода: задействовать различные технологии на каждом этапе или работать с готовыми инфраструктурными решениями, которые позволяют создать MLOps-конвейер на одной платформе. Какой путь принесет больше профита — узнайте в статье.
💡 TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering
Выпущен TextDiffuser-2 с кодом и демо.
📚 Paper: https://arxiv.org/abs/2311.16465
🖥 Code: https://github.com/microsoft/unilm/tree/master/textdiffuser-2
⚡️ Demo: https://huggingface.co/spaces/JingyeChen22/TextDiffuser-2
@ai_machinelearning_big_data
🎨The Art of Prompt Engineering with Stable Diffusion Models!
Искусство разработки подсказок с помощью моделей стабильной диффузии!
От создания убедительных промптов до доработки результатов - это руководство обязательно к прочтению для всех, кто изучает потенциал искусственного интеллекта в создании изображений.
🔗Guide: https://wandb.ai/geekyrakshit/diffusers-prompt-engineering/reports/A-Guide-to-Prompt-Engineering-for-Diffusion-Models--Vmlldzo1NzY4NzQ3
@ai_machinelearning_big_data
🧠 EasyVolcap: Accelerating Neural Volumetric Video Research
EasyVolcap, библиотека на Pytorch для упрощения процесса захвата, реконструкции и рендеринга объемного видео, с целью унификации процесса обработки многоракурсных видео, реконструкции 4D-сцен и динамического рендеринга .
🖥 Code: https://github.com/zju3dv/easyvolcap
🖌Metrics: https://short.llm360.ai/amber-metrics
📚 Paper: https://arxiv.org/abs/2312.06575v1
⚡️ Dataset: https://paperswithcode.com/dataset/nerf
@ai_machinelearning_big_data
⚡️ LLM360 - framework for open-source LLMs to foster transparency, trust, and collaborative research
Новый LLM360 фреймворк, который расширяет границы открытых LLM!
Совершенно новые предварительно обученные LLM со обучающим полным кодом, данными и 360 контрольными точками модели.
🖥Code: https://short.llm360.ai/amber-code
⚡️ Model: https://short.llm360.ai/amber-model
🖌Metrics: https://short.llm360.ai/amber-metrics
📚Data: https://short.llm360.ai/amber-data
@ai_machinelearning_big_data
🏆 DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors
DynamiCrafter новая, мощная модель, которая может анимировать неподвижные изображения с открытым доменом на основе промптов.
🌐page: https://doubiiu.github.io/projects/DynamiCrafter
📄paper: https://arxiv.org/abs/2310.12190
🧬code: https://github.com/Doubiiu/DynamiCrafter
🕸replicate: https://replicate.com/camenduru/dynami-crafter
@ai_machinelearning_big_data
🌍 BioCLIP: A Vision Foundation Model for the Tree of Life
Фундаментальная модель, которая обобщает древо жизни (более 2 миллионов видов фауны и флоры), превосходя OpenAI CLIP на 18% в классификации zero-shot и поддерживает открытую классификацию почти по всему живому на земле.
Что внутри?
> Данные: TreeOfLife-10M - самый большой и разнообразный набор данных изображений организмов на сегодняшний день. Он содержит 10,4 млн изображений для более чем 450 таксонов. тем, взятых из iNaturalist, BIOSCAN и Encyclopedia of Life.
> Моделирование: Авторы применили мультимодальную модель контрастного обучения CLIP для иерархической классификации изображений.
Основные результаты
> Классификация животных/растений/грибов, включая редкие виды, с нулевым/малым числом снимков, превосходящая CLIP на 16-18 % в абсолютном выражении.
> Визуализация T-sne показывает, что кодировщик зрения BioCLIP уловил тонкую иерархическую структуру древа жизни.
> BioCLIP - это своего рода универсальный классификатор для древа жизни. Просто дайте ему изображение любого организма, и он, скорее всего, найдет правильный вид.
- paper: https://arxiv.org/abs/2311.18803
- project: https://imageomics.github.io/bioclip/
- demo: https://huggingface.co/spaces/imageomics/bioclip-demo
- model: https://huggingface.co/imageomics/bioclip
@ai_machinelearning_big_data