Правила и стратегии для обеспечения точных и надежных данных
X5 Tech проводит Data Quality Meetup
На митапе 27 сентября расскажут о том, как измеряется качество данных, для чего нужен этот показатель, почему специализированный инструмент Ataccama ONE недостаточно специализирован для нужд компании и как его дорабатывают.
🔹 В онлайн формате выступят спикеры X5 Tech: ведущие менеджеры по качеству данных Наталья Цой и Анастасия Щедрякова, а также Лилия Скляр, руководитель направления и по совместительству модератор события.
🔔 Старт в 18:00
Регистрация и подробности тут
Участие бесплатное
Реклама. ООО "Корпоративный центр ИКС 5", ИНН 7728632689 , erid: LjN8KSdBV
Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах.
В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python.
Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества.
👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!
SmartDev 2023 — большая конференция про технологии от Сбера
21 сентября в кинотеатре «Октябрь» пройдет технологическая конференция SmartDev 2023, организованная Сбером. На одной площадке соберутся ведущие инженеры и разработчики из Сбера, VK, Яндекса, Kaspersky и других компаний, чтобы обменяться опытом создания лучших технологических решений в мире.
Основные темы конференции:
– Машинное обучение и искусственный интеллект
– Архитектура программных решений
– DevOps
– Работа с большими данными
– Безопасность приложений
– Инновации и стратегии в разработке ПО
Помимо этого впервые в России можно услышать выступление генерального директора Gitee, китайского аналога GitHub.Yong Xu.
Также участники конференции смогут задать вопросы создателям нашумевших проектов от Сбера — сервиса GigaChat и нейросети Kandinsky.
Конференция соберёт 1500 участников в офлайне и несколько тысяч зрителей в онлайне.
Участие бесплатное, подробности и регистрация — на сайте конференции.
🫦 HDTR: A Real-Time High-Definition Teeth Restoration Network for Arbitrary Talking Face Generation Methods
Talking Face Generation - новый проект для реконструкции движений лица для достижения высокой естественности движений губ из аудио.
🖥 Github: https://github.com/yylgoodlucky/HDTR-Net
📕 Paper: https://arxiv.org/abs/2309.07495v1
⭐️ Datasets: https://paperswithcode.com/dataset/lrs2
ai_machinelearning_big_data
💥 MMICL: Empowering Vision-language Model with Multi-Modal In-Context Learning
MMICL is a multimodal vision-language model with the ability to analyze and understand multiple images, as well as follow instructions.
MMICL - это хорошо продуманная модель с датасетом, которая позволяет беспрепятственно интегрировать визуальный и текстовый контекст в чередующемся виде для разработки
крупных мультимодальных моделей.
🖥 Github: https://github.com/haozhezhao/mic
📕 Paper: https://arxiv.org/abs/2309.07915v1
⭐️ Datasets: https://paperswithcode.com/dataset/mmbench
ai_machinelearning_big_data
FlagEmbedding
FlagEmbedding can map any text to a low-dimensional dense vector which can be used for tasks like retrieval, classification, clustering, or semantic search. And it also can be used in vector databases for LLMs.
FlagEmbedding позволяет преобразовать любой текст в плотный низкоразмерный вектор, который может быть использован для решения таких задач, как поиск, классификация, кластеризация или семантический поиск. Кроме того, он может быть использован в векторных базах данных для LLM.pip install -U FlagEmbedding
🖥 Github: https://github.com/flagopen/flagembedding
📕 Paper: https://arxiv.org/pdf/2309.07597v1.pdf
⭐️ Datasets: https://paperswithcode.com/dataset/beir
ai_machinelearning_big_data
📂 An Open-source Framework for Autonomous Language Agents
Agents is carefully engineered to support important features including planning, memory, tool usage, multi-agent communication, and fine-grained symbolic control.
Agents - это библиотека/фреймворк с открытым исходным кодом для создания автономных языковых агентов.
Библиотека тщательно продумана и поддерживает такие важные функции, как долгую краткосрочную память , использование продвинутых ии-инструментов, веб-навигацию, мультиагентное взаимодействие, а также совершенно новые возможности, включая взаимодействие человека и агента и символьное управление.pip install ai-agents
🖥 Github: https://github.com/aiwaves-cn/agents
📕 Paper: https://arxiv.org/pdf/2309.07870.pdf
⏩ Demo: https://github.com/aiwaves-cn/agents#web-demos
⭐️ Project: http://www.aiwaves-agents.com/
ai_machinelearning_big_data
Приглашаем на Yandex Scale 2023!
Ежегодная и самая масштабная конференция Yandex Cloud уже в пятый раз соберет экспертов индустрии. Эксперты компании поделятся новостями платформы, расскажут о новых сервисах, а также обсудят будущее облачных технологий.
Что вас ждет в этом году:
🚀6 актуальных тематических треков: Data Platform, Infra + K8s, Security, Digital Workplace, Severless, ML;
🔊главные новости платформы и индустрии;
🎙30+ выступлений экспертов, кейсы клиентов и партнеров;
🏢9 стендов на офлайн-выставке;
🤝Нетворкинг: не упустите возможность встретиться с руководителями разработки и задать им все интересующие вас вопросы.
📅 В этом году конференция будет проходить два дня:
25 сентября – онлайн: открытие;
26 сентября – онлайн и офлайн: главный доклад, основная программа и выставка.
Регистрируйтесь по ссылке.
Реклама. ООО "Яндекс" ИНН 7736207543
🗣Project NN-Pytorch-scripts
This is a set of Python / Pytorch scripts and tools for various speech-processing projects.
Набор скриптов и инструментов на языке Python / Pytorch для различных проектов по обработке речи.git clone --depth 1 https://github.com/nii-yamagishilab/project-NN-Pytorch-scripts.git
🖥 Github: https://github.com/nii-yamagishilab/project-NN-Pytorch-scripts
📕 Paper: https://arxiv.org/pdf/2309.06014v1.pdf
⭐️ Tasks: https://paperswithcode.com/task/speech-synthesis
ai_machinelearning_big_data
🔥 Free Certification Courses from Google to try in 2023.
Бесплатные сертификационные курсы от Google, для аналитиков, которые стоит пройти в 2023 году.
1. Basics of Machine Learning
https://grow.google/intl/en_in/
2. Machine Learning Crash Course
https://coursya.com/product/machine-learning-crash-course
3. Project Execution: Running the Project
https://coursera.org/learn/project-execution-google
4. Foundations of Project Management
https://coursera.org/learn/project-management-foundations
5. Project Initiation: Starting a Successful Project
https://coursera.org/learn/project-initiation-google
6. Project Planning: Putting It All Together
https://coursera.org/learn/project-planning-google
7. Google Analytics for Power Users
https://coursya.com/product/google-analytics-certification-coursya
8. Fundamentals of digital marketing
https://skillshop.exceedlms.com/student/collection/654330-digital-marketing?locale=en-GB
9. Python Basics for Data Analysis
https://coursya.com/product/learn-python-basics-for-data-analysis
10. Data Science Foundations
https://grow.google/intl/en_in/
11. Advanced Google Analytics
https://coursera.org/professional-certificates/google-data-analytics
12. Google Cloud Computing Foundations:
https://cloudskillsboost.google/course_templates/153
13. Data, ML, and AI in Google Cloud
https://coursya.com/product/google-cloud-computing-foundations-data-ml-and-ai-in-google-cloud-google-cloud-skills-boost
14. Agile Project Management
https://coursera.org/learn/agile-project-management
15. Google Project Management
https://coursera.org/professional-certificates/google-project-management
ai_machinelearning_big_data
🖥 Free Courses and Guides That Will Teach You How to Master AI:
Бесплатные курсы и руководства, для погружения в искусственный интеллект.
📂Elements of AI
https://elementsofai.com
📂Learn Prompting
https://learnprompting.org
📂Machine Learning
https://edx.org/learn/machine-learning/harvard-university-data-science-machine-learning
📂AI for everyone
https://coursera.org/learn/ai-for-everyone
📂500+ AI Chatbot Prompt Templates
https://theveller.gumroad.com/l/ChatGPTPromptTemplates-byTheVeller
📂Prompt Engineering
https://youtu.be/_ZvnD73m40o
📂ChatGPT Prompt Engineering for Developers
https://deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers
📂Google — AI for Anyone
https://edx.org/learn/artificial-intelligence/google-google-ai-for-anyone
📂Microsoft — AI For Beginners
https://microsoft.github.io/AI-For-Beginners
📂IBM — AI for Everyone: Master the Basics
https://edx.org/learn/artificial-intelligence/ibm-ai-for-everyone-master-the-basics
📂Google — Introduction to Generative AI
https://cloudskillsboost.google/journeys/118
📂DeepLearning — Finetuning LLMs
https://deeplearning.ai/short-courses/finetuning-large-language-models
ai_machinelearning_big_data
🎯 DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
Фреймворк для уменьшения галлюцинаций с помощью предварительно обученных ЛЛМ, не требующая ни файнтюнинга.
🖥 Github: https://github.com/voidism/dola
🖥 Colab: https://colab.research.google.com/github/voidism/DoLa/blob/master/dola_evaluation.ipynb
📕 Paper: https://arxiv.org/abs/2309.03883v1
⭐️ Dataset: https://paperswithcode.com/dataset/truthfulqa
ai_machinelearning_big_data
📹 DEVA: Tracking Anything with Decoupled Video Segmentation
Decoupled video segmentation approach (DEVA), composed of task-specific image-level segmentation and class/task-agnostic bi-directional temporal propagation.
Новая модель сегментации видео для "отслеживания чего угодно" без обучения по видео для любой отдельной задачи.
🖥 Github: https://github.com/hkchengrex/Tracking-Anything-with-DEVA
🖥 Colab: https://colab.research.google.com/drive/1OsyNVoV_7ETD1zIE8UWxL3NXxu12m_YZ?usp=sharing
⏩ Project: https://hkchengrex.github.io/Tracking-Anything-with-DEVA/
📕 Paper: https://arxiv.org/abs/2309.03903v1
⭐️ Docs: https://paperswithcode.com/dataset/burst
ai_machinelearning_big_data
⚡Легкий способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
Data Science: t.me/data_analysis_ml
Java: t.me/javatg
Базы данных: t.me/sqlhub
Машинное обучение: t.me/machinelearning_ru
Go: t.me/Golang_google
C/C++/ t.me/cpluspluc
C#: t.me/csharp_ci
Хакинг: t.me/linuxkalii
Мобильная разработка: t.me/mobdevelop
Docker: t.me/+0WdB4uvOwCY0Mjdi
Python: t.me/pythonl
Rust: t.me/rust_code
Javascript: t.me/javascriptv
React: t.me/react_tg
PHP: t.me/phpshka
Android: t.me/android_its
Linux: t.me/+A8jY79rcyKJlYWY6
Big Data: t.me/bigdatai
Devops: t.me/devOPSitsec
Тестирование:/channel/+F9jPLmMFqq1kNTMy
Собеседования: /channel/machinelearning_interview
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
ИИ: t.me/vistehno
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
Открылась регистрация на международный чемпионат по программированию Yandex Cup с призовым фондом в 7,8 млн рублей
Участники могут выбрать среди шести направлений: аналитика, фронтенд- и бэкенд-разработка, мобильная разработка, машинное обучение и «Алгоритм», посвящённый спортивному программированию — последний пройдёт не только на русском, но и английском языке.
Задания Yandex Cup составляют сотрудники Яндекса на основе тех задач, с которыми сталкиваются в повседневной работе.
При этом чемпионат посетит большое количество опытных разработчиков, а участвовать могут разработчики разного уровня — участвовать могут как студенты, так и сеньоры.
ai_machinelearning_big_data
⛓️🛠️ ChainForge: A Visual Toolkit for Prompt Engineering and LLM Hypothesis Testing
Среда визуального программирования с открытым исходным кодом для создания промптов, проведения экспериментов и оперативной оценки LLM.pip install chainforge
🖥 Github: https://github.com/ianarawjo/ChainForge
⭐️ Project: https://chainforge.ai
📕 Paper: https://arxiv.org/abs/2309.09128v1
ai_machinelearning_big_data
🦙 LLaVA: Large Language and Vision Assistant
LLaVA - новая комплексная мультимодальная модель, которая подробно объяснит любое изображениеgit clone https://github.com/haotian-liu/LLaVA.git
cd LLaVA
🖥 Github: https://github.com/haotian-liu/LLaVA
📕 Paper: https://arxiv.org/pdf/2309.09958v1.pdf
⭐️ Datasets: https://paperswithcode.com/dataset/mmlu
ai_machinelearning_big_data
🚀Breathing New Life into 3D Assets with Generative Repainting
Новая модель. которая переносит возможности генеративных моделей 2D-изображений, таких как Stable Diffusion, в 3D. Проект позволяет получить яркие генерации 3D-объектов в различных категориях форм.
🖥 Github: https://github.com/kongdai123/repainting_3d_assets
☑️ Demo: https://www.obukhov.ai/repainting_3d_assets
🖥 Colab: https://colab.research.google.com/drive/18mDpuYO5TuI6tSkQk9ls2rS9sciNpR-c?usp=sharing
📕 Paper: https://arxiv.org/abs/2309.08523v1
⭐️ Datasets: https://paperswithcode.com/dataset/shapenet
ai_machinelearning_big_data
🔥Free Certification Courses from Microsoft to try in 2023:
Бесплатные сертификационные курсы от Microsoft, которые можно пройти в 2023 году.
1. Get started with Microsoft data analytics
https://learn.microsoft.com/en-us/training/paths/data-analytics-microsoft
2. Prepare data for analysis with Power BI
https://learn.microsoft.com/en-us/training/paths/prepare-data-power-bi
3. Model data with Power BI
https://learn.microsoft.com/en-us/training/paths/model-data-power-bi
4. Build Power BI visuals and reports
https://learn.microsoft.com/en-us/training/paths/build-power-bi-visuals-reports
5. Data analysis in Power BI
https://coursya.com/product/microsoft-power-bi-data-analyst
6. Visualize data in Power BI
https://coursya.com/product/build-power-bi-visuals-and-reports-training
7. Model data in Power BI
https://coursya.com/product/power-bi-for-beginners-designing-a-data-model
8. Prepare data for analysis
https://coursya.com/product/prepare-data-for-analysis-training
9. Get started with Microsoft data analytics
https://coursya.com/product/get-started-with-microsoft-data-analytics-training
10. Microsoft Certified: Power BI Data Analyst Associate
https://coursya.com/product/microsoft-certified-power-bi-data-analyst-associate-certifications
ai_machinelearning_big_data
Как найти себя в IT, если вы ещё не выбрали профессию?
В Яндекс Практикуме можно пройти профориентационные тесты и начать IT-карьеру. В этом вам поможет большой карьерный центр: 200+ карьерных экспертов и 850 партнёрских вакансий только за 2023 год.
Истории наших выпускников показывают, что каждый может сменить профессию: из медсестры — в тестировщицы, из полицейского — в разработчика, из разнорабочего — в программиста. Больше 10 000 выпускников уже нашли работу — у вас тоже может получиться.
→ Найдите своё место в IT и трудоустраивайтесь поудобнее.
Реклама. Рекламодатель ООО "Яндекс" ИНН 7736207543
✏️ Модель для генерации субтитров, созданная Яндекс Браузером
Итак, Яндекс запустил внутри браузера новую нейросеть: она создаёт субтитры к любым русскоязычным видео на любом сайте. Субтитры работают даже для тех роликов, которые доступны после авторизации или загружены в облачные хранилища.
Нейросеть стала потреблять в 5 раз меньше оперативной памяти: оптимизация буферов и моделей позволили дойти до отметки в 150 Мб вместо 800 Мб. Для этого разработчики уменьшали накапливающиеся буферы, меняли архитектуру модели и перенастраивали процесс декодирования.
За основу взята архитектура VGGTransformer. Нейросеть обучили на блочное применение — это когда предсказание работает с помощью скользящего окна со сдвигом.
Подробнее про генерацию субтитров можно почитать в статье на Хабре.
ai_machinelearning_big_data
🚩 Towards the TopMost: A Topic Modeling System Toolkit
The highly cohesive and decoupled modular design of TopMost enables quick utilization, fair comparisons, and flexible extensions of different topic models.
TopMost обеспечивает полный жизненный цикл тематического моделирования, включая предварительную обработку данных, обучение модели, тестирование и оценку. Он охватывает наиболее популярные сценарии тематического моделирования, такие как статическое, динамическое, иерархическое и межъязыковое тематическое моделирование.$ pip install topmost
🖥 Github: https://github.com/bobxwu/topmost
📕 Paper: https://arxiv.org/abs/2309.06908v1
⏩ Docs: https://topmost.readthedocs.io/
⭐️ Dataset: https://paperswithcode.com/dataset/imdb-movie-reviews
ai_machinelearning_big_data
🔥 Introducing Würstchen: Fast Diffusion for Image Generation
Diffusion model, whose text-conditional component works in a highly compressed latent space of images
Würstchen - это диффузионная модель, которой работает в сильно сжатом латентном пространстве изображений.
Почему это важно? Сжатие данных позволяет на порядки снизить вычислительные затраты как на обучение, так и на вывод модели.
Обучение на 1024×1024 изображениях гораздо затратное, чем на 32×32. Обычно в других моделях используется сравнительно небольшое сжатие, в пределах 4x - 8x пространственного сжатия.
Благодаря новой архитектуре достигается 42-кратное пространственное сжатие!
🤗 HF: https://huggingface.co/blog/wuertschen
📝 Paper: https://arxiv.org/abs/2306.00637
📕 Docs: hhttps://huggingface.co/docs/diffusers/main/en/api/pipelines/wuerstchen
🚀 Demo: https://huggingface.co/spaces/warp-ai/Wuerstchen
ai_machinelearning_big_data
Присоединяйтесь к вебинару livecoding и обучайте модель Machine Learning в режиме реального времени.
Когда: 15 сентября в 19:00.
Тема: "Прогнозирование цен на автомобили с помощью машинного обучения”
Длительность: около 2 часов.
Кто обучает: эксперт в Data Science с 10-летним практическим опытом
Что будет на вебинаре:
✅Пошаговая разборка ML-процесса
✅Практические задания с доступом к реальным данным и среде
✅Интерактивное обучение и обсуждение
Вместе мы сделаем сложное простым и достигнем результатов с минимальными усилиями 💪
Бесплатное участие только для первых 30 записавшихся человек.
👉 Записаться на вебинар
Реклама: ИП Кравченко Николай Васильевич LjN8KYXZ9
⚡Intel® Neural Compressor
Intel® Neural Compressor , targeting to provide unified APIs for network compression technologies
Intel® Neural Compressor - фреймворк для сжатия моделей, который позволяет проводить квантование, обрезку (sparsity), дистилляцию и поиск архитектуры нейронной сети. СОвместим с TensorFlow, PyTorch, ONNX Runtime и MXNet.pip install neural-compressor
🖥 Github: https://github.com/intel/neural-compressor
📂 Docs: https://intel.github.io/neural-compressor
📕 Paper: https://arxiv.org/abs/2309.05516v1
⭐️ Dataset: https://paperswithcode.com/dataset/lambada
ai_machinelearning_big_data
ML блудни: путешествия по миру ошибок 🚫
21 сентября в 22:50 Слёрм приглашает на встречу с Иваном Аникиным, тимлидом Yandex.Edadeal, чтобы поговорить о часто встречающихся ошибках в машинном обучении.
Обсудят:
➡ ошибки в построении моделей;
➡ частые заблуждения команд при работе с ML;
➡ работу с бизнес-задачами и непрозрачными процессами.
Встреча пройдёт в рамках ночной неконференции от Слёрма. В программе сплетни, секреты и факапы от наших коллег. Обещают знакомства в расслабленной атмосфере, тематическую болтовню и разыграть подписку на порнхаб. 🆒
Все онлайн, бесплатно, по регистрации. Узнать подробности и зарегистрироваться — по ссылке 😎
Реклама. 18+ ООО «Слёрм» г. Лиски, ОГРН 1193668020545
14 сентября, 18:00
Computer Vision в животноводстве, инфраструктура для ML и AI, виды дрифтов ML-моделей.
В этот четверг ребята из @Selectel проведут ежегодный митап «MLечный путь» для MLOps и ML-инженеров. На встрече спикеры из Selectel, Контур AI, Neoflex и Русагро рассмотрят актуальные сложности, тренды и инструменты построения production ML-систем.
Темы докладов:
◽️ Определение дрифта данных и дрифта моделей на MLOps-платформе Neoflex Dognauts
◽️ Хостинг сотни моделей машинного обучения в Контуре: существующее решение и путь к нему, а также актуальные и решенные проблемы
◽️ Стек технологий и инфраструктурная база для пилотных проектов внедрения LLM
◽️ Оптимизация работы видеоаналитических сервисов в животноводстве с помощью Prefect
В конце пройдет дискуссия «Потребности ML-рынка России», где вы получите ответы на интересующие вопросы и сможете пообщаться с экспертами в неформальной обстановке.
Регистрируйтесь на офлайн-встречу в Санкт-Петербурге: https://slc.tl/eay26
Регистрируйтесь на онлайн-трансляцию: https://slc.tl/tq2x2
Реклама ООО «Селектел» 2VtzqwxwSwr
💻PyGraft: Configurable Generation of Schemas and Knowledge Graphs at Your Fingertips
PyGraft - инструмент на базе Python, позволяющий генерировать специализированные схемы и графы знаний, не зависящие от конкретной области.
🖥 Github: https://github.com/nicolas-hbt/pygraft
📕 Paper: https://arxiv.org/abs/2309.03685
⭐️ Docs: https://pygraft.readthedocs.io/en/latest/
ai_machinelearning_big_data
✔SyntheticHumans Package (Unity Computer Vision)
A package for creating Unity Perception compatible synthetic people.
Модель для генерации людей, обученная на большом наборе антропоцентрических измерений, которая способна генерировать широкий спектр форм и поз человеческого тела.
🖥 Github: https://github.com/Unity-Technologies/com.unity.cv.synthetichumans
📂 AnthroNet: https://github.com/Unity-Technologies/AnthroNet
📕 Paper:https://arxiv.org/abs/2309.03812v1
⭐️ Dataset: https://paperswithcode.com/dataset/unity-synthetic-humans
ai_machinelearning_big_dataп