machinelearning_ru | Unsorted

Telegram-канал machinelearning_ru - Машинное обучение RU

18194

Все о машинном обучении админ - @workakkk @data_analysis_ml - анализ даннных @ai_machinelearning_big_data - Machine learning @itchannels_telegram -лучшие ит-каналы @pythonl - Python @pythonlbooks- python 📚 @datascienceiot - 📚 РКН: clck.ru/3FmrUw

Subscribe to a channel

Машинное обучение RU

FlexiTech.ai — российская команда профессионалов по разработке решений на базе AI и ML, применяющая инновационные технологии. В портфолио вы найдете задачи любой сложности, среди них: внедрение рекомендательных систем, атрибуция товара, распознавание и классификация изображений, изменение фона на изображении с товаром, предсказание спроса, а также обработка текстов на естественном языке.

Команда обладает большим опытом интеграции AI решений непосредственно в ваш pipeline с учетом вашего технологического стека.

🌐 Специалисты FlexiTech.ai обладают широкой экспертизой в разных сферах и всегда в курсе мировых тенденций,
💡Используемые передовые алгоритмы, делают сложные задачи быстрыми и легкими.
🏆 Реализованные интеллектуальные рабочие процессы увеличивают производительность и снижают издержки крупнейших предприятий в eCommerce, Retail, FinTech, EdTech и других отраслях.

Обращайтесь к @Flexitech_ai и сделайте свою команду больше, быстрее и эффективнее!

Читать полностью…

Машинное обучение RU

🖥 pyvis: визуализация графов

Библиотека, которая позволяет создавать графы, настраивать размер нодов, их цвет и прочие характеристики:

Если вам необходимо создать интерактивный граф в нескольких строках кода на языке Python, используйте Pyvis.

▪Github
▪Docs

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥 Дайджест полезных материалов из мира Машинного обучения за неделю

Почитать:
— Machine Learning: хорошая подборка книг для начинающего специалиста
— Как понять, что клиента пора реактивировать?
— Книга «Математика в машинном обучении»
— Что нового в Pandas 2.1
— Готовые скрипты Python
— Влад Грозин о PhD в США, философии в Data Science, пузыре рекомендаций и голодающих геймерах
— Руководство по масштабированию MLOps
— Чем мы можем заменить тест Тьюринга
— Как (быстро) сделать русский локальный ChatGPT
— «SAM и тут и сям»: Segment Anything Model в задачах компьютерного зрения (часть 2)
— LLaMa vs GigaChat: может ли опенсорсная модель работать лучше LLM с 13 млрд параметрами?
— YandexGPT 2 — большое обновление языковой модели Яндекса
— Deploying Apps on Render
— Mastering ZIP File Handling in Python: Reading and Creating Zip Archives
— The Minion Game - HackerRank Solution Python
— Iterables and Iterators - HackerRank Solution Python
— Regex Substitution - HackerRank Solution Python
— How to Solve the "No Idea!" Challenge in Python
— 🌐 UN Goals : Education & Gender Equity ⚖️
— Starting my Journey in Open Source
— Created a toggle_state_button with PyQt5
— Accelerating Releases with Pulumi: My Proxy Project Journey

Посмотреть:
🌐 Lightning Interview “Beyond the Code: How AI Is Disrupting the Programmer's Role” (⏱ 58:40)
🌐 Introduction to Generative Art with Stable Diffusion, presented by HP Inc - Hunter Kempf (⏱ 43:48)
🌐 Emerging Approaches to AI Governance: Tech-Led vs Policy-Led - Ilana Golbin (⏱ 44:36)

Хорошего дня!

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🦙TinyLlama-1.1B

Проект TinyLlama для предварительно обученых моделей Llama 1,1 млрд- 3 трлн. токенов.

TinyLlama использует точно такую же архитектуру и токенизатор, как и в Llama 2. Это означает, что TinyLlama может быть подключена и работать во открытых проектах, построенных на базе Llama. Ее компактность позволяет использовать модель во множестве приложений, с ограниченным объемом вычислений и памяти.

▪Github

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🖥 Полный курс по библиотеке Numpy. Урок 4: Создание матриц из файла.

▪Видео
▪Код из видео

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🖥 Полный курс по библиотеке Numpy. Урок 2 Полезные функции.

▪Видео
▪Упражнения

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥 Wow, NVIDIA’s Rendering, But 10X Faster!

https://www.youtube.com/watch?v=TLK3TDDcJFU

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥Бесплатные сертификационные курсы по анализу данных, которые можно попробовать пройти в 2023 году:

🔸Data Analysis with Python (University of Helsinki)
https://classcentral.com/course/independent-data-analysis-with-python-204189

🔸Google Data Analytics
https://classcentral.com/course/google-data-analytics-36441

🔸Data Analyst Bootcamp
https://classcentral.com/course/youtube-data-analyst-bootcamp-204971

🔸The Analytics Edge (MIT University)
https://classcentral.com/course/mit-opencourseware-the-analytics-edge-spring-2017-40989

🔸Data Analysis with Python: Zero to Pandas
https://classcentral.com/course/jovian-data-analysis-with-python-zero-to-pandas-80422

🔸Data Analyst with Python
https://app.datacamp.com/learn/career-tracks/data-analyst-with-python

🔸Full Excel Data Analysis Basics
https://classcentral.com/course/youtube-full-excel-data-analysis-basics-class-e-dab-data-analysis-bi-made-easy-with-excel-power-tools-10-videos-204970

🔸Julia for Data Analysis
https://manning.com/books/julia-for-data-analysis

🔸Data Analysis with Python
https://classcentral.com/course/freecodecamp-data-analysis-with-python-34066

🔸Data Analysis (Harvard University)
http://pll.harvard.edu/course/data-analysis-life-sciences-4-high-dimensional-data-analysis

🔸PowerBI (Microsoft)
http://learn.microsoft.com/users/collinschedler-0717/collections/m14nt4rdwnwp04

🔸Excel (Microsoft)
http://learn.microsoft.com/training/paths/modern-analytics/

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥1,000,000,000 Parameter Super Resolution AI!

https://www.youtube.com/watch?v=UyoXmHS-KGc

GigaGAN: Scaling up GANs for Text-to-Image Synthesis: https://mingukkang.github.io/GigaGAN/

@machinelearning_ru

Читать полностью…

Машинное обучение RU

📊Diagramming AI — полезный инструмент для автоматизация создания UML и рабочих процессов с помощью ИИ

Это отличный помощник в мгновенном создании и обновлении диаграмм с использованием интуитивных ИИ-команд

Бесплатный сервис предлагает хранение и управление проектами, а также возможности для динамического редактирования.

#ИИ #UML

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥Google VRDU

Google опубликовали в открытом доступе VRDU – датасет и модель, которая понимает документы.

Модель, которая может автоматически извлекать данные из документов, например, квитанций, страховых полисов и финансовых отчетов, потенциально может значительно повысить эффективность бизнес-процессов, избегая ручной работы, подверженной ошибкам.

Но академические датасеты не в состоянии охватить проблемы, наблюдаемые в реальных примерах использования. Как следствие, академические тесты показывают высокую точность существующих моделей, но плохо работают в реальных приложениях.

Исследователи Google сформулировали список особенностей задачи извлечения содержания из документов. Этот список включает использование различных форматов данных, которые могут являться обязательными или необязательными для заполнения в документе определенного шаблона, а также наличие различных форматов оформления, структур и связей между данными.

Датасет и бенчмарк Google VRDU (Visually-rich Document Understanding) были разработаны с учетом данных особенностей.

Датасет VRDU состоит из документов двух типов: регистрационных форм и форм для покупки рекламы. Датасет содержит более 2 000 документов, таких как счета-фактуры и квитанции. Документы являются текстовыми файлами, полученными путем преобразования в текст с помощью Google Cloud изображений, собранных в открытом доступе в Интернете. Затем документы были размечены вручную для сопоставления значений, встречающихся в данных, с их аннотацией (например, числового значения величины налога с названием поля «Налог»).

▪Github
▪Датасет

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🖥 GPT-3.5 Turbo теперь можно дообучать самостоятельно для конкретных задач

GPT-3.5 Turbo от OpenAI получил обновление, позволяющее самостоятельно дообучать модель для использования в своих приложениях, что позволит разработчикам возможность максимально раскрыть потенциал GPT-3.5.

Теперь разработки могут делать файнтюнинг параметров модели для совершенствования производительности и точности работы модели в своих сферах применения. Первые тесты показывают, что тонко настроенный GPT-3.5 Turbo соответствует или превосходит базовые метрики GPT-4 для конкретных задач.

На тестах выяснилось, что дообучение позволит компаниям сократить длину запросов при сохранении аналогичной эффективности: тестировщики смогли сократить размер запросов на 90%, внедряя инструкции непосредственно в модель, что ускоряет каждый вызов API и сокращает затраты. Дообученные модели обрабатывают контексты из 4 тыс. токенов, вдвое увеличивая предыдущую емкость, что также ускоряет вызовы и снижает затраты на использование API.

📌 Подробнее

@machinelearning_ru

Читать полностью…

Машинное обучение RU

📌 Машинное обучение на рекламных платформах

Для специалистов важно знать практическое применение ML. Например, как устроены механизмы CPA-продвижения на поиске маркеплейса.

Руководитель группы машинного обучения рекламной платформы Александр Воронцов расскажет, как устроено продвижение в поиске Яндекс Маркета, рассмотрит классический tradeoff «качество — покрытие» и покажет, как выглядит размен продуктовых метрик при внедрении в продакшн новых факторов.

Доклад прозвучит 7 сентября на конференции для экспертов ML — Practical ML Conf. Основные темы конференции: Генеративные модели, Research, NLP, Hardware, CV, RecSys, MLOps, Ecomm. Найдётся то, что вам интересно. Регистрация уже началась вот здесь.

@machinelearning_ru

Читать полностью…

Машинное обучение RU

AI Mind Reading Experiment!

https://www.youtube.com/watch?v=z-OBapDD340

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡📢SeamlessM4T

Meta выпустила самый мощный нейропереводчик на сегодняшний день. SeamlessM4T понимает более 100 языков и умеет осуществлять все типы переводов: из текста в текст, из речи в текст, из текста в речь и даже из речи в речь.

▪Github
▪Статья
▪Demo
▪Hugging face

@machinelearning_ru

Читать полностью…

Машинное обучение RU

CodeFuse-MFTCoder - это проект CodeFuse с открытым исходным кодом для многозадачной Code-LLMs (large language model for code tasks), включающий модели, наборы данных, код и руководства по работе.

▪Github

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Анализ данных и машинное обучение в облаке

Если вам не хватает мощностей собственного компьютера для разработки модели машинного обучения, у вас краткосрочный проект, для которого нецелесообразно покупать мощные видеокарты, или вы хотели бы собрать небольшую платформу обработки данных, используйте Data Analytics Virtual Machine.

В чем преимущества Data Analytics Virtual Machine в @Selectel:

◽Это виртуальные серверы с предустановленным набором инструментов для анализа данных, BI и машинного обучения. Решение подойдет для небольших команд и стартапов и поможет с хранением, обработкой, анализом и визуализацией данных.

◽Вам не придется тратить время на установку драйверов для видеокарты, Python и библиотек для работы с ML. Все компоненты предустановлены, сервер разворачиватся из образа и сразу готов к работе.

◽ Отсутствие vendor lock-in. Решение построено на базе Open Source инструментов: Jupyter, Prefect, Apache Superset. Вы платите только ресурсы облака по модели pay-as-you-go.

Арендовать готовый сервер и узнать больше о решении можно по ссылке: https://slc.tl/nh4l6

Реклама ООО «Селектел» 2VtzquuEHM2

Читать полностью…

Машинное обучение RU

🖥 Python анализ данных с Pandas.Урок 1: Введение.

▪Видео
▪Код из видео

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Примите участие в AI Challenge - международном конкурсе по искусственному интеллекту для молодежи от Сбера

Это отличная возможность для школьников и выпускников до 18 лет получить знания и навыки в области искусственного интеллекта, а также приобрести друзей со всего мира.

Участники будут соревноваться в пяти направлениях: от медицины до креативных индустрий.

Отбор пройдет в 4 этапа: регистрация, командная работа, финальный этап с защитой перед экспертами и награждение. Призовой фонд разделят победители в каждом направлении.

Зарегистрироваться можно прямо сейчас на сайте конкурса.

Читать полностью…

Машинное обучение RU

🖥 Полный курс по библиотеке Numpy. Урок 3. Практика

▪Видео
▪Код из видео

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🖥 Полный курс по библиотеке Numpy. Матрицы.

▪Видео
▪Код из видео
▪Упражнения по Numpy

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥 Дайджест полезных материалов из мира : Машинное обучение за неделю

Почитать:
— Пережевывая Матрицу Несоответствий — Confusion Matrix
— Устранение галлюцинаций в LLM
— Раскладываем по полочкам тезисы из видео «Из голоса банка — в фильмы 18+»
— YandexGPT тоже провалил тест на ручник
— Шпаргалка по Seaborn. Делаем матрицы красивыми
— 7 советов, как сделать чат-бота похожим на настоящего человека
— Генерация паспортных данных для обучения моделей
— Классификация грибов методами ML
— Наш опыт внедрения платформы чат-ботов в помощь команде поддержки
— Определение токсичности комментариев с помощью глубокого обучения
— Simple Weather notification project built with python in mobile.
— Why Java Is an Object-Oriented Programming Language?
— Elastic D&D - Week 2 - Streamlit & the Login Page
— Supervised Learning
— Understand the request - response cycle of Django.
— Guide to Data Cleaning and Preparation for Analysis using Pandas library in Python
— Unveiling the Power of the Proxy Design Pattern with a Remote API Example in Python
— "Which job sectors are witnessing a surge in demand for AI and Data Science professionals?"
— Data Science with Python and Java: A Dynamic Duo for Modern Analytics
— Comment ajouter des hyperliens à Excel avec Python

Посмотреть:
🌐 AI in a Minefield: Learning from Poisoned Data - Johnathan Roy Azaria (⏱ 37:07)
🌐 Orchestrating Data Assets instead of Tasks, with Dagster - Sandy Ryza (⏱ 31:06)

Хорошего дня!

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⏩ Повысьте уровень своих навыков в области ИИ: Список бесплатных курсов Google Top 8.

1. Introduction to Generative AI - введение в генеративный ИИ Этот курс погрузит вас в основаы генеративного ИИ,

2. Introduction to Large Language Models
- в курсе вы узнаете о больших языковых моделях (LLM), которые представляют собой разновидность искусственного интеллекта, способного генерировать текст, переводить языки, писать различные виды креативного контента и информативно отвечать на ваши вопросы.

3. Introduction to Responsible AI - этот курс расскажет вам об этичном и ответственном использовании искусственного интеллекта. Вы узнаете о различных этических проблемах ИИ, таких как предвзятость, конфиденциальность и безопасность. Вы также узнаете о некоторых лучших практиках разработки ИИ.

4. Introduction to Image Generation - этот курс расскажет вам о генерации изображений, разновидности искусственного интеллекта, способного создавать изображения на основе текстовых описаний. Вы узнаете о различных типах алгоритмов генерации изображений, о том, как они работают, и о некоторых из их наиболее распространенных применений.

5. Encoder-Decoder Architecture -
этот курс расскажет вам об архитектуре модели кодера-декодера, которые представляют собой тип архитектуры нейронной сети, широко используемой для задач обработки естественного языка, таких как машинный перевод и резюмирование текста. Вы узнаете о различных компонентах архитектур энкодер-декодер, о том, как они работают, и о некоторых наиболее распространенных областях их применения.

6. Attention Mechanism - В этом курсе вы узнаете о механизме attention - технике, которая используется для повышения производительности нейронных сетей в задачах обработки естественного языка.

7. Transformer Models and BERT Model - В этом курсе вы изучите архитектуру трансформеров, которые представляют собой тип архитектуры нейронной сети, показавшей свою эффективность при решении задач обработки естественного языка.

8. Create Image Captioning Models -
Этот курс научит вас создавать модели автоматического описания изображений, которые представляют собой разновидность искусственного интеллекта, способного генерировать подписи к изображениям.

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡Shell-AI: Your Intelligent Command-Line Companion

Shell-AI (shai) - это утилита CLI, которая позволяет использовать возможности понимания естественного языка в командной строке. Просто введите на естественном языке то, что вы хотите сделать, и shai предложит однострочные команды, которые реализуют ваш запрос.

pip install shell-ai

▪Github

@machinelearning_ru

Читать полностью…

Машинное обучение RU

ИТ + научпоп + музыка = большой ИТ-пикник в Москве 💛

2 сентября Тинькофф, CodeFest и Мельница собирают большой благотворительный ИТ-фестиваль. Встречаемся в Коломенском на максимально летнем вайбе.

В программе: ИТ- и научпоп-лектории, выступления топовых спикеров, воркшопы, интерактивные зоны и вишенка на торте — музыкальные перформансы от Антохи MC, Zoloto, Therr Maitz, The Hatters, «Сироткина», а также секретного хедлайнера. Как думаете, кто им может быть?

Для участия нужно выбрать благотворительный фонд из списка и сделать донат от 1000 рублей. Подробности и регистрация — тут.

Реклама. АО "Тинькофф Банк"

Читать полностью…

Машинное обучение RU

🚀Arthur Bench: инструмент для оценки языковых моделей

Arthur Bench содержит метрики для сравнения моделей по точности ответов, легкости их чтения, хеджированию и другим критериям.

Хеджирование является очень актуальной проблемой при использовании языковых моделей в приложениях: модели включают в ответ предложения, указывающие на существующие ограничения их использования («как языковая модель, я не могу…»), что обычно вызывает проблемы.

Bench значительно упрощает ручной анализ моделей.


Можно использовать 100 релевантных конкретной задаче запросов, а инструмент сам сравнит ответы разных моделей между собой и выделит те ответы, которые сильно отличались друг от друга.

pip install 'arthur-bench[server]'

from arthur_bench.run.testsuite import TestSuite
suite = TestSuite(
"bench_quickstart",
"exact_match",
input_text_list=["What year was FDR elected?", "What is the opposite of down?"],
reference_output_list=["1932", "up"]
)
suite.run("quickstart_run", candidate_output_list=["1932", "up is the opposite of down"])

@machinelearning_ru

Читать полностью…

Машинное обучение RU

📋Состояние инфраструктуры данных на 2023 год — ключевые тренды ландшафта MAD от Мэтта Терка

Основные изменения в инфраструктуре данных на 2023 год
Hadoop
Несмотря на то, что некоторые компоненты экосистемы Hadoop до сих пор используются (например, Hive), их популярность снизилась настолько, что эта экосистема больше не попадает в ландшафт индустрии данных, что также подтверждается последними статьями из разряда “Big Data is Dead”.

Data lakes стали относиться к одной категории с Lakehouse
Сюда, среди прочих, относятся следующие инструменты (где это актуально, в скобках также указаны год основания и общий объем финансирования):

• Cloudera (2008, $1041 млн) — корпоративный дата-хаб, построенный на базе Apache Hadoop.
• Databricks (2013, $3497 млн) — их платформа lakehouse используется для сервисов интеграции и аналитики. Эта компания ввела парадигму lakehouse и выступает лидером в этой категории.
• Dremio (2015, $405 млн) — платформа аналитики данных, позволяющая компаниям запрашивать данные с любого источника и ускоряющая аналитическую обработку с помощью инструментов бизнес-аналитики, машинного обучения и клиентов SQL.
• Onehouse (2021, $33 млн) — облачный управляемый сервис формата lakehouse, помогающий создавать озера данных, обрабатывать данные и владеть данными в опенсорсных форматах.
• Azure Data Lake Storage  — подобный S3 сервис объектного хранилища, обычно называемый ADLS Gen 2
• Azure HD Insight  — аналогичен вышеназванному сервису, но для экосистемы Hadoop.
• GCP Google BigLake  — позволяет создавать таблицы BigLake в Google Cloud Storage (GCS), Amazon S3 и ADLS Gen 2 в поддерживаемых открытых форматах файлов, таких как Parquet, ORC и Avro.
• GCP Google Cloud Dataproc  — аналогичен сервису выше, но для экосистемы Hadoop.
• AWS Lake Formation  — упрощает управление озером данных на базе S3 с интеграцией каталога метаданных Glue, механизма запросов Athena и так далее.
• AWS Amazon EMR  — аналогичен сервису выше, но для экосистемы Hadoop.

📌Продолжение

@machinelearning_ru

Читать полностью…

Машинное обучение RU

📊 История путешествий вместе с Plotly Express

В данном проекте Quick Success Data Science раскроем секрет визуализации путешествий. Для этого потребуется помощь Python, pandas и Plotly Express.

Библиотека Plotly Express
Прежде чем погрузиться в мир интерактивных карт, проверим наличие необходимых инструментов. На компьютере должны быть установлены: Python, популярная библиотека для обработки данных pandas и высокоэффективная библиотека для визуализации данных Plotly Express.

Plotly Express — это высокоуровневая версия графической библиотеки Plotly. Она абстрагирует большую часть трудоемкой работы по построению графиков и позволяет легко создавать привлекательные изображения посредством множества встроенных функциональностей.

Plotly Express требует Plotly в качестве зависимости. Ее можно установить с помощью conda или pip.

Установка с conda: conda install -c plotly plotly_express.

Установка с pip: pip install plotly.

Для установки pandas используем conda install pandas или pip install pandas.

Код запускается в JupyterLab, представлен и описан ячейками. Три ячейки выполняют следующие задачи:

Импорт библиотек и установка цвета для элементов карты, таких как страны и океаны.
Создание списка посещенных стран и преобразование его в датафрейм pandas.
Отображение датафрейма в виде картограммы посредством Plotly Express.
Импорт библиотек и установка цветов
Для удобства и гибкости при настройки карты присваиваем цвета четырем переменным. Одна предназначена для посещенных стран, другая — для непосещенных, третья — для границ стран и четвертая — для океанов.

import plotly.express as px
import pandas as pd

# Определение цвета для элементов карты:
visited_color = 'tan'
unvisited_color = 'white'
border_color = 'darkgray'
ocean_color = 'lightblue'

▪Статья
▪Plotly Express

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🍦Python Ice Cream: Лучший способ отладки кода

Прекратите использовать оператор print() для отладки своего кода. Существует лучший способ добиться того же самого.


IceCream – это библиотека Python, позволяющая сделать отладку легкой и читабельной при минимальном количестве кода.

Среди ее популярных возможностей – печать выражений, имен переменных, имен функций, номеров строк, имен файлов и многого другого.

◾️Установка IceCream

Установить библиотеку icecream можно с помощью программы pip.
pip install icecream

◾️Импорт IceCream

Импорт модуля ic в скрипт python.
from icecream import ic

◾️Начало работы с IceCream

Для этого достаточно заменить оператор print() на ic().
from icecream import ic

var_1 = 1
var_2 = 2

ic(var_1)
ic(var_2)

Вот что вы увидите на выходе.
ic| var_1: 1
ic| var_2: 2


Она не только выводит значение переменной, но и ее имя.

*️⃣Не только переменные, но и ic() можно использовать в функциях, классах и т.д.

Функции
def func(num):
return num * 2

ic(func(3))

Выход

ic| func(3): 6

‼️ Как здорово! Он печатает имя метода (func), переданный аргумент (3) и выходной результат (6).

▪Продолжение
▪Gitgub

@machinelearning_ru

Читать полностью…

Машинное обучение RU

👨‍🎓 CS224u: Natural Language Understanding

Стэнфордский университет только что открыл полный доступ к курсу CS224U. Это один из чрезвычайно популярных курсов по пониманию естественного языка для выпускников, который читает профессор Кристофер Поттс.

▪GitHub
▪Видео

@machinelearning_ru

Читать полностью…
Subscribe to a channel