Machinelearning

11 июня 2023 20:11

🏔️ Large Language Model for Geoscience

We introduce K2 (7B), an open-source language model trained by firstly further pretraining LLaMA on collected and cleaned geoscience literature, including geoscience open-access papers and Wikipedia pages, and secondly fine-tuning with knowledge-intensive instruction tuning data (GeoSignal).

Применение базовой языковой модели для понимания и использования знаний в области геонаук

git clone https://github.com/davendw49/k2.git
cd k2
conda env create -f k2.yml
conda activate k2

🖥 Github: https://github.com/davendw49/k2

⭐️ Demo: https://huggingface.co/daven3/k2_fp_delta

📕 Paper: https://arxiv.org/abs/2306.05064v1

🔗 Dataset: https://huggingface.co/datasets/daven3/geosignal

ai_machinelearning_big_data

Machinelearning

11 июня 2023 12:01

📹 Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models

It is a multimodal model that merges a video-adapted visual encoder with a LLM.

Video-ChatGPT - это новая модель, способная генерировать осмысленные разговоры о видео.

🖥 Github: https://github.com/mbzuai-oryx/video-chatgpt

⭐️ Demo: https://www.ival-mbzuai.com/video-chatgpt

📕 Paper: https://arxiv.org/abs/2306.05424v1

🔗 Dataset: https://paperswithcode.com/dataset/activitynet-qa

ai_machinelearning_big_data

Machinelearning

08 июня 2023 12:01

📹 Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

LLaMA is working on empowering large language models with video and audio understanding capability.

Video-LLaMA - мультимодальная система, которая расширяет возможности больших языковых моделей (LLM) для понимания как визуального, так и аудио контента в видео.

🖥 Github: https://github.com/damo-nlp-sg/video-llama

📕 Paper: https://arxiv.org/abs/2306.02858

⏩ Demo: https://huggingface.co/spaces/DAMO-NLP-SG/Video-LLaMA

📌 Model: https://modelscope.cn/studios/damo/video-llama/summary

ai_machinelearning_big_data

Machinelearning

07 июня 2023 10:11

Segment Anything 3D

SAM-3D: A toolbox transfers 2D SAM segments into 3D scene-level point clouds.

Новый фреймворк, который может предсказывать маски объектов в трехмерных сценах, используя модель "Segment-Anything" (SAM) в RGB изображениях без дополнительного обучения или настройки.

🖥 Github: https://github.com/pointcept/segmentanything3d

⏩ Paper: https://arxiv.org/abs/2306.03908v1

📌 Dataset: https://paperswithcode.com/dataset/scannet

ai_machinelearning_big_data

Machinelearning

06 июня 2023 10:18

🦍 Gorilla: Large Language Model Connected with Massive APIs

Gorilla a finetuned LLaMA-based model that surpasses the performance of GPT-4 on writing API calls.

Gorilla — это модель, обученная на основе LLaMA, для вызова 1600+ сторонних API. На вход подается запрос на естественном языке, модель находит семантически и синтаксически правильное API для настройки модели мо. Производительность настроенной модели превосходит GPT-4 на трех масштабных наборах данных.

🖥 Github: https://github.com/ShishirPatil/gorilla

📕 Paper: https://arxiv.org/abs/2305.15334

🔗 Demo: https://drive.google.com/file/d/1E0k5mG1mTiaz0kukyK1PdeohJipTFh6j/view?usp=share_link

👉 Project: https://shishirpatil.github.io/gorilla/

⭐️ Colab: https://colab.research.google.com/drive/1DEBPsccVLF_aUnmD0FwPeHFrtdC0QIUP?usp=sharing

ai_machinelearning_big_data

Machinelearning

05 июня 2023 17:01

Есть опыт в машинном обучении, но хотите расти дальше?

Валерий Бабушкин, Vice President, Data Science в Blockchainꓸcom, вместе с karpov.courses создали продвинутый курс по ML, на котором вы научитесь решать нестандартные и востребованные бизнесом задачи.

Здесь вы познакомитесь с best practices индустрии и освоите все этапы работы ML-инженера: от сбора и разметки данных до деплоя собственных приложений.

К концу обучения вы создадите пять ML-сервисов, решающих реальные прикладные задачи, и научитесь проектировать всю необходимую для их работы инфраструктуру. 

Будет непросто, но это того стоит! Новый поток стартует уже сегодня, а по промокоду AIBIGDATA27 вы получите скидку 5%.

[Зарегистрироваться]

Machinelearning

04 июня 2023 12:01

Wuerstchen: Efficient Pretraining of Text-to-Image Models

Novel technique for text-to-image synthesis that unites competitive performance with unprecedented cost-effectiveness and ease of training on constrained hardwar

Würstchen - это новый фреймворк для обучения моделей преобразования текста в изображения путем перемещения затратного вычислительно этапа текстового преобразования в сильно сжатое латентное пространство

🖥 Github: https://github.com/dome272/wuerstchen

⏩ Paper: https://arxiv.org/abs/2306.00637v1

📌 Colab: https://colab.research.google.com/drive/1UTP9Xn2UIrVbAXyL-SKEvyLmgVWdw-Vy

ai_machinelearning_big_data

Machinelearning

03 июня 2023 16:58

Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles

Hiera is a hierarchical vision transformer that is fast, powerful, and, above all, simple. It outperforms the state-of-the-art across a wide array of image and video tasks while being much faster.

Hiera - это быстрый, мощный и, прежде всего, простой метод иерархической перегруппировки информации.

Он превосходит современные методы в широком спектре задач, связанных с изображениями и видео.

pip install hiera-transformer

🖥 Github: https://github.com/stevengrove/gpt4tools

⏩ Paper: https://arxiv.org/abs/2306.00989v1

📌 Dataset: https://paperswithcode.com/dataset/inaturalist

ai_machinelearning_big_data

Machinelearning

02 июня 2023 13:36

🔥 10 Free Machine Learning Courses from Top Universities

Топ бесплатных курсов машинного обучения от лучших университетов мира

1. Introduction to Machine Learning - UC Berkeley

2. Introduction to Machine Learning - Carnegie Mellon University

3. Machine Learning - Stanford University

4. Machine Learning & Data Mining - Caltech

5. Learning from Data - Caltech

6. Machine Learning for Intelligent Systems - Cornell University

7. Large Scale Machine Learning - University of Toronto

8. user-yd6im1cq5k/about">Machine Learning with Large Datasets - Carnegie Mellon University

9. Foundations of Machine Learning and Statistical Inference - Caltech

10. Algorithmic Aspects of Machine Learning - MIT

ai_machinelearning_big_data

Machinelearning

01 июня 2023 14:43

Introducing BERTopic Integration with the Hugging Face Hub

BERTopic provides a powerful tool for users to uncover significant topics within text collections, thereby gaining valuable insights.

BERTopic - это современная библиотека Python, которая упрощает процесс моделирования тем, используя различные трансформеры и c-TF-IDF для создания кластеров на основе плотности, позволяющих легко интерпретировать темы, сохраняя при этом важные слова в описаниях тем.

pip install bertopic

🤗 Hugging face: https://huggingface.co/blog/bertopic

🖥 Github: https://github.com/MaartenGr/BERTopic

⏩ Colab: https://colab.research.google.com/#fileId=https://huggingface.co/spaces/davanstrien/blog_notebooks/blob/main/BERTopic_hub_starter.ipynb

📌 Docs: https://maartengr.github.io/BERTopic/getting_started/quickstart/quickstart.html

ai_machinelearning_big_data

Machinelearning

31 мая 2023 18:31

🔥 GPT4Tools: Teaching LLM to Use Tools via Self-instruction

GPT4Tools is a centralized system that can control multiple visual foundation models. It is based on Vicuna (LLaMA), and 71K self-built instruction data.

GPT4Tools - это интеллектуальная система, которая может автоматически принимать решения, управлять и использовать различные визуальные модели, позволяя пользователю взаимодействовать с изображениями во время диалога с Chatgpt.

🖥 Github: https://github.com/stevengrove/gpt4tools

⏩ Paper: https://arxiv.org/abs/2305.18752v1

📌 Project: https://gpt4tools.github.io/

ai_machinelearning_big_data

Machinelearning

30 мая 2023 17:01

🦙 BigTrans 🚀

BigTrans which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languag

Предварительные эксперименты по многоязычному переводу показывают, что BigTrans сравним с ChatGPT и Google Translate на многих языках и даже превосходит ChatGPT в 8 языковых парах.

🖥 Github: https://github.com/ZNLP/BigTrans/tree/main

⏩ Paper: https://arxiv.org/abs/2305.18098v1

📌 Dataset: https://paperswithcode.com/dataset/flores-200

ai_machinelearning_big_data

Machinelearning

30 мая 2023 12:01

🖥 A Practical Toolkit for Multilingual Question and Answer Generation

Multilingual/multidomain question generation datasets, models, and python library for question generation.

lmqg - это библиотека python для генерации вопросов и ответов (QAG) с помощью языковых моделей (LM).

🖥 Github: https://github.com/asahi417/lm-question-generation

⏩ Paper: https://arxiv.org/abs/2305.17416v1

📌 Dataset: https://paperswithcode.com/dataset/squad

ai_machinelearning_big_data

Machinelearning

29 мая 2023 11:58

Large Language Models as Tool Makers

In this work, we take an initial step towards removing this dependency by proposing a closed-loop framework, referred to as LLMs A s Tool Makers (LATM), where LLMs create their own reusable tools for problem-solving.

Фреймворк для работы с большими языковыми моделями для создатния инструментов и скриптов на Python.

🖥 Github: https://github.com/ctlllll/llm-toolmaker

⏩ Paper: https://arxiv.org/pdf/2305.17126v1.pdf

📌 Dataset: https://paperswithcode.com/dataset/big-bench

ai_machinelearning_big_data

Machinelearning

28 мая 2023 08:25

Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

The performance of Text2Image is largely dependent on text prompts. In Prompt-Free Diffusion, no prompt is needed, just a reference images.

Prompt-Free Diffusion - это модель диффузии, которая принимает визуальные данные для генерации изображений без ввода текстовых промптов.

🖥 Github: https://github.com/shi-labs/prompt-free-diffusion

🔎 Demo: https://huggingface.co/spaces/shi-labs/Prompt-Free-Diffusion

⏩ Paper: https://arxiv.org/abs/2305.16223v1

📌 Dataset: https://paperswithcode.com/dataset/ffhq

ai_machinelearning_big_data

Machinelearning

11 июня 2023 18:00

Топ-210 технологических решений представили на фестивале «Лидеры цифровой трансформации»

Мероприятие стало финалом самого масштабного одноименного хакатона. ИТ-специалисты со всего мира вышли в офлайн, чтобы представить свои разработки для города и бизнеса. 210 команд ждут итоги и уже завтра жюри назовут имена победителей.

Центральной локацией фестиваля стал брендированный корнер Tada․team с интерактивными задачами и лаунж-зоной. Участники могут выиграть мерч, пройдя квест, сканируя qr-код и запуская приложение чат-бота «История технологий».

Сегодня на сцене выступили научно-популярные спикеры, которые рассказали участникам о последних трендах в ИТ, о квантовых информационных технологиях, эволюции мозга, инновациях в персональных ДНК-тестах и синтетическом дизайне как инструменте для стартапов. Завершился день концертом от 4NN4 (экс- Cream Soda) и группы «Винтаж».

Machinelearning

09 июня 2023 12:00

🐼 PandaLM: ReProducible and Automated Language Model Assessment

Judge large language model, named PandaLM, which is trained to distinguish the superior model given several LLMs. PandaLM's focus extends beyond just the objective correctness of responses, which is the main focus of traditional evaluation datasets.

PandaLM - обеспечивает автоматизированные сравнения между различными большими языковыми моделями (LLM). Задавая одинаковый контекст, PandaLM может сравнивать ответы различных LLM и предоставлять причину решения вместе с эталонным ответом.

🖥 Github: https://github.com/weopenml/pandalm

📕 Paper: https://arxiv.org/abs/2306.05087v1

🔗 Dataset: https://github.com/tatsu-lab/stanford_alpaca#data-release

ai_machinelearning_big_data

Machinelearning

08 июня 2023 10:00

⚠️Пройдите тест на углубленные знания в сфере Machine Learning. Professional

🔓 Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на продвинутом курсе «Machine Learning. Professional» от OTUS и его партнера — Сбера.

⏰ Время прохождения теста ограничено 30 минут

👉 ПРОЙТИ ТЕСТ: https://otus.pw/vMDX/

Присоединяйтесь 15 июня в 18:00 мск к открытому уроку. На вебинаре «Content-based рекомендательные системы» вы:

— Узнаете общие принципы построения рекомендательных систем

— Познакомитесь с методами контентной фильтрации

— Построите свою первую рекомендательную систему для онлайн-магазина.

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. 2RanynG9KRz

Machinelearning

07 июня 2023 09:11

⚡️ Стартовал прием заявок на Технологический конкурс НТИ Up Great «Экстренный поиск»!

Участникам предстоит преодолеть комплексный технологический барьер, предусматривающий разработку технологий и технических решений, объединенных в единую систему, позволяющую эффективно использовать техническое зрение при поиске пропавших людей с применением беспилотных воздушных судов (БВС).

На первом этапе (Сателлит №1) участникам необходимо разработать программное решение для поиска объектов (людей) на изображениях, полученных с БВС. 

Призовой фонд Сателлита №1 составляет 5 млн руб. 
Лучшим командам, удовлетворяющим требованиям технического регламента, организаторами будут предоставлены БВС для участия во втором этапе (Сателлит №2) и финале конкурса.

Призерами и победителями могут стать только налоговые резиденты РФ.

📲 Заявки на Сателлит № 1 принимаются до 12 июня 2023 г. по ссылке.

Конкурс организуется совместно МФТИ, Фондом НТИ и добровольческим поисково-спасательным отрядом «ЛизаАлерт». Общий призовой фонд составляет 135 млн руб.

Machinelearning

05 июня 2023 19:59

🔭 GRES: Generalized Referring Expression Segmentation

New benchmark (GRES), which extends the classic RES to allow expressions to refer to an arbitrary number of target objects.

Новый метод и датасет расширяющий классический RES, который принимает изображение и тектовое описание в качестве входных данных для сегментации и обнаружения множественных объектов.

🖥 Github: https://github.com/henghuiding/ReLA

⏩ Paper: https://arxiv.org/abs/2306.00968

🔎 Project: https://henghuiding.github.io/GRES/

📌 New dataset: https://github.com/henghuiding/gRefCOCO

ai_machinelearning_big_data

Machinelearning

05 июня 2023 14:30

⚡ Generative AI learning path

This learning path guides you through a curated collection of content on Generative AI products and technologies.

10 бесплатных курсов от Googel, которые помогут вам погрузиться в технологии генеративного ИИ: от основ больших языковых моделей до создания и развертывания решений генеративного ИИ в Google Cloud.

▪Introduction to Generative AI

▪Introduction to Large Language Models

▪Introduction to Responsible AI

▪Introduction to Image Generation

▪Encoder-Decoder Architecture

▪Attention Mechanism

▪Transformer Models and BERT Model

▪Create Image Captioning Models

▪Introduction to Generative AI Studio

▪Generative AI Explorer - Vertex AI

https://www.cloudskillsboost.google/paths/118

ai_machinelearning_big_data

Machinelearning

04 июня 2023 10:01

🔥 Подборка полезных папок с каналами для датасаентисов

Папки, где вы найдете каналы с разбором лучших практик написания кода на Python и Golang до каналов по машинному обучению и нейросетям (папки работают на последних версиях тг).

/channel/addlist/2Ls-snqEeytkMDgy - Машинное обучение

/channel/addlist/8vDUwYRGujRmZjFi - Python

/channel/addlist/MUtJEeJSxeY2YTFi - Golang

Machinelearning

03 июня 2023 14:58

Positive Hack Days, новые железки и покупки

Новое видео на YouTube-канале Yandex Cloud 😎

Вместе с гостями из «ЛитРес», EORA и архитектором Yandex Cloud Евгением Парфёновым обсуждаем много интересного в регулярном выпуске Monthly Cloud News Maу:

— форум по кибербезопасности Positive Hack Days;
— сделку Microsoft и Activision Blizzard;
— сканер уязвимости контейнерных образов;
— историю DNS и лазейки в WAF;
— повседневные новости Yandex DataSphere и Yandex SpeechKit.

Хотите узнать больше? Смотрите видео и делитесь им с друзьями 😉

Machinelearning

02 июня 2023 11:35

В последнее время только и разговоров, что о нейросетях. Кто-то боится, что AI заберёт у них работу, а кто-то с его помощью повышают свою эффективность. Каждый, кто использует нейронки, уже немного приблизился к новой профессии. Мы ещё не знаем, как она будет называться. Но никто не мешает проявить фантазию: лид продуктового направления по ML ВКонтакте Иван Самсонов дал ей кодовое название — погонщик нейросетей.

Заглядывайте в статью и узнайте, как поймать волну перемен: вас ждёт большая подборка инструментов и небольшой туториал, как уже сейчас можно использовать их в работе.

📌Хабр: https://habr.com/ru/companies/vk/articles/738776/

ai_machinelearning_big_data

Machinelearning

01 июня 2023 12:43

Платформа Sber Process Mining заменит иностранную процессную аналитику для внутреннего аудита X5 Group. Процесс перехода уже состоялся и специалисты X5 продолжат автоматизировать проверки соответствия бизнес-процессов установленным нормативам и тестирование контрольных процедур на российском программном обеспечении.

Плюсы от перехода на платформу Sber Process Mining для X5 Group:
✅Отечественное ПО — снижение зависимости от западных вендоров
✅Сохранение возможности регулярного тестирования контрольных процедур на больших объемах данных
✅Быстрый поиск отклонений и нарушений, в том числе недоступных для выявления традиционными средствами
✅Встроенные инструменты машинного обучения
✅ Может применяться для оптимизации любых процессов с цифровыми следами

«Мы гордимся нашим сотрудничеством с X5 Group. Это отличный пример синергии, которая позволила нам совместно решить амбициозную задачу по вендерозамещению решения от лидера мирового рынка. Глубокая экспертиза коллег и качественная обратная связь позволили нам вывести платформу Sber Process Mining на уровень лучших мировых практик», — заявил вице-президент Сбера Тарас Скворцов.

Подробности:
https://platformv.sber.ru/products/sber-process-mining

Machinelearning

31 мая 2023 16:31

Хотите работать ML-инженером в Тинькофф, Яндекс, ВКонтакте, Ozon или другой крупной IT-компании?

Освоить всю необходимую базу для получения оффера можно за 7 месяцев на курсе Start ML.

Вы на практике узнаете как ML-алгоритмы работают под капотом, научитесь обучать
модели и нейронные сети, а также оценивать их влияние на бизнес и продукт с помощью статистики и A/B-тестов — всё под руководством опытных специалистов из Райффайзен и Яндекс.

Курс даст всё необходимое, чтобы уверенно пройти собеседование на позицию Junior ML-специалиста и уже с первых дней быстро расти и приносить компании пользу. С поиском вакансий и трудоустройством обязательно поможем.

Новый поток стартует уже 8 июня, а по промокоду MLBIGDATA21 для вас действует скидка 5%. Присоединяйтесь!

[Зарегистрироваться]

Machinelearning

30 мая 2023 15:01

Нейронки уже безвозвратно изменили айти. В этом году только ленивый не написал, что вставьте название профессии сюда скоро заменит ChatGPT.

Как реально ИИ отразится на работе программиста и как в системе, где нейросеть за секунды может сгенерировать простой код, выживать джунам, пишут в телеграм-канале Skolkovo LIVE.

А еще они объясняют базу для стартаперов и рассказывают про нестыдные российские проекты, подпишитесь.

Machinelearning

30 мая 2023 10:01

Стань лучшим на онлайн-хакатоне PROFBUH HACKATHON | JUNE 🏆

Открыта регистрация на онлайн-хакатон от компании Профбух и Акселератора Возможностей!

Кейс:
🔹Автоматическое создание текстовых публикаций на основе записанного видео.

Даты хакатона:
23 – 25 июня 2023 года
Дедлайн регистрации:
19 июня 23:59
Регистрация и подробности - https://clck.ru/34WoFU

Кому подходит хакатон?
🔸Студентам, разработчикам, дизайнерам, продакт-менеджерам и аналитикам.

Что нужно будет сделать?
🔸Разработать web-систему для автоматического создания уникальных статей на основе видео из YouTube.

Что тебя ждёт?
🔹2 дня в онлайн-формате
🔹встречи с экспертами, мастер-классы и питчи
🔹крутой командный проект и интересный кейс в резюме
🔹призовой фонд – 300.000₽

Регистрируйся, решай кейс и выигрывай призы!🏆

Machinelearning

29 мая 2023 09:58

Создай цифровой продукт вместе с государством и бизнесом и улучши качество жизни в Арктике

🏆 Участвуй в технологическом конкурсе «АРКТЕК ДАТА 2023» и создай цифровой продукт в области устойчивого развития за 2 месяца. Направления: экология, туризм, урбанизация. Подать заявку можно с готовым продуктом или создать с нуля.

У тебя будут:
✅ Реальные данные по Арктической зоне
✅ Встречи с экспертами
✅ Трекеры
✅ Онлайн-участие и оффлайн-финал

Принять участие могут студенты, молодые профессионалы и отраслевые эксперты, Data Science лаборатории, студии разработки IT-продуктов и стартапы. Состав команд от 3 до 5 человек.

💸 Призовой фонд 3 000 000 рублей.

Конкурс организован при поддержке Минвостокразвития России, МИД России, ФАНУ «Востокгосплан», госкорпорации «Росатом», компании МегаФон и геомаркетингового сервиса «Геоинтеллект».

❗️Регистрация открыта до 23:59 8 июня. https://clck.ru/34YPZN

Machinelearning

25 мая 2023 12:01

🦖 Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation

Dynosaur, a large-scale instruction tuning dataset obtained automatically with significantly lower generation costs.

Новый фреймворк для широкого спектра NLP задач для instruction tuning и генерации датсетов, при низких высчислительных затратах и высоком качетсве данных.

🖥 Github: https://github.com/wadeyin9712/dynosaur

🔎 Project: https://dynosaur-it.github.io/

⏩ Paper: https://arxiv.org/abs/2305.14327

📌 Dataset: https://paperswithcode.com/dataset/ffhq

ai_machinelearning_big_data