-
Искусственный интеллект, нейросети, машинное обучение Правила общения: tprg.ru/jafv
Пока все мы крутимся в предновогодней суете, предлагаем немного замедлиться и сыграть в игру про развитие финтеха.
Какие правила: всё просто — кликать и ещё раз кликать!
А что узнаете в процессе:
— как эволюционировал финтех от каменного века;
— интересные факты про каждый платёжный инструмент;
— число кликов, которые ваши пальцы могут сделать за пару минут.
Дерзайте!
Реклама АО «Газпромбанк» erid: LjN8KB3jE
ИИ и ML в промышленности
На фоне огромного числа новостей и интереса к LLM мы могли забыть, что машинное обучение используется в таких специфических областях, как промышленность. Не так много материалов из промышленности доступно публично, но Юрий в своем авторском канале собирает по крупицам кейсы, публикует новые датасеты и делится опытом внедрения ИИ на производства, например:
— ИИ для диагностики АЭС.
— ML в моделировании физических процессов.
— Список материалов и кейсов применения ML и DS в промышленности.
— Диагностика электролизеров на производстве ядерного топлива и подходы к решению задачи поиска аномалий.
— Диагностика двигателей самолетов.
В общем, если устали от новостей о Сэме Альтмане и очередной ИИ-подобной модели, то самое время посмотреть, как же машинное обучение медленно захватывает промышленность.
Реклама Кацер Юрий Дмитриевич ИНН 591907625631 LjN8K8PKe
В Чили начали собирать яблоки при помощи дронов и компьютерного зрения.
👍 — если бы хотел, чтобы дроны научились копать картошку на даче твоей бабушки
#нейроновости #cv
Как говорится, дообучение моделей — свет, а неученье — тьма
Как вы уже догадались, сегодня мы обсудим тему дообучения, и данное видео поможет более глубоко погрузиться в этот вопрос.
В ролике автор демонстрирует процесс файн-тюнинга модели BART для решения задачи суммаризации текста. Главная цель — познакомить зрителей с популярными библиотеками в области обработки естественного языка (NLP) и показать, как это можно делать максимально эффективно, затрачивая минимум усилий при написании кода.
#позалипать #nlp #дообучение
Компания Google представила новую мультимодальную модель искусственного интеллекта под названием Gemini. Её отличительная черта — возможность обрабатывать информацию из разнообразных источников: кода, текстов, изображений, аудио и даже видео.
Gemini будет доступна в трёх версиях:
— Gemini Ultra: самая большая и мощная модель серии, которая по результатам тестирований превзошла даже GPT-4 (выйдет в начале 2024 года).
— Gemini Pro: более компактный вариант. Доступ к API откроется с 13 декабря, но вы уже сейчас можете опробовать модель в Google Bard (для этого измените язык в настройках гугла на английский и используя VPN с регионом США).
— Gemini Nano: оптимизирована для работы на мобильных устройствах.
Для дополнительной информации можете ознакомиться с техническим отчётом.
#нейроновости #llm #gemini
Orca 2: гигантский прорыв в области логики и рассуждения ИИ
Ранее мы уже говорили, что касатки далеко не глупые, но с того момента они стали ещё умнее. А если без шуток, то Microsoft расширила проект Orca, выпустив — Orca 2.
С общим числом параметров в 13 миллиардов она значительно превосходит модели аналогичного размера и демонстрирует производительность, сопоставимую или даже превосходящую модели в 5-10 раз большего размера.
В этом видео вы найдёте подробный анализ статьи о Orca 2 и тесты её возможностей на практике.
HuggingFace:
Orca-2-13b | Orca-2-7b
#llm #ml #orca
Генеративный искусственный интеллект для начинающих
Microsoft выпустила обучающий курс, состоящий из 12 уроков, охватывающих ключевые аспекты принципов генеративного искусственного интеллекта и разработки приложений. В процессе обучения вы создадите собственный стартап по генеративному искусственному интеллекту, получив понимание того, что требуется для реализации ваших идей.
Особенно привлекательно то, что курс имеет собственный сервер в Discord, где участники могут общаться, задавать вопросы и делиться впечатлениями.
#полезности #ml
ИИ помог безработному пройти 20 собеседований после 5000 заявок
Инженер-программист Джулиан Джозеф остался без работы, но нашёл нестандартный выход — он воспользовался сервисом LazyApply для автоматической рассылки резюме потенциальным работодателям. Всего одним кликом мыши он разослал 5000 резюме и, несмотря на низкий процент откликов, сумел пройти около 20 собеседований
Интересно, что в конечном итоге Джулиан получил предложения от таких корпораций, как Apple и даже от Белого дома. Однако благодаря не технологиям, а своему профессионализму и личным связям.
#новости
Секреты эффективного использования API ChatGPT
В этом видео автор подробно объясняет, как работать с API ChatGPT. Вы узнаете, как выполнить базовую настройку, включая подключение к API, аутентификацию и создание запроса к модели GPT для генерации ответа.
В дополнение к этому обсуждаются методы обхода ограничений по скорости с помощью библиотеки Tenacity и использованием многопоточности для более быстрых вызовов API.
#видео #chatgpt
Как аналитику обрабатывать данные из разных источников практически в реальном времени?
Узнайте на бесплатном открытом уроке «Как на Spark Structured Streaming работать с данными в HDFS и Kafka?» от OTUS.
На вебинаре:
— узнаем, какие источники данных могут быть обработаны стриминговым API Spark;
— рассмотрим конкретные примеры с данными на HDFS и Kafka;
— разберёмся, как осуществить подключение к таким источникам;
— научимся группировать данные.
Занятие пройдёт 4 декабря в 20:00 мск в рамках курса «Spark Developer». После урока вы сможете продолжить обучение на курсе. Оплата доступна в рассрочку.
Для бесплатного участия и получения записи регистрируйтесь прямо сейчас: https://tprg.ru/w2Gn
Реклама ООО «Отус онлайн-образование» ОГРН 1177746618576
Линейная регрессия и регуляризация
В данном видео подробно разбираются различные аспекты линейных моделей в машинном обучении. Объясняется суть линейной регрессии как одного из простейших, но эффективных методов.
Помимо этого рассматриваются особенности аналитического решения со среднеквадратичной ошибкой, теорема Гаусса-Маркова и использование методов регуляризации (L1 и L2) для повышения устойчивости моделей.
#лекция #ml
Диагноз от ИИ: медицина, которую мы заслужили
Недавно мы уже сообщали о планах российского здравоохранения на всевозможное внедрение искусственного интеллекта в больницы. И вот уже появились первые новости об использовании таких технологий во всех взрослых поликлиниках Москвы.
Как заявил заместитель мэра по вопросам социального развития, данная система помогает терапевтам и врачам общей практики ставить окончательный диагноз на основе информации из электронных медицинских карт пациентов за последние два года.
#новости
Погружаемся в мир рекуррентных нейронных сетей
Ключевым преимуществом RNN по сравнению с обычными нейросетями является их способность анализировать последовательные данные с учётом контекста. Это открывает широкие возможности для применения в таких сферах, как обработка естественного языка.
В прикреплённой ниже лекции вы узнаете о них чуть лучше. Ведущая хорошо объясняет принцип устройства рекуррентного слоя и рекуррентной нейронной сети, а также процесс обработки данных такими сетями (forward pass).
#лекция #rnn #nlp
А где же ваши ручки?
А точнее пальцы. Именно они понадобятся вам в финтех-кликере от Газпромбанка.
Предлагаем сделать перерыв от рабочих дел и узнать самых значимых предков современного финтеха, начиная с каменного века.
Кликайте сюда, чтобы кликать ещё больше.
Реклама АО «Газпромбанк» erid: LjN8KWyP1
Студент из Джорджии при помощи компьютерного зрения сделал бота, который наказывает его, если обнаружит отвлечение от заданий.
Когда бот видит, что пользователь отвлёкся на телефон, то включает устройства, ослепляющие ярким светом и воспроизводящие неприятные звуки.
А если ты тот самый заядлый прокрастинатор, то держи доступ к репозиторию.
#cv #python
Методы позиционного кодирования в Transformer
Методы позиционного кодирования — ключевой элемент Transformer для анализа длинных текстов. Как правило, в отличие от RNN, эта архитектура обрабатывает входные векторы одновременно, и без дополнительной информации о позиции каждого токена будет рассматривать последовательность подобно «мешку со словами».
В данной статье вы найдёте основные подходы, описанные в научных работах и применяемые в известных языковых моделях.
#nlp #transformer #deeplearning
MLOps: создание проектов производственного уровня
Freecodecamp выпустили курс по MLOps, который предоставит вам возможность прочувствовать полный цикл разработки проекта в этой области — от сбора данных до развёртывания с применением передовых инструментов.
В рамках обучения вы познакомитесь с фреймворком ZenML, MLflow и другими не менее важными инструментами.
Сам курс | Репозиторий курса
#нейровидео #mlops
Сравниваем LLM-модели, чтобы потом внедрить без мороки
Сравнили в статье GPT4, LLaMA, Yandex GPT2, GigaChat c позиции разработчика-внедренца: стоимость, число параметров, вероятность цена и проч.
#факты
10 ключевых алгоритмов машинного обучения
Эта riteshgupta.ai/10-most-common-machine-learning-algorithms-explained-2023-d7cfe41c2616">статья описывает 10 наиболее распространённых алгоритмов ML. Среди них: линейная и логистическая регрессия, метод опорных векторов, деревья решений, случайный лес, наивный байесовский классификатор, K-ближайших соседей, K-средних, алгоритмы понижения размерности и AdaBoost.
Для каждого алгоритма приведено краткое описание работы, основные преимущества и недостатки, а также типичные сферы применения и примеры конкретных задач ML.
#статья #алгоритмы #ml
Бездомный мститель: противостояние ИИ
Если вы когда-либо задумывались о том, кто окажется на страже нашей безопасности, когда эпоха скайнета настигнет нас, мы радушно представляем вам первого кандидата на роль главного героя в этом противостоянии.
#ржака
Ускорение обучения моделей PyTorch
Жизнь и без того очень скоротечна, поэтому давайте сэкономим время хотя бы на обучении и масштабировании наших моделей. А эта статья поможет вам с этим, в ней автор показывает, как с помощью библиотеки Fabric и техник вроде смешанной точности (mixed precision) можно масштабировать обучение нейросетей с минимальными изменениями кода.
Весь процесс происходит на примере простой модели Vision Transformer (ViT) для классификации изображений. Демонстрируется, что использование смешанной точности позволяет сократить время обучения в 3 раза. А если вы криптомиллионер и имеете ещё три графических процессора, то вкупе можно достичь и 10-кратного эффекта.
#статья #llm #pytorch
«Обработка естественного языка в действии»
Аврам Линкольн говорил: «Мой лучший друг — это человек, который даст мне книгу, что я не читал». А если вы, как и Линкольн, цените литературу и ищете полезный источник знаний по NLP, то вы нашли, что искали.
Книга содержит полный набор инструментов и методов для создания приложений в этой области: виртуальных помощников (чат-ботов), спам-фильтров, анализаторов тональности и многого другого.
Материал рассчитан на Python-разработчиков среднего и высокого уровня. Но даже экспертам в проектировании сложных систем она будет полезна.
#почитать #nlp #python
Трансформеры от А до Я: эволюция архитектуры и её достижения за последние годы
Автор данной статьи представил подробный обзор моделей, основанных на архитектуре Transformer. Этот обзор охватывает целых 90 работ, опубликованных за последние годы.
Все модели структурированы по областям применения: обработка текста, компьютерное зрение, генерация изображений, анализ и распознавание речи.
Для каждой модели приведены ключевые характеристики: год публикации, авторы, архитектура и количество параметров. Также дано краткое описание отличительных черт и примеры решаемых задач.
#статья #transformer
Автор видео, наблюдая за матчами чемпионата мира по футболу FIFA, заинтересовался технологией VAR (Video Assistant Referee), а именно модулем определения положения «вне игры». Выяснилось, что это делается с помощью распознавания поз по нескольким камерам.
В результате своих исследований автор создал аналогичную систему дома, воспользовавшись двумя камерами и моделью YOLOv7 для компьютерного зрения.
Репозиторий | Процесс создания
#cv #project
Zephyr 7B: новый взгляд на языковые модели
В этой статье рассказывается о Zephyr 7B, языковой модели, которая на данный момент является одной из самых интересных. Причины этого две:
1) Zephyr 7B превосходит модели аналогичного размера, а также несколько более крупных моделей как в диалоговых, так и в интеллектуальных тестах.
2) Авторы обучили Zephyr, применяя новый метод Direct Preference Optimization (DPO) — полностью автоматизированный подход, который сыграл ключевую роль в достижении выдающихся результатов.
На прикреплённой ниже картинке представлены результаты тестов MT-Bench и AlpacaEval.
Репозиторий GitHub
#статья #llm #zephyr
RecTools: универсальная библиотека для построения рекомендаций
Недавно наши соотечественники представили RecTools, открытую библиотеку для создания рекомендательных систем на языке программирования Python.
Эта библиотека объединяет в себе популярные модели, такие как Implicit ALS, SVD, LightFM, и другие. Вся сложная механика скрыта, а сами модели работают из коробки с помощью методов fit и recommend.
Дополнительно библиотека предоставляет единый формат входных данных. Это облегчает процесс тестирования и сравнения различных подходов к рекомендациям, избавляя вас от необходимости погружаться в детали каждой модели.
Статья о RecTools | Репозиторий
#статья #rectools
Практические советы по точной настройке LLM с использованием LoRA
Низкоранговая адаптация (LoRA) — эффективный метод для обучения больших языковых моделей, особенно ценный для тех, кто использует открытый исходный код.
В этой статье автор, проводивший сотни экспериментов с использованием LoRA делится ключевыми выводами и рекомендациями. Статья касается выбора оптимизатора, оптимального числа эпох обучения, настройки гиперпараметров ранга разложения и коэффициента масштабирования.
Кроме этого, статья даёт ответы на 10 распространённых вопросов по теме, включая важность выбора правильного набора данных, адаптацию моделей к конкретным предметным областям, стратегии предотвращения переобучения и многое другое.
#статья #llm #lora
OpenAI уволил Сэма Альтмана, но тот не растерялся
О своем увольнении Альтман узнал за несколько минут до его официального объявления. Совет директоров выразил благодарность Сэму за его вклад в развитие компании и назначил временным CEO OpenAI Эммета Шира, бывшего гендиректора Twitch.
Но Альтман не стал терять время и принял предложение о работе от Microsoft. Теперь он и его бывший коллега и сооснователь OpenAI, Грег Брокман, присоединяться к «новой передовой исследовательской группе в области искусственного интеллекта».
Кроме того, по заявлению Bloomberg, Сэм Альтман планировал создать компанию, специализирующуюся на чипах для искусственного интеллекта под названием Tigris и собирал средства для этого на Ближнем Востоке. Возможно, именно это и стало главной причиной увольнения CEO.
#кек #новости
Базовый курс по машинному обучению: ключевые понятия и примеры
В этой лекции подробно разбираются основы машинного обучения — скалярное произведение, метрики, линейные пространства. Рассматриваются простые, но эффективные алгоритмы: метод ближайших соседей (kNN) и наивный байесовский классификатор.
Лекция будет особенно полезна тем, кто только начинает изучать машинное обучение. Но и для старичков это хорошая возможность повторить базу.
#лекция #ml
