-
Искусственный интеллект, нейросети, машинное обучение Правила общения: tprg.ru/jafv
Как научить Transformer обрабатывать длинные тексты
Если вы давно ищете методы обработки длинных входных последовательностей с использованием архитектуры Transformer, то эта статья предоставит вам необходимую информацию. В ней рассматриваются подходы к ускорению self-attention, такие как — приближенное вычисление внимания, иерархическая обработка последовательности и внедрение рекуррентности.
Статья содержит обзор таких моделей, как Transformer-XL, Sparse Transformer, Reformer, Longformer, а также другие. Внимательно анализируются их особенности, при этом особое внимание уделяется FlashAttention — одному из наиболее эффективных методов оптимизации работы моделей Transformer.
#статья #nlp
А вы знаете, что у нас сейчас проходит розыгрыш подписок Telegram Premium?
Чтобы принять участие, достаточно подписаться на 4 канала, которые помогут быть в тренде и получать лучшее из мира IT:
— тот самый Типичный программист: @tproger
— полезные сохранёнки на все случаи жизни: @prog_stuff
— нужные инструменты для ваших проектов: @prog_tools
— новости из мира технологий: @your_tech
UNINEXT: инспектор гаджет в мире компьютерного зрения
Разделение изображения на отдельные группы одна из наиболее важных и сложных проблем компьютерного зрения. UNINEXT решает это, объединяя 10 задач распознавания объектов в одну модель.
Она гибко воспринимает разные объекты, используя подсказки — названия, описания и аннотации. Это позволяет обучать модель на огромных данных и извлекать универсальные признаки объектов.
UNINEXT показала отличные результаты в 20 сложных тестах. А ещё заняла 2 место на конференции по компьютерному зрению CVPR 2023 в категории «Проблемы отслеживания и сегментации нескольких объектов».
Читать: https://arxiv.org/pdf/2303.06674.pdf
Репозиторий: https://github.com/MasterBin-IIAU/UNINEXT
#статья #cv
Битва невероятных ИТ-знаний уже в самом разгаре!
В течение трёх недель отвечайте на вопросы, копите баллы и получайте за них гарантированные подарки: мини-курсы, год доступа к платформе с английским языком, гайд по работе с ChatGPT и билеты на участие в главном розыгрыше с призовым фондом 3,6 миллионов рублей.
Разыгрывать будут 30 мест на программу «Нейрохищник» — это двухмесячный интенсив по работе с нейросетями.
Регистрируйтесь и проверяйте свою эрудицию: https://tprg.ru/45Ax
Реклама ООО «ГикБреинс», ИНН 7726381870, erid: LjN8KTCtz
Компания Del Complex анонсировала создание плавучего дата-центра на корабле с 10 000 процессоров Nvidia
Платформа будет в открытом море вне юрисдикции стран. Цель — разработка ИИ без ограничений.
Представители компании заявляют, что каждый корабль получит статус независимого государства. А на борту будут жить сотрудники и охрана.
Как вы считаете, получится ли у Del Complex создать плавучую страну для разработчиков ИИ? Или это просто рекламный ход?
#новости #bluesea
Tree of Thoughts: революционный подход в использовании больших языковых моделей
Языковые модели активно используются для решения разнообразных задач. Но зачастую они выдают достаточно линейные выводы. Это неэффективно в задачах, требующих сложного стратегического планирования.
Чтобы решить эту проблему, исследователи из DeepMind разработали подход Tree of Thoughts. Он позволяет моделям рассматривать разные варианты решения, оценивать последствия каждого шага и выбирать оптимальную стратегию.
Эксперименты продемонстрировали значительные успехи в задачах с элементами планирования и поиска. Например, в логической игре «24» модель GPT-4 с новым подходом решила 74% задач вместо прежних 4%.
Репозиторий: https://github.com/princeton-nlp/tree-of-thought-llm
#статья #llm
Компания OpenAI выпустила обновлённую версию модели Whisper large для распознавания и перевода речи
Модель обучена на 5 млн часов аудиоданных, что позволило значительно улучшить качество распознавания многих языков.
Уровень ошибок также снизился, в этом обзоре можно увидеть, что для всех языков наблюдается снижение ошибок на 10-20% по сравнению с предыдущей версией.
#openai #whisper
Видео результатов исследования недавнего проекта Google DeepMind под названием «Футбольные навыки для двуногого робота с помощью глубокого обучения с подкреплением».
Репозиторий сего чуда.
#deepmind #reinforcement_learning
Простой и универсальный шаблон для задач машинного обучения
В видео показан универсальный шаблон предобработки данных в Scikit-Learn, применимый для широкого круга задач ML.
Шаблон состоит из двух этапов: на первом происходит предобработка признаков, на втором обучается модель, а именно логистическая регрессия.
Автор справедливо отмечает ограничения подхода. Тем не менее, при грамотной адаптации он может стать хорошей стартовой точкой.
#туториал #scikit_learn #ml
Декомпозиция — ключ к логическому мышлению ИИ
Наши любимые индусы предложили интересный подход для языковых моделей — DaSLaM. Он повышает способности больших языковых моделей к сложному логическому рассуждению.
Суть подхода в том, что небольшая предобученная модель (всего 13 млрд параметров) используется для декомпозиции сложных задач на простые подзадачи. Эти подзадачи уже легко решаются при помощи мощной языковой модели (175 млрд параметров).
Эксперименты продемонстрировали, что метод позволяет достичь конкурентных результатов по сравнению с гораздо более крупными моделями вроде GPT-4.
При этом подход DaSLaM универсален и не зависит от возможностей конкретной большой модели.
Репозиторий GitHub: https://github.com/LCS2-IIITD/DaSLaM
#статья #llm
Скайнет ближе, чем мы думаем: LLM формируют представление о пространстве и времени
Исследователи из Массачусетского технологического института проанализировали пространственные и временные представления в больших языковых моделях семейства Llama-2.
Они обнаружили, что модели формируют линейные представления пространства и времени на разных масштабах. Эти представления устойчивы к изменениям в формулировках запросов и едины для разных типов сущностей.
Помимо этого учёные выложили в открытый доступ код и данные, использованные в работе, чтобы любой желающий мог убедиться в этом лично.
#статья
Автор курсов по Python и Pandas получил вечный бан за рекламу торговли экзотическими животными — решение вынес бот
Ревен М. Лернер создает курсы по Python, выпускает книги с задачами по Python и Pandas. Python и Pandas действительно легко спутать в английском языке с видами редких животных. Хотя названия технологий основаны не на схожести с животными: Python — отсылка к британской комик-группе «Монти Пайтон», а Pandas — сокращение от «Python data analysis».
Лернер попытался разместить рекламу курсов Python и Pandas. Но система сочла её рекламой продажи экзотических животных и заблокировала аккаунт рекламодателя.
Аккаунт не помогло вернуть даже вмешательство человека. Решение о бане вынес бот, но обжаловать его можно было в течение 180 дней. Лернер не знал о бане и просто не успел обжаловать решение. Он экспериментировал с рекламой пару лет назад и просто забыл про свой кабинет.
Если тоже рекламируете курсы про IT на английском, держите несколько идей для рекламных объявлений: «LaTeX для новичков», «убить Python», «получить доступ к Cocaine».
#кек #ии #python
Пикачу уже не тот
Ютубер «demonflyingfox» сделал пародию на Покемонов в стиле боевика 90-х. Для этого он использовал возможности нейросети D–ID.
В этот Хэллоуин звёзды предсказывают вам… 🎃
🃏В колоде для эмэльщиков нашлось пять карт, одна из которых досталась вам. Что дальше?
1. Откройте карусель с фото.
2. Найдите вашу карту.
3. Узнайте предсказание.
✨ Это не всё! Переходите на сайт Дзена, чтобы узнать больше о вакансиях ML-инженеров, и откликайтесь на подходящую: https://vk.cc/cs1q8u
Реклама, ООО «Дзен.Платформа», erid: LjN8KDWnz
Один ИИ хорошо, а много ещё лучше. Туториал по AutoGen
Вы наверняка слышали про Autogen от microsoft. Но если вкратце AutoGen — это фреймворк для создания многоагентных диалоговых систем на основе больших языковых моделей (LLM).
Этот обзор предоставит немного больше информации об этой удивительной платформе. В видео показано, как легко настроить среду с несколькими агентами в Google Colab.
#туториал #autogen
Вы готовы дети? Да, OpenAI!
На недавнем мероприятии OpenAI Dev Day 2023 были представлены удивительные обновления. Одним из ключевых моментов стал выпуск модели GPT-4 Turbo с расширенным контекстом до 128 тысяч токенов. Базы данных были обновлены до апреля 2023 года, что существенно снизило вероятность ошибок в генерируемом контенте.
Отдельно стоит выделить запуск GPTs — адаптивных версий ChatGPT, которые можно настроить под свои потребности. Будь то обучение математике, создание дизайна стикеров или изучение правил настольных игр. И всё это можно сделать по текстовому описанию, не прибегая к использованию кода.
Вдобавок к этому в конце ноября стартует онлайн-магазин GPTs, где каждый, успешно прошедший модерацию, сможет поделиться своими творениями. Если ваша версия GPT завоюет сердца пользователей, вы сможете монетизировать свои усилия.
Узнать подробности можно в записи трансляции или почитать в переводе.
#новости #chatgpt #openai
LazyPredict: ультралаконичный синтаксис ML-моделей
Инструмент позволяет запускать 30 (!) видов моделей беспрецедентно коротким способом:from lazypredict.Supervised import LazyClassifierfrom sklearn.datasets import load_breast_cancerfrom sklearn.model_selection import train_test_splitdata = load_breast_cancer()X = data.datay= data.targetX_train, X_test, y_train, y_test = train_test_split(X, y,test_size=.5,random_state =42)clf = AdaBoostClassifier(verbose=0,ignore_warnings=True, custom_metric=None)models,predictions = clf.fit(X_train, X_test, y_train, y_test)models
Репозиторий на GitHub
А знаете ли вы инструменты, упрощающие подготовку данных? Поделитесь в комментариях.
#библиотека
10 лет исследований НЛП, объяснённых в 50 концепциях
Это видео — настоящая сокровищница знаний для всех, кто интересуется нейронными сетями и обработкой естественного языка.
В доступной форме рассказываются ключевые концепции NLP: от базовых идей типа токенизации и векторных представлений слов до революционных архитектур вроде RNN, Seq2Seq, Transformer и таких моделей, как BERT, GPT, XLNet.
Помимо этого, вы узнаете о проблемах, с которыми сталкивался автор и как современные модели их преодолевают.
#видео #nlp
3D Gaussian Splatting — новый метод визуализации трёхмерных сцен на основе анализа фотографий с разных ракурсов. Пространство моделируется как агрегация гауссовых функций с оптимизированными параметрами.
По результатам тестирования, Gaussian Splatting превосходит аналогичные методы, обеспечивая высококачественный рендеринг при разрешении 1080p в реальном времени. Он достигает уровня визуализации, сопоставимого с лучшими подходами, такими как Mip-NeRF, при этом требуя гораздо меньше времени обучения (всего несколько минут вместо часов).
Репозиторий GitHub.
#статья #cv
Эндрю Ын: возможности в области искусственного интеллекта
Эндрю — один из ведущих экспертов в области искусственного интеллекта, основатель проектов DeepLearningAI, Landing AI и Coursera. В этом видео представлен перевод недавней презентации, где он подробно рассказывает о своём ви́дении технологий ИИ в ближайшем будущем и их влиянии на нашу жизнь.
Ключевые темы выступления:
— Влияние больших языковых моделей на разработку ПО.
— Создание стартапов в сфере ИИ — советы эксперта.
— Значение ИИ в решении этических вопросов.
— Перспективы расширения обучения с учителем и возможности для бизнеса.
#видео #ml
Last call. IT-соревнования от Россельхозбанка AgroCode Hack и AgroCode Data Science Cup
На хакатоне AgroCode Hack три технологические задачи. Нужно выбрать одну и разработать:
— MVP мобильного приложения механизатора сельхозтехники;
— систему краткосрочного прогнозирования заболеваний винограда;
— программу кластеризации названий профессий сельского хозяйства.
Подать заявку можно:
— как готовая команда специалистов;
— индивидуально, с последующим объединением с другими участниками.
Общий призовой фонд соревнований — 600 тысяч рублей.
Зарегистрируйтесь до 10 ноября.
Хотите участвовать без команды?
Регистрируйтесь на чемпионат AgroCode Data Science Cup, где предстоит создать модель, предсказывающую продуктивность коров. Принять участие может любой желающий, но приз получат только совершеннолетние учащиеся российских вузов.
Призовой фонд — 450 000 рублей.
Подайте заявку на участие до 16 ноября.
Реклама. Рекламодатель АО "Россельхозбанк", ИНН 7725114488, ERID LjN8KDU8Z
9 полезных инструментов для аннотирования изображений в 2023 году
Аннотирование изображений по-прежнему остаётся важным этапом при создании проектов компьютерного зрения.
В этой статье рассматриваются 9 популярных инструментов: Encord Annotate, Scale, CVAT, Labelbox, Playment, Appen, Dataloop, V7 Labs и Hive.
Каждый инструмент оценивается по ключевым критериям: функциональности, поддерживаемым типам данных, интеграции с ML, безопасности, управлению проектами и т.д.
#статья #cv
NorthPole: сапфир в мире процессоров для ИИ
Корпорация IBM выпустила революционный процессор NorthPole для ИИ-задач. Разработка чипа заняла 8 лет. Он имеет 22 млрд транзисторов и 256 ядер.
Уникальная архитектура предусматривает выделенную память для каждого ядра, что даёт колоссальный прирост скорости передачи данных. В ходе тестирования он продемонстрировал энергоэффективность в 25 раз выше, чем у графического чипа NVIDIA V100 Tensor Core.
NorthPole нацелен на обработку изображений, прежде всего цифрового машинного зрения. Речь идёт об автопилотировании, роботах-диагностах и т. п.
#новости #cv
ML для ленивых: ИИ ушёл на самообучение
Можно ли учить искусственный интеллект без утомительной разметки данных? Ответ — да. В машинном обучении существуют методы, позволяющие модели самостоятельно работать с неразмеченными данными и находить в них закономерности.
При обучении с учителем мы показываем модели: это стул, а это — стол или шкаф. То есть датасет размеченный, информация о данных известна, мы точно знаем, какой результат хотим от них получить.
При обучении без учителя мы просто запускаем модель в большую комнату, и она сама разбирается с объектами: классифицирует, ищет аномалии и ассоциации. Однако такой метод применим не во всех случаях. В статье вы узнаете, в каких именно.
#статья #ml
Kornia: компьютерное зрение на новом уровне
Kornia — это мощная библиотека компьютерного зрения на Python, которая позволяет легко экспериментировать с обработкой изображений, а по своему функционалу в некотором превосходит даже OpenCV.
Основные преимущества перед аналогами:
— работа на GPU;
— дифференцируемость;
— интеграция с PyTorch;
— обрабатка изображения батчами.
В этой статье рассматриваются практические примеры загрузки изображений, применения различных фильтров и преобразований с использованием Kornia.
Репозиторий: https://github.com/kornia/kornia
#статья #kornia #cv
Как рекомендательные системы теряют контекст
Сталкивались ли вы с ситуациями когда ваши рекомендации абсолютно не релевантны? В статье автор рассказывает, как в ходе работы над пет-проектом ему пришлось отказаться от привычных метрик типа MAP и Recall. Оказалось, что их максимизация приводит к тому, что в рекомендациях доминируют самые популярные фильмы.
Так, например, в подборке после «Аладдина» шёл боевик, русский военный фильм и комедийный сериал про отношения. Причина — популярность этих жанров по датасету. Чтобы решить проблему, автор отказался от прямой оптимизации метрик и нашёл баланс между высоким Recall и низким пересечением рекомендаций с популярным контентом.
Кейс показывает, что иногда нестандартные решения оказываются эффективнее традиционных. Поэтому важно постоянно развивать свои навыки и расширять кругозор. И в этом поможет опытный наставник. Найти его можно на карьерном маркетплейсе hh.ru, где сотни профессионалов уже готовы делиться опытом.
Реклама, ООО «Хэдхантер», erid: LjN8K7gc7
Как IT-спецам и маркетологам быстро и качественно создавать контент?
Узнайте на бесплатном открытом уроке «Карманный журналист: как нейросети генерируют контент и почему это важно» от OTUS и Алексея Добрусина.
На эфире вы узнаете как:
— нейросети генерируют контент и какие для этого используются;
— с помощью нейросети сделать презентацию и написать статью;
— правильно работать с контентом для социальных сетей;
— редактировать то, что генерирует алгоритм.
Вебинар будет полезен маркетологам, дизайнерам, копирайтерам и IT-менеджерам.
Занятие пройдёт 8 ноября в 20:00 мск в рамках курса «Нейросети для IT менеджеров».
Для бесплатного участия и получения записи регистрируйтесь прямо сейчас: https://otus.pw/V3AFg/
Реклама ООО «Отус онлайн-образование» ОГРН 1177746618576 LjN8KUBfd
Новый ИИ от Google: как RealFill расширяет границы фото не меняя пространства
В своём новом исследовании Google представил модель RealFill. Она восстанавливает недостающие части фото, используя существующие данные, а не просто генерируя правдоподобную информацию, как это делает Adobe Firefly.
Для работы нужно лишь несколько дополнительных снимков той же сцены. После чего RealFill воссоздаст утраченные фрагменты максимально близко к реальности.
Посмотреть:
https://youtu.be/bD_HyxHMHPo?si=jSEeAjaLXOvDX4le
Почитать:
https://arxiv.org/pdf/2309.16668.pdf
#статья #realfill
Астрологи объявили неделю ML-инженера 🔮
🎃 В канун Дня Всех Святых Старшие Арканы развернули инфраструктуру на ваших серверах — выясните, что они предсказывают!
Какая опасность ждёт ваши модели — переобучение или мод коллапс?
Сделайте скриншот экрана — узнайте, какая карта определит вашу судьбу в профессии и какой амулет поможет избежать бед 🧿
Скрин, скрин!
ИИ в российских больницах: что нас ждёт?
На недавней конференции хакатон (соревнование для разработчиков) в Сочи одним из спикеров выступил Антон Киселёв, заместитель директора по научно‑технологическому развитию Минздрава России.
По его словам, в ближайшие годы нас ждёт настоящий взрыв ИИ-решений — от сервисов для предварительной оценки состояния пациентов до создания российских датасетов на основе клинических данных.
А вы как считаете, сможем ли мы наконец разобрать, что написано в рецепте?
#новости #хакатон