40160
Проклятые нейронные сети Для связи: @krasniy_doshik
Яндекс разработал и опубликовал библиотеку YaFSDP — собственное решение для ускорения обучения больших языковых моделей.
При обучении LLM возникает проблема сложности вычислений и коммуникаций GPU в кластере. Большие расчёты должны синхронизироваться на разных видеокартах, а для этого сами устройства должны обмениваться информацией, чтобы не считать два раза одно и то же. Если GPU делают это неэффективно, то они теряют до 30% недоутилизированной мощности.
Библиотека YaFSDP позволяет ускорить обучение больших языковых моделей до 25%. С её помощью можно тратить меньше времени на обучение и расходовать меньше ресурсов графических процессоров (GPU). Подробнее о том, как менялись подходы к оптимизации ресурсов можно прочитать в статье на «Хабре».
Музыкальная пауза!
https://suno.com/song/fab108d9-e11b-4084-9991-5dcfc304a0ba
Это — база по Machine Learning и Data Science, которая заменит вам сотни тг-каналов и сайтов. Фишка в том, что здесь ежедневно выходят:
➖ разборы свежих статей;
➖ полезные материалы, упрощающие обучение и работу;
➖ моментальные новости, позволяющие следить за индустрией;
➖ и конечно же авторские мемы.
Теперь вся жизнь ML-специалиста собрана в одном месте: Data Secrets
#реклама
Если вам нечем заняться этим вечером, то можно чуть себя развлечь рисуя айсберги и наблюдая как они себя будут вести в воде.
Ссылка: https://joshdata.me/iceberger.html
Яндекс запустил Lite-версию генеративной текстовой модели YandexGPT 3
YandexGPT 3 Lite — это облегчённая версия генеративной модели Яндекса нового поколения. Особенность таких Lite-моделей заключается в более высокой скорости ответов, что позволяет решать простые задачи бизнеса буквально в режиме реального времени. Поэтому нейросеть хорошо показывает себя в сценариях, где важны время реакции и оптимизация затрат: например, бот-консультант на сайте, система подсказок для операторов колл-центров или суммаризатор результатов деловых встреч.
✈️ По данным замеров, YandexGPT 3 Lite стала ещё быстрее и точнее — и она уже доступна в режиме release candidate на облачной платформе Yandex Cloud. То есть клиенты могут протестировать её и плавно внедрить в свои продукты через API уже в ближайшее время.
Одним из ключевых этапов обучения модели стало выравнивание (Alignment), включающее в том числе стадию обучения с подкреплением (RL). В статье на Хабре - детали реализации Alignment и RL.
Чтобы оставаться востребованным в сфере DL, нужно не только обучать модели, но и перенимать лучшие практики у разработчиков. Это действительно важно, т.к. инженеры по глубокому обучению тоже пишут код, правят бизнес-логику, снижают bus factor и стараются избегать багов.
На помощь приходят инструменты, которые облегчают жизнь. И есть пять инструментов, которые просто необходимы каждому DS-инженеру.
В этот четверг, 20 июня, будет проходить годная лекция «5 инструментов эффективного DS-инженера», на которую я рекомендую зарегистрироваться.
На лекции будут обсуждать:
1️⃣ как сделать эксперименты воспроизводимыми
- версионирование данных, кода и моделей
- управление зависимостями
2️⃣ инструменты, которые повысят качество кода
- линтеры и тесты
- Continuous Integration
3️⃣ как упростить свою работу
- lightning
- трекинг и визуализация в CML
А также организаторы представят программу курса “Computer Vision Rocket” и подарят скидки на обучение!🔥
🙋♂️Спикеры лекции:
- Егор Осинкин — Lead CV Engineer в EPAM, спикер курса CV Rocket
- Тимур, Фатыхов — ex Lead CV Engineer в Koronapay, основатель DeepSchool
Регистрируйтесь по ссылке!
После регистрации вы получите список полезных библиотек и сервисов для CV-инженеров!🎁
Также в телеграм-боте будет краткий анализ CV-вакансий, показывающий, как менялись зарплаты и как они зависят от требований и от грейдов.
Полез сегодня на сервер внести небольшие правки боту нейромедузы. Заодно решил глянуть статистику (пишется в файл на сервере), которую не смотрел около двух лет и охуел. Думал, ботом почти никто не пользуется, а там ~ 5-7к запросов в сутки, а за все время существования проекта — 8.2 миллиона запросов. Приятно удивлен, лол.
Ну и интересный факт: сколько бы я ни пробовал прикрутить современные языковые модельки типа ChatGPT или Gemini к этому боту, ничего нормального из этого не выходит — заголовки получаются либо слишком унылыми, либо слишком правдоподобными. Именно в этом проекте альтернативы файтюну ruGPT-3 нет и не предвидится.
Кроссовер, который мы заслужили.
Как выглядел бы фильм "Властелин колец" во вселенной Cyberpunk 2077.
Это – база с вакансиями и стажировками в ML и Data Science, которая заменит вам сотни тг-каналов и сайтов. Фишка в том, что здесь напрямую от работодаталей появляются вакансии, которых нет на обычных работных порталах.
Теперь можно легко найти ML-работу в России и за рубежом с высокой зарплатой и интересными задачами: Карьера
#реклама
Смотрите какая интересная штука:
1)Генерируем коробку в Dalle3 с надписью "Клубника"
2)Подаём эту картинку на вход LUMA и просим открыть эту коробку.
3)Наблюдаем в коробке клубнику!!!!
С котами тоже работает!
Оплачиваемая стажировка и трудоустройство без опыта — ну ничего себе 😳
Все возможно с Добровольным квалификационным экзаменом! Это бесплатный проект Правительства Москвы, где ты можешь показать свои знания по специальности, запомниться потенциальным работодателям и получить оффер в престижные компании Москвы.
Тебя ждет всего три шага:
1️⃣ Пройди тест
После регистрации на сайте ДКЭ тебе будет доступно 70 профессий по 7 направлениям. Выбирай тест по своей специальности и проверь уровень своих знаний!
2️⃣ Реши кейс
Если ты успешно сдал тест, тебя пригласят на следующий этап, где ты с другими участниками в команде будешь решать реальный кейс одного из работодателей.
3️⃣ Стань победителем
Окажись в числе лучших по общему количеству баллов за оба этапа и получи шанс попасть на оплачиваемую стажировку с дальнейшим трудоустройством.
Готов проявить себя? Регистрируйся и начинай проходить тест — https://dke.moscow
Реклама. АНО "РАЗВИТИЕ ЧЕЛОВЕЧЕСКОГО КАПИТАЛА", АНО "РЧК". ИНН 7710364647. erid: LjN8KJBGM
Тем временем ученые пытаются "натянуть" кожу сделанную из живых клеток человека на роботов. Это может дать роботам возможность лучше выражать эмоции и общаться.
Живая ткань представляет собой культивированную смесь клеток кожи человека, выращенных в коллагеновом каркасе и помещенных поверх полимерной основы, напечатанной на 3D-принтере.
Пока что больше похоже на оживший чайный гриб. Не хотелось бы общаться с этим.
Опус и последний Соннет - единственные языковые модели общего названия, которые могут писать стихи. GPT-4o не вытягивает, а они - могут. Пример запроса: Пушкин про Warhammer 40k.
В просторах звёздных, где царит война,
Где вечный мрак и пламя битв пылает,
Стоит Империум, как твердая стена,
И Император верных охраняет.
Десант в доспехах, грозен и могуч,
На кораблях несётся сквозь пространство.
В боях, где смерть разит, как черный луч,
Врагам несут лишь гибель и мытарство.
В соборах Марса, где гудят машины,
Свершается под гул молитв таи́нство,
Где люди-киборги среди руин старинных
Куют оружие, даруя нам единство.
Повсюду Хаос сеет смерть и тлен,
Рой ксеносов клубится в бездне чёрной,
Но человечество, восстав с колен,
Бросает вызов участи позорной.
О, сколько павших душ, несчётных жертв войны!
Но долг велит идти вперёд без страха.
И в этом мраке беспросветной тьмы
Лишь вера движет нас из праха.
Пусть дух Владыки нас ведёт на бой,
Пусть враг падёт пред нашею рукой!
Империум стоит, незыблем строй,
И мы верны присяге вековой.
Местами криво, не с первой попытки, но с этим точно можно работать.
Наткнулся на пример нейродубляжа фильма Операция "Ы".
Просто послушайте, как оно годно сохраняет оригинальные голоса.
Кажется, мясные актеры дубляжа тоже скоро отправятся на рынок торговать луком.
Антропик показал свою новую модель Claude 3.5 Sonnet которая бьет даже GPT4o —можете бесплатно поиграться с ней тут claude.ai
А я сразу полез в API со своим промптом разработчика и попросил ее воспроизвести сцену из фильма Хакеры – помните, когда данные там летали сквозь 3D-башни данных? И это первая модель, что справилась с этой задачей - код.
Ну что, OpenAI больше не лидер получается – Anthropic made 3.5 great again
Если вы любите пытаться сломать защиту в разных LLM с помощью промпт инъекций – то у меня вам полезная ссылка, датасет из почти ~1500 промпт инъекций собранных с Reddit, Discord, Twitter и тп.
https://github.com/verazuo/jailbreak_llms
Внутри промпты и для старых инъекций, вроде DAN, до более новых с base64, leet code и тп.
Следующий шаг, это натренировать на этом модель, которая будет ломать другие модели автоматом ☕️
Найден самый подходящий логотип для Stable Diffusion 3
Читать полностью…
🔥 ЭТО ПРОСТО НЕВЕРОЯТНО!
Посмотрите, что творят нейросети!
Подборка 10 лучших нейрогенераций на все случаи жизни!
Невероятное качество, каждый опрошенный художник уверен, что потеряет работу после такого!