Machinelearning

15 марта 2024 17:20

🖥 pyvene: A Library for Understanding and Improving PyTorch Models via Interventions

Стэнфордская библиотека NLP для понимания и улучшения моделей на основе PyTorch.

Воздействие на внутренние состояния модели являются важной операцией во многих областях работы с ИИ, включая редактирование модели, управление, ее надежность и интерпретируемость.

Для облегчения таких задач исследователи Стэнфорда создали библиотеку Python с открытым исходным кодом, которая поддерживает сложные схемы взаимодействия с моделями в интуитивно понятном формате.

pip install pyvene

Например, вы можете использовать любую модель hf:

import torch
import pyvene as pv
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "meta-llama/Llama-2-7b-hf" # your HF model name.
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.bfloat16, device_map="cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name)

def zeroout_intervention_fn(b, s): 
    b[:,3] = 0. # 3rd position
    return b

pv_model = pv.IntervenableModel({
    "component": "model.layers[15].mlp.output", # string access
    "intervention": zeroout_intervention_fn}, model=model)

# run the intervened forward pass
orig_outputs, intervened_outputs = pv_model(
    tokenizer("The capital of Spain is", return_tensors="pt").to('cuda'),
    output_original_output=True
)
print(intervened_outputs.logits - orig_outputs.logits)

tensor([[[ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.
         [ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.0000],
         [ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.0000],
         [ 0.4375,  1.0625,  0.3750,  ..., -0.1562,  0.4844,  0.2969],
         [ 0.0938,  0.1250,  0.1875,  ...,  0.2031,  0.0625,  0.2188],
         [ 0.0000, -0.0625, -0.0312,  ...,  0.0000,  0.0000, -0.0156]]],
       device='cuda:0')

Machinelearning

15 марта 2024 11:01

❓Возможно, совсем скоро мы увидим GPT-4.5 Turbo от OpenAI❓

⏩ Согласно новым данным из «утечки» от OpenAI, одним из существенных обновлений в GPT-4.5 Turbo является окно длины контекста в 256k токенов, что вдвое превышает текущие 128k GPT-4 Turbo. Этот шаг, похоже, является ответом OpenAI на конкурентов, запускающих модели со все более большими контекстными окнами, включая Google Gemini. Вероятно, что новая модель GPT изменит ситуацию для OpenAI или даже продвинет её впереди чат-бота Google.

OpenAI пока официально не раскрыла информацию об утечке, поэтому статус GPT-4.5 Turbo и дата выпуска в июне 2024 года окутаны тайной.

⏩Немного предыстории
12 марта 2024 года исследователи обнаружили в кэше Bing, что OpenAI готовится представить нейросеть GPT-4.5 Turbo. Но ссылка на эту страницу на сайте OpenAI выдаёт ошибку 404. Также из поисковой выдачи пропало упоминание о новом чат-боте.

⏩Ожидается, что с помощью чат‑бота GPT-4.5 OpenAI стремится устранить некоторые ограничения и проблемы, с которыми столкнулись его предшественники. Это включает в себя уменьшение предвзятости в сгенерированном тексте, улучшение понимания моделью неоднозначных запросов и значительное улучшение её способности решать задачи, специфичные для определённой предметной области.

@ai_machinelearning_big_data

Machinelearning

14 марта 2024 18:02

🎮 Google Deepmind представили SIMA

Это первый универсальный агент с искусственным интеллектом, который выполняет инструкции на естественном языке в широком спектре 3D-виртуальных сред и видеоигр.

Агент может выполнять задачи, аналогичные человеческим, и превосходит агентов, обученного всего в одной среде.

Его цель заключается не в достижении высоких результатов в играх, а скорее в умении взаимодействовать с окружающим миром.

На данный момент SIMA обучается на девяти различных видеоиграх, включая No Man's Sky от студии Hello Games и Teardown от Tuxedo Labs. Кроме того, на скриншотах можно увидеть такие игры, как Valheim, Hydroneer, Wobbly Life, Satisfactory и Goat Simulator 3.

Нейросеть обучается широкому спектру навыков, начиная от простой навигации и использования меню до добычи ресурсов, полета на космическом корабле и создания предметов.

Ученые также создали четыре исследовательские среды на движке Unity, где агентам предстоит строить скульптуры из строительных блоков, это поможет проверить их способность манипулировать объектами и интуитивное понимание физического мира.

Результаты SIMA демонстрируют потенциал для разработки новой волны универсальных ИИ-агентов, управляемых командами на естественном языке.

▪ Post
▪ Technical report

@ai_machinelearning_big_data

Machinelearning

14 марта 2024 13:03

⭐️ Awesome Quant: Финансовая математика

Лучшие пакеты r, библиотеки python, пакеты julia, инструменты прогнозирования, программное обеспечение для работы с биржами, финансовые инструменты, r, python, julia, rust, java и многое другое.

Большой кураторский список безумно полезных библиотек, пакетов и ресурсов для Квантов.

https://wilsonfreitas.github.io/awesome-quant/

@ai_machinelearning_big_data

Machinelearning

14 марта 2024 09:01

🔥 SHMT — гетерогенная многопоточность для ускорения компьютеров

⏩Инженеры из Калифорнийского университета тестируют способ, который может значительно ускорить работу компьютерных систем без необходимости улучшать оборудование. Проект поможет также снизить энергопотребление.

Метод исследования основан на процессе одновременной и гетерогенной многопоточности (SHMT). Он задействует различные типы процессоров, содержащиеся в современных компьютерах: графический, центральный и тензорный (для работы технологий ИИ).

Концепция SHMT используется, в частности, во время планирования — процесса, в котором система выбирает порядок и расположение задач, решая, какие операции должны выполняться на процессорах каждого типа.

Тестовая установка включала ЦП ARM Cortex-A57, GPU Nvidia и тензорный процессор Google Edge. Благодаря одновременной и гетерогенной многопоточности выполнение расчёта примера кода прошло в 1,95 раза быстрее, а потребление энергии сократилось на 51%.

⏩«Укоренившиеся модели программирования ориентированы на использование только наиболее эффективных процессоров для каждой области кода, недостаточно используя вычислительную мощность гетерогенных компьютеров», — отметили исследователи в своей статье.

Учёные признали, что им предстоит преодолеть серьёзные проблемы, связанные с разделением вычислительных задач, которые будут выполняться разными типами процессоров, а затем объединением всего обратно без какого-либо замедления. По их оценкам, технологию SHMT не получится повсеместно внедрить в ближайшем будущем.

📎 Читать подробнее

@ai_machinelearning_big_data

Machinelearning

13 марта 2024 20:03

🚀 Pix2Gif: Motion-Guided Diffusion for GIF Generation

Microsoft опубликовала модель преобразования изображений в GIF под названием Pix2Gif!

Они утверждают, что модель лучше всех понимает и генерирует движения, хотя мы не говорим об уровне Sora, это, безусловно, шаг вперед по сравнению с результатами замедленной съемки, к которым мы привыкли.

▪Github
▪Page
▪Paper
▪Demo

@ai_machinelearning_big_data

Machinelearning

13 марта 2024 16:37

🔥 Convolutional Reconstruction Model

Модель для сверхбыстрого преобразования изображений в 3D, с помощью модели сверточной реконструкции.

▪Github
▪Page
▪Paper

@ai_machinelearning_big_data

Machinelearning

13 марта 2024 11:02

🔥 Код отладчика Transformer Debugger для работы с моделями от OpenAI опубликован на GitHub

OpenAI опубликовала код отладчика Transformer Debugger, предназначенного для работы с моделями машинного обучения. С его помощью проще понимать, почему языковые модели выводят определённые токены в ответ на запрос.

Transformer Debugger, как и любой отладчик для моделей машинного обучения поддерживает функции пошагового вывода, перехвата активностей и их трассировки. Разработчики компании отмечают, что утилита помогает понять, почему языковая модель уделяет внимание определённым токенами и почему выводит их в качестве ответа на запрос.

Выпуск включает в себя следующие компоненты:
⏩Neuron viewer — React-приложение для вывода информации об отдельных компонентах модели, включая фокусы внимания и нейроны MLP.
⏩Activation server — сервер, который взаимодействует с моделью и извлекает данные для вывода. Он же нужен для работы с общедоступными контейнерами Azure.
⏩Models — простая библиотека выводов для моделей GPT-2.
⏩Примеры наборов данных для нейронов MLP и фокусов внимания.

🖥 Код Transformer Debugger написан на Python и доступен на GitHub. Вместе с этим разработчики OpenAI поделились подробными инструкциями и документацией.

@ai_machinelearning_big_data

Machinelearning

12 марта 2024 11:03

🌟 Код чат-бота Grok от выложат в open-source

Илон Маск пообещал, что ИИ-стартап xAI откроет исходный код чат-бота Grok на этой неделе.

Маск сделал это заявление через несколько суток после того, как подал в суд на OpenAI и пожаловался, что поддерживаемый Microsoft стартап отклонился от своих корней и не выложил в открытом доступе исходный код ChatGPT.

🔘Немного предыстории: в июле прошлого года Маск объявил о начале работы xAI. Главная цель проекта — «понять истинную природу Вселенной». Одним из продуктов xAI как раз является Grok.
4 ноября 2023 года xAI запустила своего чат-бота Grok с генеративным искусственным интеллектом для ограниченной аудитории. В компании планировали сделать языковую модель xAI доступной для всех платных подписчиков соцсети X.

@ai_machinelearning_big_data

Machinelearning

11 марта 2024 13:26

🔥 Вероятно, ожидается прорыв в AI — придуман новый способ умножения матриц

В основе AI лежит матричное исчисление, которое только что пережило самый большой подъем более чем за десятилетие. Почти одновременно вышли две статьи, в которых математики объяснили, как повысить эффективность перемножения матриц, с помощью чего AI сможет быстрее обучаться и быстрее решать задачи.

Суть в том, что до относительно недавнего времени человечество не представляло иного способа умножения матриц, чем выполнением n³ операций (n — размерность матриц). В идеальном же для математиков мире умножение матриц хотелось совершать за n² операций. И к началу 70-х годов процесс поиска соответствующего алгоритма пошёл. Нетрудно догадаться, что к этому побудило распространение вычислительных машин.

Заявленный в новых статьях прорыв, совершённый в 2023 году, произошёл в результате обнаружения скрытых потерь в «лазерном методе» Арнольда Шёнхаге. В ноябре 2023 года Ран Дуань и Ренфэй Чжоу из Университета Цинхуа представили метод, который устранил неэффективность лазерного метода, установив новую верхнюю границу числа необходимых операций примерно на уровне n^2.371866. Это самый существенный прогресс в этой области с 2010 года.
Но всего 2 месяца спустя Вирджиния Василевски, Инчжан Сюй и Цзысюань Сюй из МТИ опубликовали вторую статью, в которой подробно описали ещё одну оптимизацию, которая снизила верхнюю границу количества операций до n^2.371552.

Безусловно, точное влияние на скорость работы моделей AI зависит от конкретной архитектуры системы ИИ и от того, насколько сильно задачи конкретной модели зависят от умножения матриц. Поэтому повышение эффективности алгоритмов будут сочетать с оптимизацией оборудования, чтобы полностью реализовать потенциальный прирост скорости.
И по мере того, как улучшения в алгоритмических методах будут накапливаться с течением времени, искусственный интеллект будет становиться быстрее — это факт.

📎 Читать подробнее

@ai_machinelearning_big_data

Machinelearning

09 марта 2024 10:29

🏎 TripoSR: Fast 3D Object Reconstruction from a Single Image

Современная модель с открытым исходным кодом для быстрой 3D-реконструкции по одному изображению.

Модель создает высококачественные 3D-модели менее чем за 0,5 секунды на графическом процессоре NVIDIA A100.

▪page: https://tripo3d.ai
▪paper: https://drive.google.com/file/d/1LWlZPT2aASi9jHiGVhDSr4YCTANoFW5t/view
▪code: https://github.com/VAST-AI-Research/TripoSR

ai_machinelearning_big_data

Machinelearning

08 марта 2024 15:02

🚀 PeRFlow: Piecewise Rectified Flow as Universal Plug-and-Play Accelerator

Фреймворк для ускорения предварительно обученных моделей диффузии, которая значительно повышает их производительность.

▪Github
▪Project

ai_machinelearning_big_data

Machinelearning

07 марта 2024 10:58

🔅OpenVINO — инструменты с открытым исходным кодом для развёртывания ИИ-систем

Вчера Intel выпустила набор инструментов OpenVINO 2024.0 для нейронных сетей с использованием встроенной поддержки анализа производительности (бенчмарк), анализа пропускной способности и задержки для различных моделей, который позволяет проводить оптимизации и развёртывания ИИ-систем на различном оборудовании. Исходный код проекта выложен на GitHub под лицензией Apache License 2.0.

Проект OpenVINO предназначен для тестирования работы ИИ не только на процессорах x86_64, но также на ARM и других архитектурах, интегрированной и дискретной графике Intel и многом другом оборудовании. Проект поддерживает с помощью плагина возможность использования нейронной обработки блока NPU на новых процессорах Intel Core Ultra Meteor Lake.

В OpenVINO 2024.0 добавлены новые функции для работы с генеративным ИИ (GenAI) включая работу из коробки с моделями энкодера предложений TensorFlow, поддержкой Mixture of Experts (MoE) и проверенными моделями Mistral. Проект получил поддержку API JavaScript для беспрепятственного доступа к API OpenVINO.

OpenVINO 2024.0 также обеспечивает улучшенное качество сжатия веса INT4 для LLM (БЯМ — больших языковых моделей), повышенную производительность LLM на процессорах Intel, упрощённую оптимизацию и преобразование моделей Hugging Face, а также получил другие улучшения интеграции с Hugging Face.

Разработчики пояснили, что OpenVINO 2024.0 также обеспечивает лучшую производительность на процессорах ARM и получил различные улучшения в коде своей платформы.

В OpenVINO 2024.0 прекращена поддержка предыдущего решения Gaussian and Neural Accelerator (Intel GNA) от Intel. Проект теперь фокусируется на NPU в процессорах Meteor Lake и новее. Плагин Intel NPU для OpenVINO теперь распространяется как часть основного пакета OpenVINO на PyPi.

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

06 марта 2024 12:31

🚀 Сегодня в 11:00 стартовала первая технологическая конференция VK JT. Более 13 тысяч участников примут участие как офлайн, так и онлайн.

🔑 В программе 4 ключевых трека: Machine Intelligence, Архитектура & Highload, Продукт UX&UI и Безопасность. На мероприятии выступят более 50 экспертов из VK с 40+ докладами и экспертными дискуссиями.

🔧 Представят 17 продуктов и ИТ-платформ от VK, а также расскажут подкапотные истории про сервисы, охватывающие 95% аудитории рунета.

🌐 Площадка адаптирована для людей с разной инвалидностью, а все доклады переведены на русский жестовый язык. #VKJT2023 🌟

Machinelearning

05 марта 2024 15:02

🔥 SOTA: Stable Diffusion 3:вышла! 🔥

Stable Diffusion 3 - это новая технология преобразования текста в изображение SOTA.

Новая архитектура Multimodal Diffusion Transformer (MM Bit) использует отдельные наборы весов для изображений и языка, улучшая возможности понимания текста / правописания.

✅ Новая масштабируемая архитектура для синтеза текста в изображение
✅ Двунаправленное смешивание потоков токенов текста и изображений
✅ Самые крупные модели превосходят открытые модели SOTA, такие как SDXL

▪Blog: https://stability.ai/news/stable-diffusion-3-research-paper
▪ Paper: https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf

ai_machinelearning_big_data

Machinelearning

15 марта 2024 15:38

🔥 Российский AI GigaChat занял 4-е место среди самых передовых моделей искусственного интеллекта, обогнав GPT-3.5 и гугловский Gemini по результатам бенчмарка AI Benchmarking Guide 2024. Также GigaChat показал лучшие результаты по запросам на русском языке.

Исследование проводилось методом side-by-side. Для определения потенциала модели эксперты использовали комбинацию двух факторов: оценку производительности модели на ее «родном» языке и наивысшую оценку реакции модели на любом другом языке. Кроме того проводились слепые тесты по задачам: перевод, творческое написание текстов, генерация кода и анализ данных.

@ai_machinelearning_big_data

Machinelearning

15 марта 2024 09:01

Регистрируйтесь на конкурсы на площадке GitVerse и получайте возможность выиграть 500 тыс. руб!

Объявляем о начале регистрации на конкурсы от GitVerse в рамках олимпиады «IT-Планета 2024».
Вас ждут два трека, увлекательные задания и призовой фонд в размере 500 тыс. рублей *!

До 31 марта регистрируйтесь в конкурсе и проходите отборочное тестирование на платформе для разработчиков GitVerse от СберТеха. Можно выбрать из двух направлений:

👉 «Прикладное программирование if...else»

Это конкурс для разработчиков в возрасте от 18 до 35 лет, которые создают прикладное ПО.
Требования к участникам — знание C/C++/Java/Python, понимание алгоритмов и умение применять их на практике.

Вас ждут прикладные задачи, связанные с разработкой серверной части. А в случае успешного прохождения второго этапа — очный финал!

Подробные условия конкурсов и регистрация.


👉 «Разработка игр – GameDev»

Это соревнование для разработчиков игр в возрасте от 18 до 35 лет. Участвовать можно самостоятельно или вместе с командой до 4 человек.

Требования — отличное понимание игровых механик, знание всех аспектов движков и умение выбирать правильное решение для прототипирования игры.

Каждый конкурс состоит из трех этапов: отборочное тестирование, основной этап — отправка проектов или решение прикладных задач, — и очный финал.

Подробные условия конкурсов и регистрация.

Следите за новостями и удачи в конкурсах!

*За вычетом НДФЛ

Machinelearning

14 марта 2024 16:02

🔥 Генеративные нейросети Яндекса попали в первый международный рейтинг Global Generative AI Landscape 2024 от AIPort

В списке самых перспективных ИИ-разработок оказались текстовая YandexGPT и мультимодальная YandexART 🎉

Рейтинг охватил все ключевые категории генеративных нейросетей: текстовые, картиночные, видео, аудио, мультимодальные, чат-боты, игровые и другие. Его опубликовало сообщество дата-сайентистов, ML-экспертов и энтузиастов в сфере ИИ.

Помимо этого, Яндекс стал одной из 11 компаний со всего мира, разрабатывающих более одного типа GenAI-моделей наряду со Open AI, Microsoft и Google.

@ai_machinelearning_big_data

Machinelearning

14 марта 2024 12:03

HOSTKEY – международный хостинг-провайдер предлагает в аренду выделенные и виртуальные GPU-серверы с почасовой или месячной оплатой. 

🔥Доступны конфигурации с игровыми картами RTX4090 и профессиональными RTX A500 24Gb и Tesla H100 / A100 80Gb.  Дата-центры в России, Нидерландах и Исландии.  Скидки до 30%. Стоимость от 10 руб./ч или 7 500 руб. в месяц.

HOSTKEY предлагает гранты для перспективных проектов в области Data Science и для победителей конкурсов по исследованию данных на платформе Kaggle и других площадках.

Спрос на серверы высокий, количество серверов ограничено.

🔥Закажите сервер сегодня или оставьте заявку на предзаказ.

erid: LjN8KCoro

Machinelearning

14 марта 2024 08:01

⚡20 марта в 20.00 мск приглашаем на открытый урок курса “Reinforcement Learning” в OTUS, на котором построим торгового агента с использованием фреймворка FinRL.

На эфире мы:

- посмотрим на один из свободно распространяемых фреймворков для моделирования финансового рынка;
- узнаем, как реализовать модель и построить торгового агента в несколько строк кода с использованием FinRL;
- ответим на все возникающие вопросы.

👉Регистрация https://otus.pw/PkRr/?erid=LjN8JvKy8

💡Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику и решение финансовых задач, таких как управление финансовым портфелем и задачи кредитного скоринга. При поступлении в группу возможны разные способы оплаты и рассрочка платежа

Machinelearning

13 марта 2024 18:03

🥰 В ближайшем будущем работодатели будут искать Data Scientist. Сыграйте на опережение — начните учиться со Слёрмом уже в ноябре!

Не требуется заглядывать во временную воронку, достаточно проанализировали актуальное положение вещей:

🔥 Работа с данными требуется и в небольших IT-стартапах, и в финтехе, и в бизнесе, и фармацевтике — везде, где требуются наиболее точные прогнозы.

⭐ Спрос на специалистов растет. По данным Всемирного экономического форума, количество вакансий по направлению выросло на 433%.

➕ Средняя зарплата Data Scientist зарабатывает от 50 000 рублей на уровне junior и от 250 000 рублей, когда он станет senior-специалистом.

Как стать Data Scientist, учат в Слёрме!

Курс стартует 29 марта, вам потребуется около 4 месяцев, чтобы доучиться до уровня специалиста.

Вам помогут мощные эксперты:

— Иван Аникин, Team Lead Yandex.Edadeal;
— Владимир Бугаевский, Team Lead СберМаркет.

Посмотреть подробную программу вы можете на сайте.

Реклама. ООО «Слёрм» г. Лиски, ИНН 3652901451

Machinelearning

13 марта 2024 14:37

📊 Внимание, аналитики данных!

На соревновании Data Fusion Contest 2024 уже начался батл за призовой фонд в 2 млн рублей!

🚀 Докажи, что ты лучший — присоединяйся к участникам на Data Fusion Contest и продемонстрируй свои навыки в машинном обучении экспертам отрасли. Соревнование проводит одна из крупнейших ИТ-компаний Т1 и банк ВТБ.

Для тебя есть задачи по геоаналитике и по моделям оттока клиентов. Выбирай любую или сразу две. Онлайн-встречи, разбор кейсов и доступ к уникальным данным — все это ждет тебя.

Не упусти возможность стать частью профессионального сообщества аналитиков и прокачаться в новых DS/ML-методах.

Более 1000 участников уже приняли участие. А ты готов?

➡️ Регистрация на соревнование еще открыта — переходи по ссылке: https://vk.cc/cvoGGL

*батл - бой/битва
*ML - машинное обучение
*DS - анализ данных

Machinelearning

13 марта 2024 09:01

⚡️ Инвесторы смогут тестировать и запускать собственных торговых роботов на уникальных данных

MoexAlgo — Python-библиотека для упрощения работы с Алгопак API. Предоставляет данные и аналитику по рынку акций Московской биржи (MOEX). Можно получать:

• исторические данные для тестирования торговых стратегий, проверки гипотез и backtest;
• онлайн-данные для алгоритмической торговли.

Библиотека необходима для работы с демоверсией Алгопак — новым инструментом Московской биржи. Благодаря ему вы можете прокачать свои навыки работы через REST API и Python-клиент. Клиенты получают доступ к большому набору исторических и онлайн-данных по рынку акций MOEX и могут проводить backtest различных торговых стратегий, а также создавать и автоматизировать торговые алгоритмы.

• MoexAlgo
• Backtrader_moexalgo
• Демоверсия Алгопак доступна всем зарегистрированным пользователям сайта ПАО Московская Биржа — тестируйте на сайте

Реклама. Рекламодатель ПАО Московская биржа. ОГРН (1027739387411)

Machinelearning

12 марта 2024 09:03

Скажите что-то на карьерном

Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут

erid:2VtzqxRzgQj
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Machinelearning

10 марта 2024 12:45

🙃 ИИ чат-боты «думают» на английском, даже когда говорят на других языках

Большие языковые модели (LLM), лежащие в основе чат-ботов, «думают» на английском языке, даже если вопросы задаются на других языках, пишет New Scientist со ссылкой на исследование учёных Федеральной политехнической школы Лозанны.

Чтобы понять, какой язык на самом деле используют LLM при обработке запросов, учёные изучили три версии модели Llama 2. Благодаря тому, что Llama 2 имеет открытый исходный код, исследователи смогли ознакомиться с каждым этапом обработки запроса.

Они открыли эти модели и изучили каждый из их слоёв. ИИ-модели состоят из нескольких слоёв, каждый из которых отвечает за определённый этап обработки запроса: один переводит подсказки в токены, другой контекстуализирует каждый токен и т.д.

Моделям были предложены 3 типа запросов на китайском, французском, немецком и русском языках. В одном случае предлагалось повторить заданное слово, во втором — перевести с одного неанглийского языка на другой, и в третьем — заполнить пробел в одно слово в предложении, например: «___ используется для занятий такими видами спорта, как футбол и баскетбол».

Отследив процессы внутри LLM, учёные обнаружили, что путь обработки через слои почти всегда проходит через то, что они называют английским подпространством. То есть, если предложить модели перевести с китайского на русский, русские символы проходят через английское подпространство, прежде чем вернуться на русский, говорит учёный, что является убедительным признаком того, что модели используют английский, чтобы помочь себе понять суть запроса.

Это вызвало у учёных обеспокоенность по поводу того, что использование английского языка в качестве посредника для обучения модели несёт с собой риск.

«Если английский станет основным языком, на котором системы обрабатывают запросы, мы, скорее всего, потеряем концепции и нюансы, которые можно оценить только на других языках», — говорит Карисса Велиз (Carissa Véliz) из Оксфордского университета.

@ai_machinelearning_big_data

Machinelearning

09 марта 2024 09:00

🚀 GPM AdTech Challenge 
от «Газпром-Медиа» и Getintent
Когда: 18-30 марта
Формат: гибридный
Призовой фонд: 1 000 000 рублей
Ты можешь стать победителем независимо от своего технического бэкграунда. Выбирай один из трех треков, создавай прототип и выигрывай 1 000 000 рублей.
Регистрация до 13 марта: https://cnrlink.com/gpmml

🎙 Frontend Мeetup от Росбанка
Когда: 22 марта
Формат: очный, Казань
Вас ждут доклады специалистов Росбанка, СберМаркета и VK Добра. 
Авторы лучших вопросов получат мерч. 
Регистрация до 18 марта: https://cnrlink.com/rbkazanml

💢 «Халява, приди!»‎ от Codenrock
Когда: весь март
Формат: онлайн
Реши несложные, но увлекательные задачи по программированию и получи возможность стать обладателем промокода на любой маркетплейс. Это ли не халява?
Регистрация до 20 марта: https://cnrlink.com/halyavaml

Реклама. ООО "ЦУКЕР СТУДИЯ". ИНН 7751071015. erid: LjN8JxeWj

Machinelearning

08 марта 2024 13:32

🔥Подборка лучших обучающих каналов для программистов.

➡️ Делитесь с коллегами и cохраняйте себе, чтобы не потерять

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data

#️⃣C#

С# академия
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

⚡Машинное обучение

Ml Собеседование - подготовка к собеседовению мл, алгоритмам, кодингу
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат
Machine Learning - полезные статьи новости гайды и разбор кода


⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend

🏆 Golang
Golang - подробные гайды, разбор кода, лучшие практики, заметки
Golang собеседование
Golang вакансии
Golang книги
Golang задачи и тесты
Golang чат
Golang news - новости go



🐍 Python

Python/django
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

☕ Java

Java академия
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

🛢Базы данных
Sql базы данных
Библиотека баз данных
SQL чат

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

💥 Хакинг Kali Linux

Kali linux
linux_kal - kali чат
Информационная безопасность

🐧 Linux

Linux academy

🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops

🌟 Docker/Kubernets
Docker
Kubernets

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend

Machinelearning

06 марта 2024 14:31

⚡️ ResAdapter: Domain Consistent Resolution Adapter for Diffusion Models

Новый фреймворк предназначенный для диффузионных моделей (например, SD) для создания изображений с любым разрешением и соотношением сторон. В отличие от других методов генерации с заданным разрешениями, которые обрабатывают изображения с последующей обработкой, ResAdapter напрямую генерирует изображения с заданным разрешением.

▪page: https://res-adapter.github.io
▪paper: https://arxiv.org/abs/2403.02084
▪code: https://github.com/bytedance/res-adapter

ai_machinelearning_big_data

Machinelearning

06 марта 2024 09:02

🦸‍♂️ Supermaven uses a 300,000-token context window to provide the highest quality suggestions with the lowest latency.

Состоялся релиз Supermaven — нейросети для генерации кода с контекстным окном 300 тыс. токенов

Разработчики выпустили ИИ-генератор кода Supermaven с контекстным окном 300 тыс. токенов. Это в разы больше, чем возможности GitHub Copilot. Supermaven обучили с нуля, а не адаптировали уже готовое решение.

Представители Supermaven отмечают, что разработчики всё чаще начинают использовать ИИ-генераторы кода на ежедневной основе. Из-за популярности подобных инструментов большие компании пытаются сократить расходы на обслуживании нейросетей, ограничивая контекстное окно. При этом чем больше контекстное окно, тем больше кода за один раз может обработать языковая модель. Поэтому компаниям приходится искать баланс между экономией и удобством для пользователей.

Supermaven разработала и обучила нейросеть на новой архитектуре с контекстным окном в 300 тыс. токенов. При этом сохраняется высокая скорость, а такое масштабное увеличение контекста не сказывается отрицательно на стоимости обслуживания модели в облаке. Для сравнения, Microsoft недавно увеличила контекстное окно Copilot до 8192 токенов.

Возможности Supermaven позволяют языковой модели за 10-20 секунд проанализировать репозиторий, включающий в себя кодовую базу продукта, методы API, документацию и стайлгайды. С помощью этой информации нейросеть будет генерировать не просто работающий код, но и идеально вписывающийся в проект. В блоге Supermaven отмечают, что GitHub Copilot генерирует качественный код только с теми API и библиотеками, которые находились в датасете.

Сейчас Supermaven доступен в виде расширения для VS Code и поддерживает более 70 языков программирования. ИИ-помощник работает по подписке, которую можно оформить за 10 долларов в месяц или 99 в год. Можно активировать пробный период на 30 дней.

▶️ Официальная страничка

@ai_machinelearning_big_data

Machinelearning

04 марта 2024 14:01

🖼 Differential Diffusion: Giving Each Pixel Its Strength 🔥

Новый фреймворк, который позволяет настраивать количество изменений на сгенерированных изображениях на пиксель или на область изображения.

Фреймворк может быть интегрирован в любую существующую модель генерация, расширяя ее за счет этой возможности.

Такой детальный контроль количества изменений открывает широкий спектр новых возможностей редактирования, таких как контроль степени модификации отдельных объектов или возможность вносить постепенные пространственные изменения.

Фремворк не требует обучения или тонкой настройки.

▪code: github.com/exx8/differential-diffusion
▪page: differential-diffusion.github.io
▪paper: arxiv.org/abs/2306.00950

ai_machinelearning_big_data