24079
Культурно освещаю самые и не самые важные новости из мира AI, и облагораживаю их своим авторитетным профессиональным мнением. Чуть выше уборщика в элитной AI Research организации в одной из FAANG компаний. Aвтор: @asanakoy
Первая собственная большая модель Microsoft, MAI-1, судя по репорту от The Information, уже тренируется. Хотят достигнуть уровня GPT-4 с 500B MoE моделькой.
Это, конечно, не модель на 1.8 трлн параметров, как у сильных мира сего, но тоже сойдёт.😼
В целом понятное желание перестать зависеть от OpenAI, особенно учитывая постоянный цирк с конями, который OpenAI устраивают: вот например, пока майки продают доступ к GPT на Azure, OpenAI напрямую работают с их конкурентами – Salesforces, в то время как бесплатно хостятся на Microsoft Azure.
Взлетит план или нет, мы узнаем скоро: тренировка закончится в этом месяце.
И это спустя всего месяц после того как Microsoft высосал кровь у стартапа Inflection AI и поставил его CEO, Мустафу Сулеймана, рулить Microsoft AI. С тех пор Мустафа, похоже, так хаслил, что даже перестал продвигать свою книжку. Зато начал косплеить Джобса.
В принципе шансы догнать гэпэтэ у них есть. У Microsoft на порядок больше ресурсов чем у Inflection, плюс в тренировке кроме датасетов Inflection используются синтетические датасеты Microsoft, вроде того что использовали для Phi-3.
Делайте ваши ставки, господа
@ai_newz
Заностальгировал на секунду. 🎮 Шок от осознания того, как сильно поменялись технологии за 25-30 лет.
Теперь уже даже кажется, что магнитные кассеты — это инопланетная технология забытой цивилизации (эх, жаль ллмки на них не покрутишь).
Кидайте свои олдскульные девайсы в комментарии.
@ai_newz
🔥 Это база с 1900 вопросами с собеседований по машинному обучению, анализу данных, ai, sql. Фишка в том, что вопросы разбирают эксперты, которые сами проводят собесы и дают примеры правильных ответов. Вы легко получите оффер, изучив популярные вопросы 💼
Читать полностью…
Вы только взгляните на эту красоту 🥹
Infinite Realities не только создают самые чёткие гаусианы (Gaussian Splats), но заставляют всё это в двигаться, да в реальном времени, да в 30 FPS.
Конечно, снять такое выйдет в копеечку, ведь использовалось 176 камер. Но для Голливуда — это не страшно. Только подумайте, какие будут спецэффекты!
Интересно, что теоретически такую штуку можно сделать и самостоятельно. Разработчики пишут (и, возможно, зря), что единственный кусок кода/пайплайна, которого нет в опенсорсе — это тот, что отвечает за компрессию и вывод картинки в реалтайме. Так что, если вы случайно ограбили фотомагазин, ничего не мешает попробовать повторить что-то подобное самостоятельно 😄👍
Подписчики, давайте на следующей сходке возьмём 100500 телефонов и заснимем такой приколдес!
@ai_newz
Короче, тут недавно вышел первый клип, созданный Sora, а потом интервью с Полом Трилло, который все это генерил. Он слил интересную инфу. Похоже, не просто так все видосы, которые нам показали, сделаны в ретро/lo-fi стиле. Пол пишет, что из коробки Sora выдает картинку, будто из самых дешевых видеостоков или вообще выдаёт всратую 3D-анимацию:
Initially I kind of found that it had an almost like video game aesthetic. This 1990s kind of 3D animation slash stock video look.
Раз уж в последнее время много говорим про ChatBot Arena, то грех было бы не упомянуть про новый бенчмарк от тех же авторов – Arena Hard v0.1. Суть в том, что хочется найти способ оценивать качество моделей без участия людей, вот и придумали новый бенчмарк, который аппроксимирует человеческую оценку – конечно не без предвзятости, т.к. используют GPT-4 для оценки моделей, но зато быстро!
Я собирался написать более детальный разбор, но увидел, что это сделал Игорь @seeallochnaya. Можно начинать читать отсюда /channel/seeallochnaya/1345 и идти вниз по постам-картинкам.
И вообще, у Игоря на канале качественные посты про LLM, от их влияния на бизнес и до разбора передовых исследовательских статей. Пользуясь случаем, рекомендую вам подписаться — в прошлый раз советовал лекцию с рамках DataFest 2023, а уже совсем скоро, в конце мая, будет DataFest 2024. Игорь организует там целую секцию, и выступит с открывающим докладом - так что не пропустите!
@ai_newz
Привет, друзья! Я наконец вернулся из Кремниевой долины, и хочу поделиться своими впечатлениями.
В прошлую пятницу вечером я организовал небольшую тусовку с подписчиками, которая прошла просто на ура!
В моем канале действительно высока концентрация очень приятных и открытых людей, и на каждой новой встрече во время моих поездок в другую страну я обязательно знакомлюсь с новыми крутыми ребятам! Вот вам пример: я не знал, где и как устроить эту встречу, а тут в комментариях один из читателей предложил затусить у него. В итоге, Мы собрались недалеко от Сан-Франциско, в уютном доме с классным пространством для тусовок на заднем дворе (Игорь, респект!).
Я немного опоздал из-за пробок - ну что поделаешь, час на машине из Пало-Альто. Собралась очень крутая компания, около 20 человек. Мы жарили мясо на гриле и говорили о насущном - от трендов в AI и стартапов до жизни в Кремниевой долине. Ребята оказались настоящими экспертами в самых разных областях - были и стартаперы, и VC-инвесторы, и инженеры из Bigtech, и PhD-студенты из Беркли. Даже был парень, который занимается развитием инфраструктуры для будущего AI, прокладывая сетевые коммуникации по всей долине, в том числе и по известному мосту Golden Gate в Сан-Франциско.
Было очень весело, все травили байки и смешные истории. Такие моменты напоминают, что у меня в канале собралась действительно крутая аудитория - открытые, интересные и увлеченные люди.
Короче, ребята, это была одна из лучших встреч, которые я когда-либо организовывал. Спасибо всем, кто пришел, и особенно Игорю и Оле за гостеприимство. Не терпится устроить следующую тусовку в другом интересном месте (ну, либо опять в Калифорнии)!
--
А в следующем посте расскажу, как прошли мои рабочие встречи с коллегами и боссами, и как меня это еще сильнее замотивировало.
#personal
@ai_newz
Умельцы из твиттера сделали инфографику о том, как топ ChatBot Arena менялся за последний год.
Чат-гпт все ещё держится, но ей дышать в затылок. Конкуренция идёт серьезная. Посмотрим, есть ли у ClosedAI ещё козыри в рукаве.
Что такое ChatBot Arena – тут.
@ai_newz
Вчера провели шикарную сходку недалеко от Сан-Франциско, нас захостил у себя один замечательный человек, который тоже читает канал. Попозже расскажу про свои впечатления подробнее и скину фотки.
А сейчас еду в Сан-Франциско, и буду там гулять до вечера, так что если хотите пересечься — пингуйте!
@ai_newz
Появились результаты с арены: чуда не случилось, Phi-3 mini не догнала LLaMa 3 8B, но модель показала себя очень хорошо и вполне себе тягается с Mistral 7B. Вин (или слив?) засчитан.
@ai_newz
GigaCode: AI-ассистент от Сбера
На платформе GitVerse появились новые фичи GigaCode. Сервис помогает кодить непосредственно в среде разработки в реалтайме.
Теперь он может:
▪️ решать связанные с кодом задачи — в чатике непосредственно в среде разработки;
▪️ при просмотре репозитория в GitVerse объяснить, что делает конкретная часть кода, а также подсказать, как ее улучшить.
Список языков программирования, которые поддерживает GigaCode, пополнился Ruby, а также стала доступна генерация текстовых данных в формате JSON. Ассистент поддерживает более 15 популярных языков программирования и устанавливается как плагин в привычные среды разработки, включая IDEA, PyCharm, VSCode, Jupyter.
Постестить можно здесь.
#промо
Покажу вам, что творилось в Стенфорде сегодня, когда было выступление Сэма Альтмана.
Мой отель находится буквально в 200 метрах от Стенфорда. И сегодня Сэма решил приехать в университет дать лекцию. Народ стоял в очереди как за маслом в девяностые. Я честно сказать в шоке от таких раскладов и сам, конечно, в очереди не стоял, а был на работе. Увидел эти видосы в твиттере.
@ai_newz
Для контекста о посте ниже: Степан (автор e/acc) — фаундер и венчурный инвестор. У него можно почитать и про крипту, и про веб3 (это не формат файла, если что), ну и без AI/ML, конечно, не обошлось. А еще, как инвестор, Степан много рассуждает на тему того, как будет устроен мир в перспективе от 5 до 30 лет. Так что там не обошлось и без программируемой экономики с цифровыми государствами. Рекомендую почитать, если про такое еще не слышали — контент в канале у Степана топовый.
@ai_newz
Ищем ML engineer с опытом в Gen AI (Diffusion, GAN, CV)
О нас:
Мы продуктовая ai компания, сделали uncensored 18+ multimodal AI chat (text, photo, voice) и сейчас имеем сеть крупных клиентов из adult, dating индустрии с милиардами юзеров в месяц, которые наши продукты берут себе как SaaS whitelabel. У нас сильные ребята в rnd (из Stability AI, Meta), и мы расширяем команду rnd в сфере vid2vid и text2vid.
Задачи:
- Ресерч и воспроизведение текущих опенсорс решений.
- Эксперименты с допиливанием и файнтюном текущих решений до прототипов.
- Video editing, image to video, text to video
- Video to anime, video filters as de-aging, hair color stylization, enhancement
- Тренировка adult foundation model
Есть доступ к большим объемам данных и видеокартам. Сделаем то, чего еще нет в adult индустрии.
Если у тебя нет подходящего опыта, но есть хорошее образование (мфти, шад, и ты внимательно дочитал до сюда, то бронируй сразу календли дот ком слеш vb--fdmx) тоже не стесняйся откликаться, мы набираем большую разнообразную команду под этот ресерч.
$1000 за успешную рекомендацию после прохождения ИС
Заполняй форму и отправляй друзьям!
https://forms.gle/oywNE9VAG6xue4xh6
Полный текст вакансии:
softpear/D5xjp1xuP_-" rel="nofollow">https://teletype.in/@softpear/D5xjp1xuP_-
#промо
FineWeb - открытый датасет масштаба LLaMa 3
Взяли CommonCrawl, отфильтровали оттуда 15 триллионов токенов (прям как у LLaMa 3). Вышло лучше большинства других датасетов для претрейна. Тестят они это натренировав на ~350 миллиардах токенов из каждого датасета 1.8B модель, а вообще в процессе разработки датасета натренировали 200+ мини-моделей. График красивый но слегка устарел - у датасета Dolma (в котором всего 3 триллиона токенов) на днях вышла версия получше, с ней сравнить не успели и кто из них лучше - пока непонятно.
Иметь хороший датасет крайне важно, "garbage in, garbage out" распространяется на ИИ больше чем на всё остальное и именно в качестве датасетов огромное преимущество больших лаб. Это видно, например, на Falcon 180B, который тренировали на 3.5 триллионов токенов ($30 миллионов в AWS, ничему жизнь не учит), только затем чтобы слегка обогнать LLaMa 3 8B (~2.5x меньше компьюта) и безнадёжно отстать от LLaMa 3 70B (~2x больше компьюта). И, несмотря на то что Falcon оптимальный по Шиншилле (соотношение токенов/параметров чтобы модель вышла наилучшей при фиксированном компьюте), он не добивается особо выдающихся результатов по сравнению с моделью которая в десятки раз быстрее и в разы дешевле в тренировке. И всё (по крайне мере) из-за датасета.
Пока релизнули только англоязычный датасет, многоязычный обещают чуть позже, и я обязательно напишу о его релизе. Плюс открыли не только датасет, но и скрипты которыми его фильтровали!
Датасет
Пайплайн фильтрации
@ai_newz
Deepseek V2: топ за свои деньги
Что-то в опенсорс в последнее время попадает прям поток MoE моделей, вот и DeepSeek V2 из них. 236B параметров, из которых 21B - активных. По качеству - между Mixtral 8x22B и LLaMa 3 70B, но при этом в 2-4 раза дешевле этих моделей у самых дешёвых провайдеров, всего лишь 14 центов за млн токенов инпута и 28 за млн токенов на выход. Лицензия модели MIT, так что до конца недели будет штук пять разных провайдеров дешевле этого.
Главная особенность - Multi-Head Latent Attention (MLA). От обычного Multi-Head Attention (MHA) он отличается механизмом сжатия KV Cache, где он хранится как низкоранговая матрица, откуда и куда проецируется когда его нужно использовать или обновить. Из экспериментов, по качеству это работает лучше MHA, при этом используя в 4 раза меньше памяти чем обычные Grouped Query Attention конфиги. Из нюансов - авторам пришлось изобрести новый вариант RoPE чтобы это всё заработало, так как обычный RoPE такого количества линейных проекций туда и назад переживать решительно отказывается. Если честно, я не совсем понимаю почему это работает и почему нету абляций для dense моделей, но интересно как это будет сочетаться с квантизацией KV кэша.
Размер контекста - 128k. Тренировали это всё на 8 триллионах токенов в течении 1.5 миллиона часов на H800 (китайская версия H100). Это уровень компьюта тренировки LLaMa 3 8B и примерно в 3 раза больше чем у Snowflake Arctic.
У модели 162 эксперта, из которых 2 перманентно активные, а из остальных 160-ти на каждый токен выбирается 6. Хочу отметить что эксперты там крайне маленькие – у каждого размерность всего 1536.
Соотношение цены и качества прекрасное, если все подтвердится на ChatBot Arena.
Из минусов — размер. В BF16 для локального инференса нужно 8x A100 с 80GB VRAM. Вся надежда на квантизацию.
Демка
Пейпер
Базовая модель
Чат версия
@ai_newz
Наконец-то дата аналитики проанализировали дату для дата аналитики.
Artificial Analysis собрали топ 100 LLM в одной таблице, чтобы можно было удобно выбрать свою ту самую💍 под свои задачи.
Выбираем по параметрам:
- Бенчмарки: Chatbot Arena, MMLU, HumanEval, Index of evals, MT-Bench.
- Стоимость: вход, выход, средняя
- Скорость в токенах/сек: median, P5, P25, P75, P95 (кто понял, тот понял).
- Задержка: median, P5, P25, P75, P95.
- Размер контекстного окна.
- Совместимость с библиотекой OpenAI.
Топ-1 из каждой категории:
- Бенчмарки: Claude 3 Opus, GPT-4 Turbo
- Стоимость: $0.06/1M токенов Llama 3 (8B) через API groq
- Скорость: 912.9 токенов/сек Llama 3 (8B) через API groq
- Задержка: 0.13s Mistral 7B через API baseten
- Размер контекстного окна: 1m Gemini 1.5 Pro
Сделали красиво.
Табличка на HF
Есть еще всякие графики
@ai_newz
Нейродайджест за неделю (#16)
1. Интересно знать
— Провел сходку в Кремниевой долине. Спасибо вам, подписчики, что вы такие крутые:)
— Борьба за хайп: большие и маленькие команды в ML. Размышления о месте малых групп в большом мире AI.
2. LLM
— Snowflake Arctic: Непрофильная компания создала LLM. Огромный объём, странная архитектура и предсказуемо средние результаты.
— Новый бенчмарк Arena Hard v0.1 для LLM. Поиск альтернатив человеческим оценкам.
— Автоматизация ChatBot Arena: Kaggle конкурс на создание RLHF модели, которая могла бы предсказать выбор человека.
— Ускоряем GPT-2 с llm.c. Треним ллм на рисоварке еще быстрее в новом релизе от Карпатого
3. Посмотреть глазами
— Прикольная визуализация изменений в рейтинге ChatBot Arena за год.
— Первый клип от Sora. Реальные возможности и ограничения детища Open AI.
— Самые чёткие Гауссовские сплаты, да в движении и в риалтайме.
> Читать дайджест #15
#дайджест
@ai_newz
😗llm.c теперь быстрее PyTorch - запускаем GPT-2 на рисоварке экстра быстро!
Андрей Карпатый и комьюнити показывают чудеса продуктивности – за 3 недели проект из игрушки (/channel/ai_newz/2557) превратился в настоящего зверя: добавили поддержку CUDA, FlashAttention, тренировку на нескольких видеокартах и кучу оптимизаций. Результат – llm.c тренирует GPT-2 на 46% быстрее чем текущий релиз PyTorch. Это возможно подстегнуло разрабов торча оптимизировать фреймворк и значительно сократить отставание - Nightly билды всего на 7% медленнее llm.c.
С большим функционалом код стал комплекснее, теперь там 3 тысячи строк кода и компилируется он заметно дольше изначальной секунды.
Не смотря на головокружительный прогресс нужно ещё много чего сделать:
* сейчас использование нескольких видеокарт лишь ускоряет тренировку, но размер модели всё ещё ограничен памятью одной видяхи
* подготовить кодбазу к полноценному воспроизведению GPT-2 (модели всех размеров на нормальном датасете)
* добавить поддержку моделей кроме GPT-2.
* ещё больше оптимизаций
Всё это на самом деле сложные задачи, но после наблюдения за темпами разработки у меня возникло впечатление что всё это мы увидим ещё в этом месяце.
https://github.com/karpathy/llm.c
@ai_newz
Авторы ChatBot Arena, хотят её (частично) автоматизовать
Кажется на бенчмарке Arena Hard v0.1 останавливаться не собираются, и поэтому авторы ChatBot Arena проводят Kaggle конкурс на reward модель для RLHF. Нужно обучить модель, которая будет предсказывать, какой ответ LLM будет предпочтен человеком. Такую модель можно будет использовать и для улучшения качества ответов существующих моделей и для оценки ответов моделей как альтернатива человеческим голосам.
Автоматизация для обучения LLM сейчас есть лишь частичная потому что человеческие аннотации всё ещё нужны: (а) для генерации синтетических данных (б) для оценки их качества (в) на последних стадиях тюна синтетику используют поменьше.
Участникам даётся датасет на 55к примеров. Каждый пример состоит из: запроса, ответа двух нейронок и предпочтения человека. Победителя будут определять на тестовом сете в 25к примеров.
На конкурс выделили призовой фонд в $100k, который распределяют вот так:
🥇$25,000 за первое место
🥈$20,000 за 2-4 места
🥉$15,000 за 5 место
Соревнования на Kaggle это очень хорошее место для развития и во многом повлияли на мою карьеру (я в своё время был топ-45 на платформе).
Так что если хочешь участвовать - в комментах можно организоваться и найти себе команду
@ai_newz
Интересно, как в борьбе за хайп уживаются большие команды с мегатоннами вычислительной мощности, и те что поменьше, университетские группы и маленькие стартапы или компании с небольшими R&D отделами. Эту тему на своем примере подняли ребята из Tinkoff Research в недавнем интервью. Учитывая, что видеокарты не бесконечны, важнейший исследовательский трек для них — повышение эффективности моделей, и выбор неочевидных направлений, в которые копает чуть меньше групп, но которые, по их мнению, могут быть намного перспективнее.
И действительно, пока читаешь все эти пейперы и релизы, нет нет да замечаешь интересный, но казалось бы, очевидный паттерн. Небольшие исследовательские группы генерируют более креативные идеи. Особенно с точки зрения оптимизации. Что в конечном счете и крупным компаниям позволяет клепать модельки быстрее и лучше. А еще маленькие команды кажется чаще рады поделиться исходным кодом.
В мире AI сейчас доминируют технологические гиганты, такие как Google, Meta, OpenAI и DeepMind. У них есть огромные ресурсы - тысячи инженеров и исследователей, а тонны GPU для тренировки моделей с сотнями миллиардов параметров. Но значит ли это, что небольшим исследовательским группам и стартапам нечем заняться в AI? Вовсе нет!
C дивана мне в голову пришло сразу несколько направлений, где небольшие команды могут проявить себя и сделать значимый вклад:
- Тюнинг и адаптация открытых моделей вроде LLaMA, Stable Diffusion под конкретные прикладные задачи. Большие foundation модели дают отличную базу, но для многих реальных применений их нужно дообучать на специфичных данных.
- Дистилляция знаний (distillation) и сжатие моделей - позволяет уменьшить размер моделей в разы и даже на порядки без существенной потери качества. Это критично для многих сценариев использования AI на мобильных устройствах и в реальном времени.
- Исследование ошибок и уязвимостей больших моделей, разработка методов для их детекции и устранения. Даже лучшие модели вроде GPT-4 могут выдавать неверные факты, проявлять предвзятость, быть подвержены adversarial атакам. Здесь огромное поле для исследований.
- Разработка новых архитектур, механизмов внимания, техник обучения, которые позволяют эффективнее обучать модели. Яркий пример - техника chain-of-thought prompting, которая значительно улучшает способности LLM к рассуждению, при этом не требуя дообучения модели. Статья с ее описанием, уже набрала более 4500 цитирований! То есть не нужны тысячи видеокарт, чтобы создать что-то влиятельное.
- Применение AI в узких предметных областях, где нужна глубокая экспертиза в конкретной сфере - медицине, биологии, физике, экономике и т.д. Большие универсальные модели не всегда лучше работают, чем модели обученные на специфичных данных.
Есть немало примеров небольших групп, которые успешно конкурируют с гигантами индустрии. Например, парижский стартап Mistral, где изанчально было 3 человека (да, соглашусь, не совсем корректный пример, потому что компания подняла $115 млн в первые недели существования). Из близкого многим читателям, опять же, Tinkoff Research - команда из 12 человек (20 со студентами) в компании, которая никогда AI-ресерчем до этого не занималась, умудрилась опубликовать 4 статьи на NeurIPS 2023 (об одной из них писал тут). Или вот Midjourney с командой менее 50 человек (а инженеров и того меньше) создали и дальше двигают одну из лучших в мире технологий генерации изображений по тексту - восхищаюсь их результатами. Все благодаря фокусу на конкретной задаче и хитрым идеям.
Поэтому не стоит думать, что если у вас нет ресурсов тренировать гигантские модели, то вам нечем заняться в AI (я часто слышу такое от студентов, с которыми общаюсь). Наоборот, именно небольшие креативные команды зачастую делают прорывы и открывают новые направления, которые потом подхватывают большие компании. Главное - выбрать правильный фокус и упорно работать над решением важных проблем на стыке AI и конкретных предметных областей.
@ai_newz
Snowflake Arctic - непрофильная компания сделала LLM, результат предсказуем
Модель гигантская - 482 миллиарда параметров (больше из открытых разве только Switch Transformer 2021 года), и очень странная архитектурно - 10B Dense модель параллельно с которой засунули MoE FFN слои, в итоге это даёт 17 миллиардов активных параметров. Длина контекста - всего 4k токенов (даже 8k у LLaMa 3 сейчас считается маленькой), но обещают поднять до 32k.
Не смотря на огромные размеры, модель тренировали всего ~400k GPU часов. Это в три раза меньше LLaMa 3 8B, от которой она слегка отстаёт на большинстве общих бенчмарков, но слегка обходит на кодинге и следовании инструкциям. Пейпера нету, но тренировку обещали описать в snowflake_ai_research/snowflake-arctic-cookbook-series-exploring-mixture-of-experts-moe-c7d6b8f14d16">серии постов, которая ещё публикуется.
Из-за огромного (128) количества экспертов, модель имеет смысл использовать только в энтерпрайзе с батчсайзом в тысячах. Единственный юзкейс который я смог придумать для себя - тесты железа на может ли оно запустить LLaMa 3 405B.
Модель
Демка
Блогпост
snowflake_ai_research/snowflake-arctic-cookbook-series-exploring-mixture-of-experts-moe-c7d6b8f14d16">Серия постов с деталями тренировки
@ai_newz
Нейродайджест за неделю (#15)
1. Хайлайты из US
- Вылетаю из Цюриха в Сан-Франциско для встреч с коллегами, ну и чтобы отметить успешнвй релиз Imagine Flash и LLaMa-3.
- Румтур по офису Мечты от Меты в Menlo Park, где работает несколько десятков тысяч человек.
- О Сан-Франциско, и о сходке.
2. Роботехам стало скучно.
- Огнедышащий робо-пес от Throwflame теперь доступен для покупки каждому психопату.
- Как развлекается кофаундер HuggingFace: создали робота Немо из г*ван, палок и трёх open-source LLM.
3. ЭйАй селебрити
- Марк Цукерберг кайфанул от Imagine Flash и почему-то задумался об открытии магазина мяса после ухода из Meta.
- Сэм Альтман выступил в Стэнфорде, таких очередей не видели даже в советском союзе.
8. ЛэЛэМэ
- Microsoft выпустила Phi-3, новую модель с поддержкой 128K контекста. Я уже боялся, что она догонит Llama 8B, но чуда не произошло.
- будущее LLM и что будет потом...
- FineWeb - новый датасет чище, больше, круче! Все для претрейна моделей.
- OpenELM - Apple выпустили открытую LLM (с трейнинг кодом), по качеству такая себе, но важен сам факт.
9. Дегенеративные Видосы
- Vidu в шаге от Sora, китайским стартапом из универа Цинхуа наступает на пятки Open AI (если верить демке).
- Диффузионные модели для генерации видео – новый #ликбез от Lilian Weng, о текущих подходах.
#дайджест
@ai_newz
🔥Vidu — Китайцы забахали свою СОРУ!
Обучили нового конкурента Альтману в стартапчике Shengshu Technology и Университете Цинхуа.
Генерит видео до 16 секунд в 1080p. Если демо не фейк, то качество Vidu уже тупо в шаге от качества генерацией Соры.
Архитектура модели вроде как основана на U-ViT, которая похожа на Diffusion Transformer, что у Соры.
Если интересно, что за мозг за этим стоит, то вот гугл сколар профиль научрука, который руководил этим проектов.
Ждём больше подробностей про эту модель! Exciting!
Блогпост на китайском
@ai_newz
Microsoft выпустила Phi-3
Моделька интересная и довольно умная, есть поддержка 128к контекста, запускается на айфоне со скоростью в 12 токенов в секунду. Я не сразу запостил, потому что у неё подозрительно хорошие результаты бенчмарков: mini (3.8B на 3.3 триллионах токенов) версия модели тягается с LLaMa 3 8B (15 триллионов токенов), а medium - с Mistral 8x22B Instruct. По поводу моделей семейства давно ходят шутки из-за того что их (возможно) тренируют на бенчмарках. Однако авторы заявляют, что такие высокие метрики — следствие их датасета, который лучше всех учит модельку размышлять. Через трое суток после релиза весов я все ещё жду проверки этой модели на ChatBot Arena, так как доверия к бенчмаркам нет.
Предыдущие модели семейства Phi тренировали на синтетических данных, тут же, большая часть датасета - данные из интернета. Тренируют в две стадии: первая - тренировка на сильно отфильтрованных данных. На второй стадии её, как и прошлые модели, тренируют на синтетических данных, но добавляют ещё более отфильтрованную примесь данных из интернета.
Авторы пытаются отсеять данные которые LLM такого размера и так вряд ли выучит, например результаты конкретных спортивных матчей. Назвали они это Data Optimal Regime, но у него есть заметный минус: после 7B параметров качество почти не растёт, 14B моделька очень недалеко ушла от 7B модели. Тут может быть две интерпретации: первая – из датасета убрали всё, что не может понять 3B моделька (то есть что-то такое, только для LLM), вторая – модель выучила все ответы на бенчмарки, что были в датасете и насытилась. Из-за этого, хоть в пейпере речь идёт о моделях трёх размеров: mini (3.8B), small (7B) и medium (14B), пока что релизнули только самую маленькую.
--
На видео, демонстрации инференса в fp16 на M3 Max: Вход - 131.917 tps, Генерация- 43.387 tps. Бегает шустро, но можно сделать ещё быстрее.
А вы что думаете про Phi-3?
Technical report
4k версия модели
128k версия
Тут можно початиться с моделькой
@ai_newz
Я не знаю, плакать или смеяться. Вслед за Маском, и его карманным огнемётом, Throwflame из Огайо (интересно, почему именно оттуда?) только что запустила в продажу ОГНЕДЫШАЩЕГО, мать его, РОБО-ПСА.
Пёсель продается на сайте с милой кнопочкой "добавить в корзину" за 10к баксов.
За основу взят Unitree go2. Управляется так же, как какой-нибудь дрон (к счастью, сам пока бегать не может, хотя может следовать за вами как телохранитель), есть фонарики и лидар для ночных похождений и даже колоночка для эпичного музончика. Ну и, конечно, лазерная указка, что бы еще сильнее приблизить киберпанк. Создатели также добавляют, что их детище это:
on-demand огнище где угодно.
Какие же зайки 😸
А вообще говорят, что этот прародитель (или вернее сказать ранняя ступень эволюции) терминатора предназначен для, цитирую:
- Борьбы с лесными пожарами и их предотвращением
- Управления сельским хозяйством
- Сохранения окружающей среды
- Устранения снега и льда
- Развлечений и спецэффектов
О будущем LLM
Не знаю за ваши модные ку-стары, но вот некоторый набор уже практически фактов про LLM в перспективе месяцев:
1. GPT и LLaMa — это не продукты, а исследовательские проекты. Как только детали архитектуры, пайплайнов, датасетов станут ясны (экспериментальным путём), стоимость тренировки аналогичной модели упадет в разы, а скорее сотни раз. Вы сможете сделать претрейн специализированной модели за $10-100k, причем даже в распределенной среде.
2. То же самое с инференсом. За счет квантизации, MoD, оптимизации под edge девайсы и архитектуры ARM, TPU, NPU модели уровня 13-30В параметров можно будет запускать на телефонах.
3. За счет увеличения окна контекста до миллионов токенов, файнтьюнинг становится не так важен. Ты просто копируешь промт на 10-100 страниц со всей историей своей жизни или организации и получаешь персональную модель. Стоимость переключения с Зефира на Гермес, с Клода на Databricks становится ровно три клика и один копипаст.
4. Адаптивный роутинг. Приложения выбирают модели на лету, в зависимости от задачи. Модели выбирают инфраструктуру для вычислений на лету, в зависимости от спроса и предложения на железо в конкретный момент.
5. RAG не уйдет, а, наоборот, заменит в некоторой степени претрейнинг. Большие децентрализованные RAG датасеты на миллиарды или триллионы токенов будут просто «подсасывать» знания на лету, что позволит делать базовые еще тоньше, быстрее и запускать на микроволновке (quite literally).
Diffusion Models for Video Generation
Вышел новый пост #ликбез в моем любимом блоге. У Lilian Weng (OpenAI) всегда получаются очень подробные разборы тем. На этот раз она написала про существующие подходы для генерации видео с помощью диффузии. Контент для продвинутых юдокас.
Другие крутые посты из блога Lilian:
- Про диффузию
- Про оптимизацию трансформеров
- Про другие генеративные модели
@ai_newz
Сделал вам небольшой румтур по офису Мечты Меты в Menlo Park.
Я сейчас в Менло Парке, тут самый большой офис Меты в мире, где работает наверное несколько десятков тысяч человек. Да, это шокируют, но и размах пространства тут соответствующий. Приходится на маршрутке либо велосипедах передвигаться между корпусами.
Сижу в том же здании, где и сам Марк Цукерберг. Позитивно заряжаюсь от рабочей суеты, когда много людей в офисе. Народ кодит, рисует на вайтбордах, обсуждают идеи, толпится на микрокухнях и общается. После небольшого цюрихского офиса, тут все выглядит очень очень движово.
---
Кстати, я обещал создать чатик для встречи в Пало Альто либо рядом. Вот он — присоединяйтесь, если хотите поужинать либо встретиться на пиво сегодня.
@ai_newz
Вау! Марку действительно нравится наша моделька. Он протестил Imagine Flash — говорит, если он когда-нибудь уйдет из Мета, то откроет магазин мяса Mark's Meats 🥩.
@ai_newz