626
Новости из мира AI и мои мысли про их влияние на экономику & бизнес + интересные факты и полезные тулы by Nikita Khudov
Сегодня в 11:00 буду на эфире с Битрикс24. Подключайтесь послушать наши разговоры про AI :)
https://ai-practicum.bitrix24.events/
Снова много денег для ИИ
Microsoft и Blackrock запускают новый большой фонд для инвестиций в инфраструктуру для ИИ: $30 млрд + привлечение долга до $100 млрд.
Интересно, на каком сроке они планируют реализовать инвестиции. Если уже на горизонте ближайших пары лет, то это может ощутимо увеличить размер рынка и объем мощностей, доступных для обучения моделей
OpenAI o1 и OnlyFans
Последние посты я тут писал про дешевые и опенсорсные модельки, а теперь пора поговорить и про дорогие 😏
Не так давно OpenAI выпустили o1 или Strawberry, и я сегодня наконец-то до нее добрался. Стоит она аж в 5 раз дороже, чем GPT-4o, но качество впечатляет...
Я решил посмотреть, насколько она справится с ролью бизнес-аналитика, и попросил проанализировать эффективность крупнейших маркетплейсов через соотношение объема GMV на 1 сотрудника. Кстати, идея для такого анализа возникла после новости про OnlyFans, в которой подсвечивается сверхвысокая выручка сервиса ($30+ млн) на 1 сотрудника.
В итоге моделька o1 отработала очень хорошо и сделала практически полноценный анализ!
- Сначала она детально описала план планируемых действий (составить список маркетплейсов, определить анализируемые показатели, задать формулу расчета, собрать данные, синтезировать информацию и подготовить инсайты)
- Затем она собрала данные (со ссылками на источники) и представила мне результаты анализа
- Некоторые инсайты были прям достаточно интересные - например, она подчеркнула, что Amazon проигрывает по показателю GMV/сотрудника, т.к. имеет другие линии бизнеса (кроме маркетплейса), которые требуют много человеческих ресурсов и не генерят GMV
- И дальше моделька сравнила этот показатель для OnlyFans и топовых маркетплейсов, сформулировав некоторые инсайты о том, какие лучшие практики маркетплейсы могут позаимствовать у OnlyFans. Нет, речь не о том, о чем вы подумали 🌚
Речь про увеличение фокуса на низкозатратном user-generated контенте и на дистрибьюции цифровых товаров с меньшими логистическими затратами, а также на децентрализации операций
Другими словами, получилось очень контентно! Можно класть на слайды и идти продавать консалтинг 😁
Так что AGI все ближе и ближе...
Одно из основных опасений при использовании LLM - это их склонность к галлюцинациям (то есть, к выдаче ложной информации за фактическую). Понятно, что сейчас эта проблема сильно менее значима, чем год назад, но все еще остается актуальной особенно для кейсов, чувствительных к точности.
Поэтому увлекательно наблюдать за новыми инструментами для работы с этим. Наткнулся на интересный релиз модели Lynx по детекции галлюцинаций и, что еще важнее, опенсорсного датасета HaluBench, на котором исследователи могут и дальше обучать подобные модели.
Недавно опубликовали мой экспертный комментарий про маленькие большие языковые модели (SLM) - относительно новый тренд в сфере AI. Сейчас все больше появляется понимание, что для многих бизнес-кейсов нерентабельно использовать огромные модели на десятки/сотни миллиардов параметров, так как маленькая модель будет работать быстрее и эффективнее, а при правильном дообучении и настройке будет работать не сильно хуже, чем ее большие конкуренты.
Читать полностью…
Недавно рассказали про некоторые результаты Сбера в части AI-трансформации. В нашей DS-команде уже почти 3 тыс. человек, а финансовый эффект за последние 5 лет составил около 900 млрд руб.
А еще на прошлой неделе поделились информацией о нашей программе AI Disrupt, которая фокусируется на внедрение передовых технологий (например, LLM) для радикальной трансформации продуктов и процессов. Это направление мы с командой запускали только в прошлом году, и уже достигнуто много крутых результатов 🚀
Недавно выступал на конференции FinNext, где рассказал про то, зачем и как внедрять LLM в банковский бизнес:
- Основные категории бизнес-кейсов и таргетируемые метрики
- Верхнеуровнеый процесс внедрения и ключевые этапы
- Планы по развитию этого направления
По ссылке можно посмотреть запись выступления:
https://youtu.be/r1bi3ZtG0n4?si=VFCZU4SEK-9DzkiF
Kandinsky 3.1 вышел в открытый доступ ❤️
Уже можете попробовать вот здесь: @kandinsky21_bot
Тут на днях наш Kandinsky попал в топ-5 лучших в мире генеративных text2image моделей. Особенно выделили его способности генерации абстрактного искусства. Крутое достижение!
И подходящий повод напомнить, что недавно вышла версия Kandinsky 3.1. Она пока не в открытом доступе, но на Хабре можно уже почитать подробности про нее. Если вкратце, то модель стала работать быстрее, и появилось много новых фичей, так что теперь она потенциально ещё полезнее для применения в бизнесе 🚀
Недавно писал про Devin и подобные ИИ-инструменты, помогающие аугментировать работу программистов, а теперь и инструменты для data scientist'ов на подходе!
Конечно, тулы AutoML существовали и раньше, но показанный AIDE выходит на новый уровень качества, превосходят человеческих DS в большинстве задач на Kaggle (см. график), который обычно считается основным бенчмарком.
Понятно, что решение задач на Kaggle ещё далеко от реальной работы DS в индустрии, поэтому пока опасаться за автоматизацию рабочих мест не стоит, но скорее всего AIDE уже может стать крутым помощником специалистов
Опубликовали интересный прогноз по влиянию ИИ на экономику UK:
- В плохом сценарии экономика теряет 8 млн рабочих мест, которые не получится заместить
- В хорошем сценарии - все рабочие места будут аугментированы (а не автоматизированы), и экономика получит +4% прироста эффективности (в ВВП)
Правда, видимо, будет где-то посередине, но я бы скорее верил в больший потенциал аугментации. Как минимум, на горизонте ближайших 5 лет...
OpenAI выложили новую порцию крутых роликов от Sora 😍
Уже не терпится попробовать самостоятельно)
Конечно, вопрос, насколько много усилий и навыков промпт-инжениринга нужно, чтобы сгенерить такую красоту...
На Hugging Face сейчас больше 500 тыс. моделей в open-source для разных модальностей. Что, если эти модели можно комбинировать для получения эффективных синергий и более крутых результатов?
Сегодня Sakana.ai представили Evolutionary Model Merge - общий метод на основе эволюционных техник для открытия новых полезных комбинаций моделей с разными модальностями и навыками. Например, им удалось создать таким образом несколько мощных Foundation Models для японского языка (Large Language Model, Vision-Language Model и Image Generation Model), которые уже обогнали существующие State-of-the-Art решения, при этом без отдельного дообучения под оцениваемые бенчмарки. Так что, кажется, мы приближаемся к еще большей автоматизации разработки ML-моделей (и теперь это даже касается LLM).
В анонсе много интересных технических подробностей и схем, так что рекомендую ознакомиться :)
🔥Nvidia выкатила новые монстры для AI: Blackwell B200 GPU и GB200 "суперчип"
Как всегда бывает на презентациях NVIDIA, слово "быстро" - это вчерашний день.
↪️ B200 GPU обещает до 20 петафлопс производительности в FP4 и 208 миллиардов транзисторов. Ваша GTX 1080 Ti нервно курит в сторонке.
↪️ В одной B200 будет 192GB памяти с пропускной способностью 8 ТБ/с. Идеально для LLM моделей, которые жрут память как не в себя и требуют большую пропускную способность.
↪️ GB200 "суперчип" объединяет 2 таких B200 GPU с одним Grace CPU (на ARM архитектуре). Nvidia хвастается, что это в 30 раз производительнее для инференса в LLM в FP4 по сравнению с H100.
↪️ Ключевая фишка - второе поколение трансформерного движка, который удваивает вычислительную мощность, пропускную способность и размер модели. Но хз, какая потеря точности будет после конвертации в FP4.
↪️ Nvidia утверждает, что GB200 снижает стоимость и энергопотребление в 25 раз по сравнению с H100 (опять же, в FP4).
↪️ Теперь будет поддерживаться и новый формат - FP6, золотая середина по скорости и точности между FP4 и FP8. Но бенчмарков не показали.
↪️ FP64 на уровне 45 терафлопс на GPU (против 60 у H100). Для нейронок double precision не релевантен, поэтому они особо и не парятся ускорять тут.
↪️ Тренировка GPT-MoE с 1.8 триллиона параметров (читай GPT-4) требовала 90 дней на 8,000 GH100 и 15МВт энергии. Теперь достаточно 2,000 GB200 и 4МВт. То есть во время тренировки 1x GB200 примерно в 4 раза быстрее чем 1x H100.
↪️ На инференсе GPT-3 с 175 млрд параметров, GB200 "всего" в 7 раз быстрее H100. Ну ладно, не все сразу.
Но не радуйтесь раньше времени - цены будут ядреными! Если H100 стоит около $40k, то GB200 будет минимум в 4-5 раз дороже.
Да и не достать их будет простым смертным. Первыми их получат Amazon, Google, Microsoft и Oracle. Известно, что Амазон уже планирует кластер на 20,000 GB200.
А потребительские версии Blackwell ожидаются не раньше 2025 г.
Ещё посты для интересующихся:
1. Про H100
2. Про H100 NVL192GB
3. Про GH200
@ai_newz
Наконец-то вышла обещанная LLM от Маска!
Grok-1 на 314 млрд параметров. При этом она уже доступна на GitHub под лицензией Apache 2.0, которая, кстати, разрешает коммерческое использование. Так что с нетерпением ждём результатов бенчмаркинга и применения в бизнес-кейсах)
А ниже немного деталей из анонса:
- Base model trained on a large amount of text data, not fine-tuned for any particular task.
- 314B parameter Mixture-of-Experts model with 25% of the weights active on a given token.
- Trained from scratch by xAI using a custom training stack on top of JAX and Rust in October 2023.
Джон Уик поможет генерить видео
Важный шаг для развития моделей генерации видео. Runway заключили сделку с компанией Lionsgate для получения доступа к огромной библиотеке фильмов. Эти данные будут использоваться для обучения новых моделей Runway.
Мы все ещё ожидаем прорыва в этой сфере, который может сильно перевернуть подходу к продакшну в Голливуде. Там уже активно применяется AI, но пока скорее как дополняющий, а не критичный элемент. При этом, конечно, индустрия пока опасается переходить к массовому внедрению из-за угрозы потери рабочих мест.
Последний экзамен человечества
Красивый маркетинг от Scale AI и Center of AI Safety :)
Они выпустили интересный проект по названием Humanity's Last Exam.
Цель - создать самый сложный экзамен, на который человечество способно. Тест Тьюринга уже давно не актуален, так что может быть этот экзамен позволит нам определить появление AGI?
Зависит от того, насколько разнообразным и при этом универсальным получится экзамен. В любом случае, затея интересная (и красивая 😍)
А ещё все желающие могут отправить свои вопросы и даже получить деньги, если они окажутся лучшими / самыми сложными!
Так что проходите по ссылке и пишите свои вопросики про синих уток и клубнику :)
Open-source наносит ответный удар!
Состоялся релиз Llama 3.1 (включая их самую большую модель на 405 млрд параметров!), и результаты впечатляют 🔥
По некоторым метрикам они уже догнали или обогнали эталонные GPT-4o и Claude-3.5, а в классе маленьких моделей уже однозначно захватили лидерство. И это качество бесплатно доступно для всех желающих!
В продолжение истории про маленькие модели - думаю, многие на прошлой неделе видели релиз GPT-4o mini. OpenAI выпустили компактную модель (но кол-во параметров мы, конечно же, не знаем, так как они никогда этого не раскрывают), которая по качеству не сильно отстает от флагманской GPT-4o (см. первую картинку с графиком), но при этом стоит почти в 30 раз дешевле (инференс стоит $0.15 за 1 млн токенов вместо $5). Разумеется, это открывает большой потенциал для новых бизнес-инициатив с LLM, которые раньше было сложно реализовать из-за ограничений юнит-экономики.
Что интересно, уже давно на рынке есть китайская модель DeepSeek, которая показывает потрясающее соотношение cost-to-value (см. вторую картинку с графиком), а инференс стоит всего $0.14. При этом веса модели доступны в open-source!
Кстати говоря про open-source, на прошлой неделе еще был релиз новой маленькой модели Mistral NeMo (12B параметров), которая тоже показывает впечатляющие результаты и обходит Llama 3 8B и Mistral 7B.
Интересно наблюдать, что сейчас компании борются не только за качество моделей, но и за их эффективность. Так что вполне возможно, что в недалеком будущем мы увидим модели высочайшего качество со стоимостью инференса в $0.01 за 1 млн токенов...
Вчера OpenAI представили свое видение уровней развития AI на пути к AGI. Выглядит достаточно любопытно, так как косвенно связывает уровни прогресса с экономической ценностью, что соответствует их определению AGI (из чартера): highly autonomous systems that outperform humans at most economically valuable work.
Ниже решил добавить от себя, как я вижу экономическую ценность каждого уровня:
1. Chatbots - системы, которые способны просто вести диалог
Economic value (EV): развлечение пользователей, автоматизация низкокогнитивных задач, помощь в обработке информации.
2. Reasoners - системы, решающие когнитивные задачи на уровне человека, включая логические рассуждения и анализ данных.
EV: универсальный консультант и аналитик по любым вопросам, автоматизация стандартизированных высококогнитивных задач, поддержка в принятии решений.
3. Agents - системы, которые могут совершать действия с высоким уровнем автономности и взаимодействием с окружающей средой.
EV: полноценный сотрудник в любых сферах, который может самостоятельно выполнять простые и сложные задачи в формате end-2-end
4. Innovators - системы, которые не только решают поставленные задачи, но и ставят задачи сами себе, а также создают новое в процессе.
EV: мощный драйвер научного и экономического прогресса, автоматизация любых стандартных и нестандартных задач
5. Organizations - системы, выполняющие работу целых организаций, включающие функции сложного планирования, координации множества зависимых процессов и принятия стратегических решений.
EV: полный контроль над всеми процессами организации
OpenAI считают, что они сейчас приближаются к уровню 2, а значит до AGI уже не так далеко. Хотя что именно мы можем называть AGI - остаётся открытым вопросом.
Еще один непокрытый вопрос в этой классификации - как быть с физическим воплощением (Embodiment)? Можем ли мы считать AI, имеющий только виртуальное воплощение, общим? Кажется, что нет, ведь тогда он не сможет превосходить людей в "...most economicaly valuable work", так как существенная ее часть все ещё требует физического воплощения.
Вышка первым из российских университетов утвердила принципы использования ИИ.
По ссылке можно прочитать про них подробнее, но что меня больше всего радует - применение ИИ не запрещается и жестко не регламентируется. Скорее определяются принципы того, как наиболее эффективно и ответственно использовать инструменты ИИ для обогащения образовательного процесса, ведь ИИ и правда может быть крутым помощником в нем.
При этом, конечно, важно понимать текущие ограничения ИИ и брать на себя полную ответственность за результат, ведь это просто инструмент, который дополняет наш естественный интеллект.
А напишите в комментах, что вы думаете про применение ИИ студентами)
Что-то я в долгом отпуске совсем забыл про новости ИИ, а там столько всего интересного происходит...пора наверстывать - скоро продолжу публиковать контент :)
А пока предлагаю посмотреть наш подкаст с Алиной с интересными обсуждениями про эпоху ИИ, причины успеха ChatGPT, новые востребованные навыки и использование ИИ в образовании 👨🎓
https://youtu.be/PFKKpa_AhLg?si=eUw-rAQTYNr2Fxul
🔥Новая SOTA среди опенсорсных моделей - вышли новые ламы. При этом сразу в двух размерах (большая 70B и маленькая 8B), а ещё и на подходе в третьем (огромные 400B).
Результаты на бечмарках MMLU уже существенные. Немного обгоняют модели своего класса, а гигантская модель 400B планирует уже совсем близко подобраться к уровню GPT4.
Также есть уже результаты на ChatBot Arena - LLaMa 3 показала лучшие результаты среди опенсорсных моделей и приблизилась к топовым проприетарным.
Смотрите все результаты на скринах выше и по прикрепленным ссылочкам.
Но повлияет ли этот релиз в целом на отставание опенсорсных разработок от проприетарных? Пока выглядит, что нет, так как большого прорыва не происходит. Вполне вероятно, что в следующей итерации OpenAI / Google / Anthropic зададут новую планку, которую LLaMa и прочие опять будут постепенно догонять
Forbes, Sequoia и Meritech представили рейтинг топ-50 ИИ-компаний, которые суммарно привлекли уже $34.7 млрд.
На картинке выше особенно интересно посмотреть на распределение по сегментам индустрии. Практически 2/3 от всех привлеченных средств пришлось на Foundation Model Providers (OpenAI, Anthropic, Mistral, Cohere), что не удивительно, учитывая огромное внимание к этому направлению. При этом мы видим и большое количество компаний с индустриальной специализацией, которые пока не подняли настолько большого объема средств из-за меньшей многофункциональности, но потенциально в будущем могут привлечь существенный интерес со стороны мэйджоров соответствующих индустрий.
OpenAI презентовала свою новую разработку для синтеза голоса - Voice Engine. Всего 15 сек записи вашей речи, и можно будет воссоздать голос с очень высокой точностью!
Потенциал применения, конечно, огромный. Например, перевод на другие языки, который в перспективе можно будет делать практически в синхронном режиме, когда вычислительная эффективность моделей/железа чуть подрастет.
Но есть и более негативные кейсы, так как технология открывает еще больший простор для мошенничества. Уже сейчас, к сожалению, набирают обороты такие случаи с клонированием голоса и отправкой голосовых сообщений якобы от ваших знакомых. Поэтому будьте бдительны!
Забавно, что такую опасную технологию выпускает OpenAI, которая больше всех говорит про этику и безопасность 😁
Но на самом деле, в том числе из этих соображений, они не выкладывают технологию в open-source и пока дают доступ к ней только своим партнерам. Правда, рано или поздно open-source все равно догонит, и к таким штукам может появиться доступ у всех подряд...
OpenAI дали доступ к SORA разным креативным людям по миру – и те показали свои первые работы с ней.
Выкачал вам все примеры – как по мне, довольно клево вышло, в руках профи SORA по настоящему раскроется.
Пост тут:
https://openai.com/blog/sora-first-impressions
Замечали, как в последнее время каждый день появляются какие-то новые AI-инструменты?
А теперь вот есть AI для поиска других AI - "There's an AI for that" 🤷
На самом деле, полезная штука. Можно найти уже готовые инструменты для решения своих задач или просто вдохновиться на создание чего-то нового. Так что рекомендую всем, кто ещё не видел, поиграться)
#news
Важные перестановки в высшем эшелоне AI индустрии. За этим так интересно наблюдать, что пора бы уже снимать сериал. Один скандал с уходом Альтмана чего стоит...
Кстати, в момент ухода Альтмана была попытка со стороны Microsoft перетянуть к себе всю основную команду OpenAI, но тогда не получилось. И вот сейчас им удалось провернуть это с другим стартапом - Inflection AI. Классные ребята, среди которых Мустафа Сулейман (со-основатель DeepMind), а в портфеле у них интересный проект с эмпатичным чатботом Pi, который в каком-то момент считался достойным конкурентом GPT.
Теперь вся их основная команда переходит в Microsoft в прямое подчинение к СЕО, для того, чтобы развивать собственные AI продукты, а также улучшать технологии OpenAI для встраивания их в экосистему Microsoft. Есть шансы, что у них может хорошо получиться, ведь в их распоряжении сильные мозги и большие ресурсы корпорации.
А сама компания Inflection продолжает свое существование, но меняет фокус с науки на продажу продуктов для бизнеса.
P.S. Кстати, у Сулеймана не так давно книжка, которую я хочу прочитать - The Coming Wave. Кто читал? Стоит того?
#news
Сегодня ночью все с интересом следили за презентацией Nvidia, и они, как обычно, порадовали впечатляющими цифрами 🤩
Теперь можно будет майнить биток обучать большие модели в 4 раза быстрее!
Думаю, чуть позже напишу саммари ключевых инсайтов от себя, а пока поделюсь хорошей выдержкой основных технических деталей)
Если вы ещё не пробовали блины по рецепту искусственного интеллекта, то вам точно нужно посетить наш павильон на ВДНХ! Пока Масленица в разгаре.
Спойлер: наши нейросети сгенерировали ещё и один из вкусов смузи в кафе нашего павильона.
Этот спешл мы приготовили ко Дню искусственного интеллекта! 🔥
Что ещё делали наши гости вчера в павильоне Сбера на ВДНХ:
🤖 учились генерировать изображения в Kandinsky
🤖 создавали собственный дизайн мерча с помощью Kandinsky
🤖примеряли новые образы в ИИ-зеркале
🤖 генерировали дизайны для СберКарт
🤖 слушали интересные образовательные лекции об ИИ от экспертов
На словах все эмоции не передать! Смотрите видео и погружайтесь в атмосферу дня🔥
Наши праздничные активности будут проходить в павильоне №2 на ВДНХ до 15 марта. Мы приготовили для вас викторину с подарками, блины и смузи по рецепту AI, а также крутые локации. Ждём вас 💚