19574
Это телеграм-канал о блокчейн, мозге(BCI), цифровой экономике, WEB 3.0 в России и мире. Основатель @AniAslanyan English channel https://t.me/alwebbci
Одним из серьёзных преимуществ ИИ перед человеком - это терпение.
Читать полностью…
США вложат $285млн в цифровые двойники при производстве полупроводников
Все это является частью большого законах о чипах, который был подписан в 2022г.
Администрация Байдена объявила, что будет принимать заявки на финансирование:
- исследований в области разработки полупроводниковых цифровых двойников,
- строительство и поддержку комбинированных физических/цифровых объектов,
отраслевых демонстрационных проектов,
- обучение кадров,
- работу нового института производства CHIPS Manufacturing USA.
Цифровые двойники - это виртуальные модели, используемые для тестирования и оптимизации физических объектов и систем.
Будущее гериатрической помощи, где большую роль играют технологии и подключенные устройства.
Сеть подключенных к интернету датчиков на теле и распределенных по дому отслеживает состояние здоровья пожилых людей и передает динамические данные в облака.
После данные анализируются алгоритмами машинного обучения для координации с лицом, осуществляющим удаленный уход, и с автономными носимыми терапевтическими устройствами.
Такая помощь осуществляется виртуальными визитами к врачу, персональными помощниками с голосовым управлением, а также роботами.
Жена Марка Цукерберга, Присцилла Чан, сегодня заявила, что их с мужем организация CZI использует ИИ для создания цифровых клеток, способных предсказывать поведение здоровых и больных клеток, которые будут иметь широкое применение для биомедицинских исследований, диагностики заболеваний и терапевтического развития.
Они считают, что эти усилия углубят понимание биологии человека на молекулярном уровне, приблизив ученых к лечению, профилактике или управлению всеми заболеваниями к концу этого века.
Сможет ли человечество разгадать тайну мозга человека и узнать, например, природу такой болезни, как шизофрения?
Шизофрения – тяжелое психическое расстройство, которым страдают примерно 24 миллиона человек, или 1 из 300 человек в мире.
На сегодняшний день медицина и наука не знает про шизофрению практически ничего, непонятно, как лечить, а болезнь страшная.
⚡️Apple Watch стало 1-м в мире цифровым медустройством для массового пользователя - историческое событие
По данным Управления по санитарному надзору за качеством пищевых продуктов и медикаментов(FDA) США, Apple Watch, а именно их функция измерения давления крови (AFib) - получило одобрение в качестве квалифицированного устройства в программе Medical Device Development Tools (MDDT).
Это означает, что Apple Watch теперь можно использовать в клинических исследованиях.
FDA описывает его использование в качестве неинвазивного способа сбора данных как до, так и после лечения:
«Предназначен для использования в качестве теста на биомаркер».
Отметим, что Apple уже давно позиционирует свои часы как первая помощь для пользователей, более подробно читайте здесь и здесь.
ГосИИ получает еще один ценный инструмент - финрынку разрешили обмениваться клиентскими данными через открытые API базе портала «Госуслуги».
Предполагается, что обмен клиентскими данными через открытые API может происходить только по согласию клиента.
Поэтапное внедрение обязательного использования открытых API на финрынке планируется с 2026 года.
А в дальнейшем систему могут начать распространять на других поставщиков услуг по модели открытых данных.
ЦБ и Минцифры с участниками финрынка начнут пилотировать платформу коммерческих согласий до конца 2024 года на базе портала «Госуслуги».
Таким образом портал госуслуг получит доступ к большому количеству актуальных данных, которые в дальнейшем можно использовать для обучения ИИ.
Вначале платформа будет использоваться для получения согласий от граждан на обмен информацией о них между участниками финансового рынка с помощью открытых API. Позднее возможно ее использование и для других типов согласий вне обмена по открытым API.
Представьте, какое поле открывается для кибератак и продажи данных.
О том, что РФ делает ставку на госИИ мы писали здесь и здесь.
Solana объединяется с Google Cloud, чтобы вывести игры в Web3 через платформу разработки блокчейн-игр GameShift
Теперь Solana GameShift является частью партнерской сети Google Cloud.
В рамках этого Google сделает игровую платформу GameShift доступной для клиентов Google Cloud.
Сотрудничество расширит и упростит доступ разработчиков к Web3, что позволит игровым студиям беспрепятственно накладывать возможности Web3 в свои игры.
GameShift предоставит API для всех потребностей Web3 - бесшовная интеграция пользователей, внутриигровые цифровые активы, внутриигровой рынок, платежи по кредитным картам и выплаты и тд.
Вы будете смеяться, но чат-бот gpt2 удалили с chat.lmsys.org , именно там он появился впервые
30 апреля мы писали об этой загадочной модели ИИ, которая появилась внезапно и без каких-то документов.
Можно предположить, что это был инструмент OpenAI, который тестировал новую модель.
⚡️Основателя Binance только что приговорили к 4 месяцам тюремного срока — намного меньше, чем просили прокуроры- 3 года.
Напомним, что биржу и его основателя обвинили в отмывании денег.
Криптовалюты и нейроинтерфейсы. Как это совместимо?
Крупнейший игрок на рынке криптовалют Tether, являющийся эмитентом стейблкоина USDt, объяснил почему инвестировал $200млн в BlackRock Neurotech.
Вчера Tether объявил, что купил контрольный пакет акций BlackRock Neurotech и представляет главную основу своего долгосрочного видения и стратегии - Tether Evo.
Почему Tether сосредоточились на биотехнологиях?
- верят в важность инвестиций в технологии, улучшающие жизнь людей.
- хотят помочь миллионам людей во всем мире, страдающим параличом, неврологическими расстройствами и тд.
- фокус на среднесрочном и долгосрочном человеческом потенциале.
На сегодняшний день технологию BlackRock Neurotech уже используют 40 человек с параличом и неврологическими расстройствами.
Их нейроинтерфейсы обеспечивают:
- перевод мысли человека в текст со скоростью 90 символов в минуту
- перевод мысли в речь со скоростью 62 слова в минуту.
В 2021 году в BlackRock Neurotech вложил $10млн Питер Тиль.
О том, как развивается компания, мы писали здесь, также здесь.
Отметим, что это не первые инвестиции крупных игроков криптовалютного рынка в биотех.
Так в 2021 году Виталик Бутерин совместно с основателями платёжной системы Stripe инвестировали в создание института Arc, который
разработал технологию редактирования генов, превосходящую CRISPR для некоторых приложений.
Этот же институт создал в этом году и представил Evo - базовую модель генома, которая обучается на ДНК, РНК и белках.
Итоги уходящей недели в России и мире, что имеет значение:
1. МТС объявил о готовности инвестировать $5млн в блокчейн-проекты, подробнее здесь.
2. Тесты показали, что при использовании Llama3 в медицине, модель не уступает GPT-4.
3. OpenAI готовится с масштабному релизу GPT-5, у которой есть вероятность, что будет другая архитектура. Все подробности со слов Альтмана мы рассказываем здесь.
4. Россия готовится с 1 сентября запретить все криптобиржи, уже сейчас готов законопроект. Делается это для того, чтобы ЦБ точечно через ЭПР дал право открыть криптобиржи тем организациям, которые будут милы Банку России.
5. Константин Батыгин представил новое исследование о существовании 9-й планеты в солнечной системе.
6. Игорь Островский с российскими разработчиками запустили конкурента GitHub Copilot с первыми инвестициям в $252млн, а оценка стартапа составила $977млн.
7. Команда PyTorch разрабатывает библиотеку для обучения больших языковых моделей.
8. Стартовал приём заявок на блокчейн-хакатон Сбера DeFi Hack 2024 с призовым фондом в 1 млн рублей.
9. Компания Science, конкурент Neuralink купила очередной завод для производства глазных протезов.
10. Бюро 1440 стал основным претендентом на получение госсредств для создания низкоорбитальной группировки.
11. 1-е инвестиционное объявление Сэма Альтмана за долгое время, тут подробнее.
12. Создан 1-й в мире ИИ-редактор генов с открытым исходным кодом - OpenCRISPR.
13. Apple работает над ИИ, который будет полностью на устройстве, а не в облаке, как большинство существующих сервисов ИИ.
14. Россия создает промкластер в Саудовской Аравии, тут подробнее.
15. Meta* открыла свою операционную систему Quest для сторонних производителей оборудования и разработчиков.
16. Стартап Xaira Therapeutics собрал $1млрд на создание лекарств с помощью ИИ.
17. UNESCO планирует разработать 1-ый глобальный фреймворк по этике в нейротехнологиях
18. Развитие ИИ и квантовых вычислений имеют решающее значение для раскрытия полного потенциала космоса. Так считает
Кам Гаффарян, основатель Intuitive Machines, которая в феврале высадила на луну первый частный корабль.
19. Крупные события и релизы этой недели в ИИ здесь.
20. С 30 апреля в Гонконге начнутся торги спотовых биткоина и эфира.
21. OpenAI заходит в биотехнологии через Moderna, подробнее тут.
22. На что делает ставку СЕО Midjourney, написали здесь.
23. Свежий отчет об NFT тут.
24. РФ рассчитывает, что страны БРИКС согласятся создать один общий стейблкоин.
25. Росфинмониторинг и ЦБ установили слежку за операциями россиян в криптовалюте.
26. Pleias опубликовал самый большой на сегодняшний день набор данных с автоматической коррекцией OCR — 1 миллиард слов на английском, французском, немецком и итальянском языках.
27. Китайцы выпустили модель SenseNova 5.0, которая превосходит GPT-4T почти во всех тестах.
*Запрещенная в РФ организация.
Google представили свой портал в web3.
Читать полностью…
⚡️Возможно изменение архитектуры GPT5 - последние новости от самого Сэма Альтмана о GPT5 и даже GPT6
На этой неделе Сэм встречался со студентами Стэнфорда и вот, что он им сказал:
1. GPT5 или как бы его не называли, просто будет умнее GPT-4, будет гораздо мощной.
Сейчас мы можем сказать с высокой степенью научной уверенности, что GPT5 будет намного умнее, чем GPT4, а GPT6 будет намного умнее, чем GPT5, и мы не собираемся сходить с этой дороги.
Исходя из этого, можно утверждать, что GPT5 должен находиться на завершающей стадии перед выпуском, поскольку исследовательская группа уже перешла на работу над GPT6.
2. Сэм указал, что истинная инновация заключается в определении сдвига парадигмы за пределы GPT4.
Это подтверждает сдвиг архитектуры GPT5 за пределы GPT.
3. OpenAI собираются дать бесплатный доступ к ChatGPT без рекламы — это то, как OpenAI положительно влияет на общество, преследуя свои цели.
4. Стартапы и исследования, сосредоточенные только на текущих ограничениях ИИ, могут оказаться бесполезными, поскольку GPT-5 и GPT-6, скорее всего, сделают эти усилия устаревшими.
5. Сэм считает, что ИИ изменит представление о развлечениях с помощью персонализированного интерактивного опыта, сочетающего фильмы и игры.
6. Миссия OpenAI — достичь AGI. Открытый исходный код ИИ не является для компании оптимальным подходом для достижения этой цели.
7. Не нужно бояться сверхразумного искусственного интеллекта, поскольку каждая новая модель рассматривается как недостаточная по сравнению с будущими, что приводит к постоянному совершенствованию.
8. Стартапы, работающие с искусственным интеллектом, имеют большой потенциал, но их успех не может быть гарантирован простым использованием искусственного интеллекта. Они по-прежнему должны придерживаться основ бизнеса.
9. Хотя ИИ может превосходить людей в некоторых областях, например в шахматах, однако Альтман привел примеры, где подросткам больше нравится общаться с ИИ-терапевтами, чем с людьми.
🚀Константин Батыгин представил новое исследование о существовании 9-й планеты
Группа исследователей во главе с Константином из Калифорнийского технологического института, Университета Лазурного берега и Юго-Западного научно-исследовательского института представила новые доводы в пользу существования девятой планеты в Солнечной системе.
Теория о ее существовании существует с 2015 года, когда Константин Батыгин и Майкл Браун обнаружили группу объектов, сгруппированных за орбитой Нептуна.
Объяснить это скопление с помощью известных сил не удалось, что привело к гипотезе о влиянии на них невидимой планеты.
За 8 лет было выдвинуто множество теорий о местонахождении этой планеты, но прямых доказательств ее существования ранее не было.
В новом исследовании ученые проанализировали движение долгопериодических объектов, пересекающих орбиту Нептуна. С помощью компьютерного моделирования они изучили различные сценарии, включая влияние галактических приливов. Результаты показали, что наиболее вероятным объяснением является гравитационное воздействие крупной планеты, находящейся в пределах Солнечной системы.
К сожалению, определить точное местоположение потенциальной 9-й планеты моделирование не позволило.
Получить новые доказательства ученые планируют после ввода в строй обсерватории Веры Рубин в Чили в 2025 году.
Константин Батыгин, соавтор гипотезы о 9-й планете солнечной системы, американский астрофизик русского происхождения, профессор планетологии в Калифорнийском технологическом институте.
Его свежее интервью об этом тут
Самый известный китайский чиновник, выступающий за блокчейн, находится под следствием по подозрению в нарушении закона.
Конкретные причины неизвестны.
Он был создателем китайского CBDC и директором научно-исследовательского института цифровой валюты центрального банка.
8 апреля он опубликовал статью, в которой обсуждался одобренный США спотовый ETF на биткоин, в котором говорилось, что рынок ожидает дальнейшего роста цен на биткоин, обсуждались мнения сторонников и противников, а также представлены меры регулирования криптовалют в США.
/channel/alwebbci/2175
Росстат собирается усилить наблюдение за расходами россиян, в том числе цифровыми валютами
В частности, при учете трат могут начать применять данные торговых сетей.
Росстат разместил заказ на НИР стоимостью 6млн.руб., подрядчикам нужно будет разработать рекомендации по внедрению системы сбора данных о тратах населения, которая сможет совместить в себе использование опросного метода и «внешних источников информации»(торговые сети, платежные системы).
Сегодня собрать данные «внешних источников информации» о расходах сложно. В первую очередь из-за банковской тайны, невозможно отследить транзакции в цифровых валютах.
⚡️HuggingFace представили LeRobot - первая библиотека для робототехники
О том, что робототехника будет на переднем плане внимания у всех в этом году, мы писали здесь.
LeRobot для робототехники — это тоже самое, что библиотека трансформеры для nlp.
Кроме того, модели можно обучать на реальных наборах данных.
За последнее время мы стали свидетелями впечатляющих прорывов в исследованиях робототехники с открытым исходным кодом (RT-X, ALOHA, diffusion policies, UMI и другие), которые позволили роботам научиться поведению, которое ранее считалось невозможным при ограниченном количестве данных и небольшой команде.
Мы также увидели огромный приток частных инвестиций в проекты по робототехнике, вот несколько примеров:
OpenAI и Figure.
UBtech и Ernie Bot.
Итоги уходящей недели в России и мире, что имеет значение:
Посмотрите лекцию Михаила Лебедева о реабилитации с помощью нейроитерфейсов.
1. Эмитент стейблкоина USDt купил контрольный пакет акций в разработчике нейроинтерфейсов BlackRock за $200млн.
2. О новой архитектуре нейронной сети KAN написали здесь.
3. Apple Watch стали цифровым медустройством для массового пользователя - историческое событие.
4. Российским участникам финрынка разрешили обмениваться клиентскими данными через открытые API базе портала «Госуслуг». К чему это может привести, читайте тут.
5. Intel представили самый большой в мире нейроморфный компьютер.
6. Google представили Med-Gemini - семейство моделей Gemini для медицинских задач.
7. Большая гонка покорения Луны развернулась между Илоном Маском и Джеффом Бэзосом, все подробности здесь.
8. Про нашумевшую модель gpt2, которая превосходила GPT4, а потом ее удалили, мы написали здесь.
9. Основателя Binance все-таки посадили в тюрьму на 3 месяца.
10. Solana стала частью Google, все подробности тут.
11. Выпущены Neuro - GPT и архитектура для создания цифровых двойников пациентов. Все документы тут.
12. Meta(запрещенная организация в РФ) представила H-GAP — это универсальная модель управления роботами-гуманоидами.
Еще из важного: выпущены Neuro - GPT и архитектура для создания цифровых двойников пациентов
Исследователи выпустили код Neuro-GPT, чтобы решить проблему с дефицитом и неоднородностью данных ЭЭГ для нейроинтерфейсов (BCI) и использовать возможности больших общедоступных наборов данных /channel/alwebbci/2186
Компания Unlearn AI выпустила свою архитектуру нейронной сети для обучения по созданию цифровых двойников пациентов /channel/alwebbci/2187
Очень рекомендуем послушать этот доклад о моделях генеративных видеоагентов для создания игр Google DeepMind.
Это один из лучших примеров сочетания видео и игр, о котором недавно Сэм Альтман говорил и который, как ожидает Google , будет расти в будущем.
Команда Open-Endedness Team из Google DeepMind представила свою фундаментальную модель мира Genie. О ней мы ранее писали здесь /channel/blockchainRF/9437
Статья тут.
CoreWeave, занимающийся облачной инфраструктурой ИИ, привлек $1,1 млрд при оценке в $19 млрд — более, чем в 3 раза больше его оценки всего 5 месяцев назад.
Облачный провайдер GPU CoreWeave, поддерживаемый Nvidia, заявил, что деньги будут использованы для роста бизнеса, включая экспансию компании в новые регионы - Европа.
Раунд был закрыт под руководством Coatue с участием Magnetar, а также Altimeter Capital, Fidelity Management & Research Company и Lykos Global Management.
Этот раунд последовал за успешным первым кварталом
по инвестированию в ИИ стартапы, является еще одним свидетельством того, что инвесторы по-прежнему крайне оптимистичны в отношении этого сектора.
Колмогоров и Арнольд вошли в чат, а точнее KAN - новая архитектура сети на основе теории Колмогорова-Арнольда, способная изменить ландшафт ИИ
Эту архитектуру обсуждают сейчас все. Вот краткая информация о ней.
Небольшое интро. Теорема Колмогорова - Арнольда содержится в одной из основополагающих статей о нейронных сетях, инвариантных к перестановкам, показывая сложную связь между такими представлениями и способом построения агрегаторов set/GNN.
KAN создан Максом Тегмарком, MIT, Northeastern, IAIFI и Калифорнийскм технологическим институтом.
В основе всех архитектур глубокого обучения, в том числе систем компьютерного зрения и больших языковых моделей, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации.
KAN - это альтернатива MLP.
Интерпретируемость модели KAN.
Сегодня главным образом этот вопрос может рассматриваться как вопрос безопасности, но также можно использовать как форму взаимодействия между пользователем и моделью, как утверждается в этой статье.
Масштабируемость.
KAN показывает лучшую эффективность параметров, чем MLP. Вероятно, это означает необходимость меньшего количества данных. Мы уже подошли к тому моменту, когда используются все данные, доступные из Интернета, плюс еще больше данных, полученных синтетическим путем....
Постоянное обучение.
KAN может обрабатывать новую входную информацию без забывания, что помогает поддерживать модель в актуальном состоянии, не полагаясь на какую-либо базу данных или переобучение.
Последовательные данные.
Вероятно, это то, что сейчас интересует большинство людей, и пока неясно , что KAN работают с последовательными данными, и неясно, каким может быть лучший подход, чтобы работать также хорошо, как в обучении, так и в отношении аспекта интерпретируемости. Тем не менее, существует богатая и долгая история получения последовательных данных различными способами, поэтому сдвинуть дело с мертвой точки будет слишком сложной задачей.
GitHub тут. Документы здесь.
Космос в руках бизнеса. Главная гонка - Маск и Безос готовятся отправлять космонавтов на Луну.
Сегодняшняя космическая гонка в некотором роде похожа на гонку 1960-х годов, но теперь вместо США и СССР, это Blue Origin Джеффа Безоса и SpaceX Илона Маска.
Компании готовятся отправлять космонавтов на Луну за счет госбюджета США.
Задача каждой компании - создать космический корабль, который может припарковаться на орбите вокруг Луны и ждать прибытия космонавтов НАСА со второго корабля или космической станции поблизости.
Космонавты переедут на транспортное средство компании, которое затем перенесет экипаж на поверхность Луны.
Blue Origin и SpaceX были основаны на рубеже веков технологическими магнатами.
Маск управляет SpaceX как типичным бизнесом, привлекая деньги от частных и коммерческих клиентов, включая правительство.
Безос же, по крайней мере, до недавнего времени, относился к Blue Origin больше как к исследовательской лаборатории.
Какая стратегия выиграет эту лунную гонку, станет известно в течение следующих нескольких лет.
Уже в 2025 году Blue Origin планирует отправить на Луну грузовой модуль. Если это случится, компания Безоса может превзойти компанию Маска.
⚡️Новая загадочная ИИ модель gpt2-chatbot становится вирусной в сообществе
Вчера все прогрессивное сообщество ИИ тестили новую модель ИИ, которая выпущена без официальных документов, и есть предположения, что она может быть следующей моделью OpenAI. Вчера Альтман написал даже пост любви к ней.
Вот все, что мы знаем на данный момент (и как ее потестировать бесплатно):
1. На lmsys впервые появилась модель gpt2-chatbot, и она реально хороша. Тут можно потестировать ее, правда сейчас могут быть проблемы из-за большого наплыва желающих.
Модель не только показывает хороший уровень рассуждений, но и отвечает на общеизвестно сложные вопросы ИИ с более впечатляющим тоном. См. скрин.
2. Математические навыки.
Чат-бот gpt2 решил задачу Международной математической олимпиады (IMO) всего с одной попытки.
3. Навыки кодирования выше GPT-4 и Opus.
4. Навыки рисования ASCII
Gpt2-chatbot прогрессивнее любой другой модели в ASCII-графике.
Никто не знает до сих пор, кто создал эту новую модель, много спекуляций на эту тему, а ночной твит Альтмана еще больше добавил масла в огонь.
Наблюдаем за развитием событий.
⚡️ Эмитент стейблкоина Tether вложил $200млн в Blackrock Neurotech, разработчика нейроинтерфейсов
Tether получил контрольный пакет акций Blackrock Neurotech, который разрабатывает интерфейсы мозг-компьютер!
Африканские финтех-компании приехали в Москву перенять опыт коллег.
Помогаем им изучить лучшие практики.
⚡️Тот кто получит этот контракт, конечно, будет 🚀 Apple возобновила переговоры с OpenAI об интеграции их языковой модели ИИ в новый IOS18
Несмотря на то, что Apple работает над маленькими локальными моделями, они также хотят, чтобы большая модель работала под iOS 18 на iPhone. Кто станет партнёром узнаем в июне, на конференции Apple.
Известно, что они провели переговоры с Anthropic, Google и OpenAI.
Сейчас снова возобновились переговоры с OpenAI.
С 1 сентября депутаты предложили запретить криптобиржи в РФ. Это очень смешно, потому, как «одна» рука не знает, чем занимается вторая рука
Группа депутатов подготовила поправки к закону о регулировании майнинга в России. В действующем законодательстве есть запрет на расчеты в криптовалюте, но не на ее обращение.
Среди изменений:
запретить организацию обращения криптовалют в России, сделав исключение только для майнеров цифровых валют и тестовых проектов ЦБ в рамках экспериментального правового режима (ЭПР).
Самое забавное, что глава комитета ГД по финансовому рынку А. Аксаков ранее говорил, что криптобиржа будет создана как подразделение Мосбиржи.
Почему теперь А. Аксаков и его коллеги решили забыть и от своих слов отказаться непонятно.
Но несмотря на это Мосбиржа планирует на своей площадке заниматься оборотом криптовалюты, об этом говорили они говорили не один раз, более того биржа создает для этого инфраструктуру:
1. /channel/blockchainRF/8535
2. /channel/blockchainRF/9076
3. /channel/blockchainRF/6379
Поэтому берём 🍿🍿🍿 и наблюдаем за развитием событий.
Игорь Островский во главе с российскими разработчиками запустили конкурента GitHub Copilot с первыми инвестициям в $252млн, а оценка стартапа составила $977млн
Новый стартап Augment уже поддерживает экс-СЕО Google Эрик Шмидт.
Бывший разработчик ПО Microsoft Игорь Островский считает, что скоро не будет разработчика, который не будет использовать ИИ в своих рабочих процессах.
«Программная инженерия остается сложной и слишком часто утомительной и разочаровывающей работой, особенно в больших масштабах. ИИ может улучшить качество ПО, производительность команды и помочь восстановить радость программирования, - заявил Островский.
Поэтому он решил создать платформу кодирования на базе ИИ, которую сам хотел бы использовать, поэтому он создал платформу Augment.
В стартап вложились экс-СЕО Google Эрик Шмидт, Index Ventures, Sutter Hill Ventures, Lightspeed Venture Partners, Innovation Endeavors и Meritech Capital.
Команда PyTorch разрабатывает библиотеку для обучения больших языковых моделей под названием torchtitan
У них есть скрипты для обучения Llama 3 с нуля.
Сегодня библиотека стала общедоступной на GitHub, но она все еще находится на стадии предварительной версии и в активной разработке.