431
Про AI, ML, IT и другие двухбуквенные сферы Для связи - @kononyuk
Тяжело строить IT-стартап в России...
Вчера, 11 сентября, sentry.io, сервис для отслеживания ошибок и измерения производительности приложений, заблокировал аккаунты российских пользователей.
Это стало личным ударом: качество моего проекта gamio.ru держалось, в том числе, благодаря мониторингу sentry. Иронично, что это была единственная зависимость от зарубежного SaaS. Ощущения такие, будто перекрыли доступ к кислороду.
Интересно и то, что в компании так заморочились, что их сайт невозможно открыть даже через VPN. Self-hosted для маленьких проектов тоже сделать невозможно - нужен несоизмеримо мощный сервер, а это дорого и вряд ли окупится.
Буду искать замену
#постнытья
@hikonon
CogVideoX: китайцы выпустили text2video модель с открытым доступом
- Генерирует 6-секундные видео с частотой 8 кадров/сек с разрешением 720x480 пикселей
- Модель потребляет 24 ГБ VRAM, на генерацию одного видео уходит ~90 секунд
🤗 HuggingFace
@hikonon
Пока я переживаю творческий кризис, расскажу о своих бесполезных, но забавных проектах.
Три года назад, когда ни о каком StableDiffusion и речи не было, я обучил GAN рисовать лапшу Роллтон в разных образах. В компании мои старания не оценили, поэтому оставлю это здесь.
Удивительно, как за столь малый промежуток времени развились технологии.
#useless
Больше фотографий
@hikonon
🔍 Aeonium v1.1 Base 4B
Модель обучена на литературе, стихах, Википедии и коде
@hikonon
🤗 Aeonium-v1-Base-4B
Новая модель из серии Aeonium. Все то же самое, что и в 1B, только обучена на большем количестве токенов.
По результатам бенчмарка ruMMLU, это лучшая открытая языковая модель, обученная на русском языке с нуля.
Конечно, до SOTA еще далеко, но первый шаг уже сделан. Instuct-версия будет чуть позже.
@hikonon
👩💻 Игра "Жизнь" на Rust
Относительно недавно я начал изучать язык Rust и сделал свой первый небольшой проект - реализовал клеточный автомат математика Джона Конвея. Основная роль игрока - размещать клетки на поле в замысловатом или не очень порядке и отслеживать, что с ними будет происходить в последующих поколениях. Более подробно про игру можно прочитать здесь.
Конечно, код далек от совершенства, но тот факт, что он хотя бы работает, не может не радовать. Чтобы потестировать, нужно сначала скомпилировать игру (инструкция есть на GH).
👩💻 0x7o/game_of_life
@hikonon
👔 Спасибо добрым людям, которые оказали помощь в получении зарубежной карты.
Но поскольку Google - корпорация добра, они любезно осыпали меня букетом из ошибок OR-CBAT-15/23, про которые ходят местные легенды.
В итоге я не смог одолеть форму регистрации GCP и написал в службу поддержки, где мне сообщили:
Благодарим вас за оперативный ответ. Сообщаем, что мы связались с нашей внутренней командой для получения дальнейшей помощи. Это может занять до 24-48 часов, и мы будем держать вас в курсе, как только у
нас появится информация.
Наглядная инструкция о том, как повысить интерес к своему продукту в 2024 году:
1. Берём абсолютно любой продукт, что угодно;
2. Прикручиваем искусственный интеллект;
3. Наслаждаемся охватами и вниманием аудитории.
📊 Общая оценка модели BulgakovLM 3B на бенчмарке MERA - 0.198
Прорыва не произошло, и LLM лишь немного опередила ruGPT3-large/small и FRED-T5. С учётом погрешности, можно сказать, что они на одном уровне
👏 25 марта - международный день прокрастинации! Поздравляю!
Читать полностью…
⚡️ RussianVibe XL 2.0
Завершено обучение второй версии нейронной сети для генерации пейзажей России. На этот раз набор фотографий был почти в 6 раз больше, чем в версии 1.0!
Такое увеличение датасета существенно повлияло на качество модели:
- Улучшилась геометрия зданий. Теперь они больше похожи на привычный вид из окна)))
- Сцены стали более сложными.
- Цвета стали более разнообразными и насыщенными.
Но качество базового вывода сильно ухудшилось. Это связано с тем, что большинство фотографий из набора данных были сделаны на обычный телефон, из-за чего нейросеть генерирует слегка размытые изображения. Исправить это достаточно просто - добавьте тег low quality к negative_prompt.
Чуть позже я напишу статью на Хабре с более подробным техническим описанием того, как это работает и зачем это все вообще нужно :)
Онлайн демонстрация - https://hf.co/spaces/0x7o/RussianVibe
Файлы модели - https://hf.co/0x7o/RussianVibe-XL-v2.0
Датасет - https://hf.co/datasets/0x7o/RussianVibe-data
GitHub - https://github.com/0x7o/RussianVibe
@hikonon
📺 Runway выпустила Gen-3 Alpha Turbo для всех пользователей
- Это облегчённая версия модели Gen-3 Alpha для генерации видео из текста/изображений
- Максимальная длина видео — 10 секунд (как и у стандартной версии)
- Генерирует видео за 1-2 минуты — это очень быстро, если сравнивать с конкурентами
- Нет возможности увеличения разрешения или продления сгенерированных видео, как было с Gen-2
- Стоимость генерации: 5 кредитов за секунду генерации (в 2 раза меньше Gen-3 Alpha)
Попробовать модель можно без подписки на runwayml.com
#runway #gen3
@hikonon
🗯 Aeonium v1.1 Chat 4B
Дообученная на диалогах базовая языковая модель с нативной поддержкой русского языка.
Нейронная сеть сильно галлюцинирует, но иногда пишет хорошие стихи 😎
- HuggingFace
- Онлайн-демо
@hikonon
📌 Рисуем фракталы на Rust и CUDA
Написал небольшую программу, которая визуализирует множество Мандельброта на видеокартах. Поддерживает многопоточность, anti-aliasing и масштабирование
👨💻 0x7o/mandelbrot_set
📝 Статья на Хабре
@hikonon
👀 Aeonium-v1-BaseWeb-1B
Завершено обучение первой языковой модели для русского языка с 1.6 млрд. параметров.
- 32B токенов в датасете
- 4096 контекстное окно
- Llama в качестве основной архитектуры
- 128k vocab
HuggingFace
@hikonon
🥸 Конец драмы
Google разрешил мне создать аккаунт GCP:
После всестороннего расследования мы выяснили, что ваш аккаунт сейчас активен и находится в хорошем состоянии.
🔒 Google выделил мне TPU v4-256 для создания открытых LLM на русском языке
Два года назад я уже обучал модель русского языка, но тогда датасет был небольшой, и у меня не хватало мощностей, поэтому модель получилась посредственного качества.
Сейчас я собрал датасет на 1.5T токенов (русский, код и немного английского) и готов приступить к обучению 7B-модели, но есть небольшая дилемма: я не имею физ. карты в банке за пределами РФ.
Если вы живете за границей и у вас есть физическая банковская карта, вы можете внести свой вклад в развитие ответственного ЭйАй, оказав мне помощь в активации аккаунта Google Cloud Platform 😳
Пишите сюда -> @Ox7o_x
📎 LIMA: Less Is More for Aligment
- 1000 отобранных примеров для LLM aligment дают результаты лучше, чем 50 000 синтезированных примеров.
- LLaMa 65B, обученная с помощью этого метода, показал лучшие результаты, чем Alpaca и davinci-003. А в 43 % случаев она показала такой же или лучший результат, чем GPT-4.
- Добавление 30 примеров multi-turn диалогов в стиле ИИ-ассистента позволяет LLM отлично поддерживать диалог.
- Это работает благодаря предположению, что хорошо обученные LLM уже обладают необходимыми знаниями, и aligment направлено только на указание требуемого формата ответа.
Поэтому не нужно создавать наборы данных на несколько миллионов синтезированных примеров. Берите качеством, а не количеством.
🤖 BulgakovLM 3B - большая языковая модель для русского языка
Копался в своих архивах и с удивлением обнаружил, что два года назад я обучил LLM для русского языка и никогда об этом не писал. Исправляюсь.
- Три миллиарда параметров на архитектуре GPT-J
- Токенизатор от rugpt3_based_on_gpt2
- Контекст 4096 токенов
- 100 ГБ датасет (>70% веб-страницы)
- Обучена в течение 2-х эпох
Хорошо подходит для дальнейшего обучения и быстрого прототипирования. HuggingFace
@hikonon
📺 Россия, которой нет
Теперь смотреть работы RussianVibe 2.0 можно прямо в паблике VK!
Ежечасно в группе публикуются генеративные фотографии родных уголков России. Подсказки пишутся языковой моделью Llama 2 🤖
Присоединяйтесь!
https://vk.cc/cuRyta
🧠 Сделал нейросеть для генерации пейзажей России. Первая версия обучена на 3500 изображениях из тематических пабликов ВК.
Это LoRA адаптер к SD-XL 1.0. Подписи к изображениям в датасете сгенерированы Kosmos-2.
Затем обучу вторую модель на 20 000+ изображениях и более подробно расскажу об создании нейросети и зачем вообще все это.
Файлы модели - https://hf.co/0x7o/RussianVibe-XL-v1.0
Демо - https://hf.co/spaces/0x7o/RussianVibe-1.0
Код - https://github.com/0x7o/RussianVibe
@hikonon
