Data Secrets

19 July 2023 09:11

LLaMA 2 вышла!

Есть варианты: 7B, 13B, 34B и 70B. Вот чем она отличается от первой версии тезисно:

– Добавили Grouped-Query Attention
– Токенов стало больше в два раза(2Т)
– Контекст увеличили до 4К
– И самое интересное: есть Chat версии. Они дообучены на диалог, и там даже есть RLHF, прямо как в ChatGPT. По качеству бот сравнимм с ChatGPT-3.5, однако на многих задачах ведет себя даже лучше.

И кстати, веса все-таки тоже опубликуют! Для получения доступа, правда, надо просить его на HuggingFace.

📖 Статья 🖥 Github 🤗 Demo

😻 #news