Machine learning chat

27 October 2026 07:42

Gemini помогла ускорить Gemma в 2,85 раза – за несколько дней.

По данным Google, Gemini 4 Argon использовали для оптимизации инференса Gemma 4 E2B в vLLM на NVIDIA A100.

В опубликованном замере пропускная способность выросла с примерно 37 900 до более 108 000 токенов в секунду. Компания заявляет о полном совпадении выходных токенов и отсутствии потери качества в проверенных сценариях.

Изменения затрагивают разные части выполнения модели: от настройки attention до спекулятивного декодирования.

Это ускорение программного стека, обслуживающего модель. Практический смысл – выполнять больше работы на том же оборудовании.

Цифры относятся к конкретному замеру: без параметров нагрузки их нельзя переносить на любой сервер или считать скоростью ответа одного чата.

Код изменений можно изучить в публичных PR:

https://github.com/vllm-project/vllm/pulls?q=is%3Apr+author%3Alucianommartins+created%3A%3E2026-10-05+created%3A%3C2026-10-10

Machine learning chat

27 October 2026 01:11

Дай ии агенту репозиторий и объясни, что хочешь сделать

Machine learning chat

26 October 2026 22:07

Бери больше,точнее меньше.
Я тут на полке нашел видеокарту с 1 мегабайтов памяти, уверен что потянет!

Machine learning chat

26 October 2026 21:53

спеки какие. можно много чего сделать, а по факту то что?

Machine learning chat

26 October 2026 21:46

громкое утверждение. проверять его конечно же не буду

а также не сказал в каком кванте (насколько хуже модель и контекст). подозреваю кастрат выдает в лучшем случае 70%

Machine learning chat

26 October 2026 21:33

🛠️️️️️️ Для Qwen3-8B не нужна RTX 4090. Но размер контекста может изменить требования к памяти в разы.

По оценке llamaperf, в Q4_K_M с контекстом 8K модель требует около 7,5 ГБ памяти: веса, KV-кеш и рабочие буферы.

Это ориентир для запуска на видеокарте с 10 ГБ VRAM или Mac с Apple Silicon и 16 ГБ объединённой памяти. На Mac часть памяти также нужна системе и приложениям.

А теперь увеличим контекст до 128K: один только KV-кеш в 16-битном формате займёт около 19 ГБ, дополнительно к весам и буферам.

KV-кеш хранит промежуточные данные обработки контекста. Чем длиннее окно, тем больше памяти ему требуется. Квантизация весов до Q4 сама по себе не делает кеш четырёхбитным.

Фактический расход зависит от движка, формата кеша и настроек. Для 128K также нужна соответствующая настройка расширения контекста.

При локальном запуске считайте память под модель вместе с нужной длиной диалога. Для коротких задач максимальное окно часто просто не требуется.

https://llamaperf.com/model/qwen3/vram

Machine learning chat

26 October 2026 21:00

Не сарказм, но могу понять, почему похоже на сарказм. А почему нравится?

Machine learning chat

26 October 2026 18:55

это сарказм или нет? мне нравятся оба варианта

Machine learning chat

26 October 2026 18:41

Так твой работодатель платит тебе больше, чем ты платишь за подписку

Machine learning chat

26 October 2026 18:31

ну кароч чо, осечки у нейтронок бывают, аргумент «у меня всё работает» - не аргумент )

Machine learning chat

26 October 2026 18:10

В последнее время правда транзы в блокчейн отказывается отправлять, потому что ей запретили, но для этого есть клод

Machine learning chat

26 October 2026 17:28

это какой шизой своему агенту контекст засрать надо, что бы тот всё к черту начал удалять то

Machine learning chat

26 October 2026 17:19

я не разбирался, чессслова, лень

но на одной впске дважды делал ресет, потому что терял к ней доступ после ковыряния там клода

Machine learning chat

26 October 2026 17:17

Подожди, а в чём вообще разница между годной впской и нищевпской, кроме цены?

Machine learning chat

26 October 2026 16:53

На астру нет нареканий, все впски мне настраивает, я уже забыл когда сам по ссш делал что то
Причем по ощущениям опус последний не хуже, а во многом даже лучше (во всем кроме хардкорной матеши)

Machine learning chat

27 October 2026 01:47

https://arxiv.org/abs/2610.15384

Machine learning chat

27 October 2026 01:11

Как раз кеш очень чувствителен к квантованию и даже между 8/16 разницу можно заметить невооружённым глазом, если речь о кодинге

Machine learning chat

26 October 2026 21:54

А что, про страту не писали в канале? Пытаюсь ща соорудить без опыта в этом квен 3.8 на 125Б, 8 + 64 памяти

Machine learning chat

26 October 2026 21:51

модель с драфтером можно ужать гигов в 4+1

Machine learning chat

26 October 2026 21:42

модель древнейшая и кеш никто в 16 битах не гоняет
qwen 3.8 27b отлично влазит в 12 vram с кешем

Machine learning chat

26 October 2026 21:08

ну если не сарказм, то просто есть смысл в этих словах, нравится обобщение и вывод

но и как сарказм тоже можно понять, высказывание дискусионное само по себе, а в вакууме, если не задумываться, может звучать как голословное "мы правы" (и передразнивание такой позиции)

Machine learning chat

26 October 2026 19:24

🖥️ GPT-6.1 Terra: OpenAI вдвое снизила цену на агентную модель среднего класса

OpenAI выпустила GPT-6.1 Terra для агентных сценариев, работы с компьютером и повседневного кодинга. Цена в API вдвое ниже, чем у GPT-5.6 Terra: $1 за миллион входных токенов вместо $2 и $6 за миллион выходных вместо $12.

По словам OpenAI, модель решает задачи более чем втрое быстрее, чем Astra и GPT-6.1 Sol. На Agents' Last Exam она заметно обходит GPT-5.6 Terra и, как сообщается, сравнима с GPT-6 Astra при цене токена примерно в десять раз ниже.

Доступна в ChatGPT Work, Codex и через API под id gpt-6.1-terra. В ChatGPT раскатка идёт на Plus, Pro, Enterprise и Edu.

Источник: https://openai.com/index/introducing-gpt-6-1-terra/

@ai_machinelearning_big_data

#ChatGPT #OpenAI

Machine learning chat

26 October 2026 18:44

Ещё как решает. Чем выше слой абстракции, тем больше недовольные на этом слое правы по сравнению с предыдущим.

Machine learning chat

26 October 2026 18:33

а я вот решил модулем едра, чтоб без потери производительности на своей полудохлой впске )

Machine learning chat

26 October 2026 18:30

у тебя амнезия в докере? или модулем ядра?

Machine learning chat

26 October 2026 18:09

Амнезию с полпинка настроила, гермес с полпинка настроило

Я обленился настолько, что когда локальный клиент слетает, я просто говорю ей "залезь в логи посмотри что там", она какие то службы перезапускает, потом говорит презагрузить комп, я перегружаю и все работает.

Machine learning chat

26 October 2026 17:23

амнезию, например, на пол пути начинал чекать и настраивать как вайргуард, не находил нужных имён интерфейсов и начинал чуть ли не в ядро там лезть, чтобы починить

Machine learning chat

26 October 2026 17:18

одна норм настраивается нейронкой, а об другую нейронка спотыкается 🤷‍♂️

Machine learning chat

26 October 2026 17:13

ну видимо какие-то хорошие, годные впски он умеет (в весах лежит работа с типичными впсками и типичными настройками), а вот настройки полусерых нищевпсок за 100 рублей он не понимает и теряется)

Machine learning chat

26 October 2026 16:39

Он даже нормально по ГОСТу пдфку оформить не смог, хотя эту банальную таску даже дипсик мой ненавистный за 5 минут делает