Валера Ковальский
23 April 2026 20:04
Ну наконец-то готов релизить OCR сервис
sotaocr.com
Что это? Это сервис распознавания документов. Грузите PDF, получаете распознанный json. По капотом лучшая OCR модель из имеющихся на рынке по цене-качеству.
— Очень хороша в таблицах
— Специально натренирована на математические формулы в LATEX формате.
— Отдает честные границы объектов (LLM это делает как бог на душу положит).
— Знает много языков
Ограничения:
— плохо работает с рукописным вводом. Для этого нужно усиливать модельку, знаю как — если нужно пишите, сделаю
— я пока отключил распознавание картинок, работает только PDF. Планирую скоро включить.
В общем, велкам пробовать. 30 страничек бесплатно, дальше можно закинуть денежку и пользоваться по мере необходимости.
PS Если есть проблемы — сразу в личку пишите, поправлю. Не забудьте написать почту, под которой регались.
Читать полностью…
Валера Ковальский
23 April 2026 09:34
Доделал идею из предыдущего поста с отдельным docker контейнером под agent harness deep research + добавил фронтент, все что нужно для настойки это ллм, тестил на gpt oss 120b
Запускается отдельный контейнер в котором спавнится delegate режим и оркестратор, создает agent team на базе sub process внутри логики hermes agent + ACP для передачи состояния
Получился на базе hermes-agent полноценный агентный поиск с сабагентами работой с файлами и skills
just for fun and research!
https://github.com/vakovalskii/searcharvester
Чуть более детальное объяснение что это и зачем
Читать полностью…
Валера Ковальский
22 April 2026 14:32
⚡️ Открываем NSFW-бенчмарк для систем модерации
В прошлых постах мы много говорили о фильтрации NSFW. А теперь выкатываем в открытый доступ наш двуязычный бенчмарк для систем модерации контента.
Что внутри датасета:
• контрастные пары — о которых мы уже писали,
• сложные пограничные примеры — hard negatives.
Все данные собирались, отсеивались и валидировались полностью вручную.
В карточке датасета рассказали, как устроена таксономия небезопасного контента. А ещё — добавили метрики популярных открытых моделей на этом датасете для удобного сравнения.
Тестируйте свои фильтры на прочность и делитесь мыслями в комментариях. 😍
↗️ Hugging Face
Автор этого поста, как и большинства предыдущих про безопасность, Андрей Иванов — NLP-инженер в R&D red_mad_robot.
#Безопасность
Читать полностью…
Валера Ковальский
20 April 2026 04:53
LLM hub by Kovalskii
Вчера анонсировал https://hub.neuraldeep.ru/, а сегодня с утра уже есть что анализировать (вы просто супер аудитория!)
Что интересно из аналитики для меня:
Много кто взял модели для прогона pac1 (бенчмарка от Рината)
Кто-то взял для подключения к opencode
И самое интересное что на таком объеме запросов и людей, некоторые высказались тем что очень радует скорость и доступность моделей (gpt oss 120b)
Через неделю я планирую провести закрытий стрим для всех активных пользователей
Важные условия для участия
1) Активно юзать хаб
2) Смотреть почту на предмет сообщений с домена @.ru
Мы разберем как и зачем я использую такой набор моделей, и как начать строить что-то свое, как доводить до продакшена и прокачивать экспертизу
Спасибо всем за идеи и предложения, я все впитываю и сразу же внедряю
По поводу оплат за подписку, она на текущим момент не планируется (тарифы добавлены для теста кликов)
Ну и поздравляю первых 30 пользователей с про доступом на 2 месяца (там очень щедрые лимиты)
Читать полностью…
Валера Ковальский
17 April 2026 20:05
Интересный момент, я недавно переехал в Битрикс(по части направлений), реалии заставляют, после сравнения всех платформ открытость API в битрикс выиграла, и вы знаете, я был очень приятно удивлен как обновилась мобильная апка на ios(честно удобно) последний раз я тут был лет 5 назад
Жду папки для чатов и поиск, и точно аналогов в РФ не будет
Но вайб платформа прям добила, рек
Читать полностью…
Валера Ковальский
16 April 2026 17:15
⚡️ Claude Opus 4.7
ох, ну не знаю ребята, сможете ли вы потягаться с instruction following у OpenAI... 🙂
будем тестить!
Читать полностью…
Валера Ковальский
16 April 2026 13:03
У меня теперь есть обязательства перед моими 9 подписчиками! Поэтому сегодня я выделил время покумекать (слово происходит от корня «-мек-» (связанного с умом, мыслями), родственного словам смекать, невдомёк) на тему:
«шо там у народных LLM» (ЛЛМ [эл эл эм], ДДТ (для тех кто забыл переключить язык), Large Language Model - большая языковая модель (БЯМ (кек)), типа чатГПТ)
Часть 1 из 2 - выбираем модели и правила игры
Еще в далекие ковидные времена мы с Валерой @ и Александром Сергеевичем @ собирали майнинг-ферму. Вложились на несколько десятков видеокарт, которые вы, возможно, трогали, пользуясь Валериными транскрибациями и прочими его сервисами. Так Валерий Андреевич стал ПК-боярином и криптоинвестором, а мы с Сашей за него сильно рады и сегодня обсудим бесплатные LLM для задач исследования рынка
Будем разбираться на примере софта (прим.комплюхтерной (кудахтерной (компьютерной)) программы) для управления промо-акциями формата TPM (ти пи эм [т’и п’и эм] Trade Promotion Management (управление промо-акциями), система для планирования, бюджетирования, исполнения и пост-анализа эффективности рекламных активностей (скидок, акций)) / TPO (ти пи о [т’и п’и оу] TPO (Trade Promotion Optimization) в ритейле — это аналитический подход и программное обеспечение, использующие данные для автоматического планирования, моделирования и оптимизации бюджета на промоакции (скидки, спецпредложения) с целью максимизации продаж и рентабельностb) для B2B (Business-to-Business [би ту би]).
Именно такой пример был выбран неспроста - в этой сфере встречается множество смежных программ с таким же обозначением TPM, но с другим функционалом, процессами и потребителями - например, чековые промо для лутания (прим. получения) кэшбеков или управление промо-кодами для похода на чистку зубов (тема! рекомендую!) или в квеструм с друзьями.
Для исследования берем «народные!» LLM. То бишь:
• бесплатные (хотя бы с лимитами),
• популярные,
• доступные в РФ, в том числе c VPN (ВПН [вэ пэ эн - если ты нишевый; в’и п’и эн - если ты немного манерный или шаришь за дитэйлз энд фэбрик] Virtual Private Network — виртуальная частная сеть, или по-простому программа для обхода Чебурнета).
Выбери бойца:
• Рептилоидные ChatGPT (fast), Perplexity (Sonar), Grok (Pro), Gemini (fast)
• Православная Алиса YandexGPT
• Рисовая DeepSeek (Pro)
Note (ноут [ноут], заметка) на уровне наблюдений и слухов:
• Вендоры (производители LLM) часто выпускают новую модель (LLM) и она хороша. Потом проходит время, хайп (от англ. hype — «ажиотаж», «шумиха») спадает и вендоры квантуют (без занудства - упрощают процессы вычисления, тем самым удешевляя стоимость генерации и ухудшая качество ответов) модели и сокращают ей память. Мы это не учитываем сейчас - у нас же не научное исследование, а чисто в курилке потрындеть.
• Вендоры зачастую балансируют нагрузку. Брат-сват в приоритете, поэтому с утра до примерно 13 часов по Москве рисовую DeepSeek дудосят (от англ. DDoS (Distributed Denial of Service) - отправляют много запросов) китайцы, а после обеда дудосятся представителей рептилоидных LLM, из-за чего модели могут реально тупеть или вообще отказываться отвечать. Эту часть я учел и не отправлял запросы в пиковые часы.
• Сервисы LLM собирают ваш цифровой профиль и используют его для контекста. Если история ваших запросов связана с фермерством, то примеры на абстрактные темы будут связаны с репчатым луком, а шутки с трактористами. Я использовал чистые новые профили и режим инкогнито для чистоты эксперимента
Читать полностью…
Валера Ковальский
10 April 2026 13:37
1) Запросы в vllm + grafana
2) Температуры
Вот как выглядит юсадж двух 4090 (48гб) + gpt oss 120b (2 дня без остановки)
Завтра глянем что такой подход даст на проде, (ваще никаких надежд на победу или призовые места) я потратил на это все 3 часа от силы
211 запусков удалось сделать и около 50 итераций эволюции
Читать полностью…
Валера Ковальский
10 April 2026 08:04
Наконец-то сегодня нашел время что бы отправить видеокарты первому (2080ti) и второму (1660super) месту за прошлый мини ивент =)
Напомню что в следующий раз будем решать чуть сложнее задачки и проведем небольшое соревнование!
Следите за новостями
Читать полностью…
Валера Ковальский
09 April 2026 17:23
Data Fusion 2026 идет прямо сейчас!
Не смог приехать но стримы летят фоном весь день пока вкалываю в терминалах
Сейчас на CV сессии, Колмогорова-Арнольда сети для технического зрения, 3D-реконструкция от AIRI, томограф в чемодане от Smart Engines, и доклад
Рината Шакирова из Иннотех про минимизацию фактологических ошибок анализа документов через OCR и дообучение vLM, прям перекликается с моими экспериментами с Qwen2.5-VL и bbox
Стримы тут, ищите темы которые вам интересны, еще идут математическая оптимизация и панелька про ИИ-трансформацию коммуникаций!
Читать полностью…
Валера Ковальский
08 April 2026 08:42
Вышел наш второй комьюнити-стрим!
Для вас отжигали, на фото: @, @, @, @ и маэстро @
📹 https://youtu.be/nUT1YRvjG98
24 вопроса, 2.5 часа стрим, чуть не дожали до бейзлайна Лекса Фридмана.
Поболтали про агентов, будущее, лобстеров, утекший claude code и вероятность продать свой опенкло за миллиард:
00:00 — Приветствие!
06:06 — Как системно строить общую базу знаний для агентов и как вести документацию?
11:57 — Куда сдвинется бизнес-запрос в течение года: к агентным сценариям или к чему-то другому?
20:07 — Что лично мы нашли ценного в утекших исходниках Claude Code?
25:33 — Какой сейчас реальный scope у локальных моделей и стоит ли их уже внедрять в рабочие процессы?
30:15 — Что делать с тем, что часть разработчиков до сих пор не пользуется LLM, и как сокращать разрыв?
39:30 — Какие задачи лучше отдавать агентам и как контролировать качество результата?
45:45 — Как использовать агентов в обычной жизни для снятия рутины?
53:23 — Могут ли AI-инженеры зарабатывать 900k и какие роли будут цениться выше остальных?
01:07:11 — Каковы шансы стать новым Питером Штайнбергом, которого купит OpenAI, или выйти на быстрый первый миллион?
01:10:47 — Что делать маленькому AI-стартапу с клиентами и заказами, если не хватает доменных экспертов?
01:16:32 — Должны ли AI-чатботы быть явно помечены как AI и почему люди боятся отказываться от документации?
01:22:34 — Как убедить безопасников внутри компании разрешить Claude и Codex?
01:25:04 — Как не терять важные детали встреч/отчетов при постоянных AI-суммаризациях?
01:28:49 — Правда ли, что главный тренд сейчас — перевод человеческого опыта в skills и стоит ли туда идти?
01:39:33 — Как дешево и быстро собирать контекст для мультиагентной системы и не заставлять пользователя долго ждать?
01:47:35 — Чем решения вроде OpenClaw/Codex/Claude лучше традиционных агентских фреймворков и как их ограничивать?
01:52:29 — Как правильно декомпозировать сложный процесс на скиллы? 🤾🏻♀️
01:58:03 — Как написать skill для получения и анализа таблицы в Pandas и Jupyter Notebook?
01:59:48 — Как опытному фронтендеру научиться backend-разработке: через видео или open source?
02:04:06 — Какие три первых шага внедрять системному интегратору без опыта AI-внедрений?
02:07:48 — Как понять, что после MVP агента пора заводить его в инфраструктуру и переходить с внешних моделей на внутренние? И как убедить стейкхолдеров?
02:13:10 — Насколько часто бизнесу нужна оптимизация процессов разработки и можно ли делать это аутстаффом?
02:16:33 — Что почитать про самоэволюционные системы, если душа требует большего, чем просто self-eval loop?
02:24:11 — Как заново собрать OpenClaw, если он стал слишком дорогим по токенам из-за накопленного контекста?
Стримы идут по нарастающей, следующий займет 3,5 часа и посередине придется устраивать обеденный перерыв.
Были рады всех видеть и увидимся в новых сериях! ☕
Читать полностью…
Валера Ковальский
07 April 2026 09:04
Tool Calling на максималках для хард инженеров
Как на самом деле работает Tool Calling: от HTTP до парсеров
Саша @ затронул тему неточности на курсах ШАД про tool calling
Все правы но каждый в своём слое, я даже ответил достаточно развернуто в комментариях
Давайте закрепим как это работает по-настоящему, я залезал в кишки vLLM и переписывал парсер для тулов чтобы проследить весь путь
Три слоя одной правды
Лектор ШАД говорит: «тулы передаются через системный промпт». Саша поправляет: «тулы объявляются в отдельной секции API-запроса». Оба правы, но на разных уровнях абстракции.
Вот что происходит на самом деле (см. диаграмму):
Слой 1: HTTP-запрос
Ты отправляешь tools: [...] отдельной секцией
На уровне API это отдельное поле, не system prompt
Саша тут прав на 1000%.
Слой 2: Chat Template (Jinja2)
Вот тут начинается магия
Открываем tokenizer_config.json любой модели (Qwen3, Hermes и т.д.):
{%- if tools %}
"# Tools\n\nYou may call one or more functions..."
<tools>{tool schemas}</tools>Chat template берёт твои
tools: [...] и рендерит их ПРЯМО в system prompt. Лектор ШАД на этом уровне не врёт (но вводит в заблуждение если не раскрывает сути дальше)
Слой 3: Constrained Decoding (xgrammar)Параллельно JSON-схемы тулов попадают в
guided_decoding=GuidedDecodingParams(json={...})Это xgrammar/outlines — constrained decoding на уровне логитов та магическая штука что заставляет тулы возвращаться не сломанными и со всеми аргументами что вы заложили на старте
Модель физически не может сгенерировать невалидный JSON, маска токенов не даст
Слой 4: Hermes Parser (post-processing)Модель генерит обычный текст:
<tool_call>{"name": "...", "arguments": {...}}</tool_call>Это приходит в поле
contentПарсер Hermes ловит XML-теги, извлекает JSON и перекладывает в структурированный ответ
Важный нюанс:
tool_calls: null,
finish_reason: "stop"Не
tool_use!
Парсер делает всю магию post-processing'ом. Инженерия, да и только.
Почему важно изучать матчасть всю а не по кусочкам? И Саша поднимает очень крутую тему с тем что стоит смотреть чуть чуть дальше доки)
Все банально, залезть в chat template, поднять модельку самому, вывести full логи (это уровень тру llm инженеров) и на этот уровень почти никто не заглядывает, редко вижу где авторы разбирают логиты или темплейты или уж упаси того за ногу запуск чего-то экзотического с разбором инференс движка
На сегодня очень небольшой список тех за кем я слежу и читаю, это те кто лезет настолько глубого в инференс и выкладывает что-то на гитхаб что даже я разбираю их посты с гуглом в обнимку!
/channel/evilfreelancer (Паша очень хардовый инженер по обучение запуску и девопсу)
/channel/sergeinotevskii (Сергей, лично тоже. наком рулит всей AI платформой в Bitrix)
Но вы будете так же правы если на сегодня не сталкиваетесь с проблемами tool call при работе с облачными моделями, оно вам не текущем этапе жизни точно не нужно
Проприетарные API (Anthropic, OpenAI) прячут всё это серверно ты не видишь ни chat template, ни constrained decoding, ни парсер
Получаешь красивый
tool_calls: [{...}] и
finish_reason: tool_useНо внутри ровно та же цепочка, это просто стоит понимать
Ранее разбирал историю SO + FC + MCP в трёх частях: [
часть 1] | [
часть 2] | [
часть 3]
В коментариях прислал пример полного запроса в LLM когда включен максимальный уровень дебага в vLLM
Считаю базой то что сюда надо заглянуть любому уважающему себя инженеру
Не обязательно переписывать парсер но понимать контракт между API, chat template и constrained decoding нужно
Между инференс-фреймворком и провайдером существует контракт что и куда попадает через chat template
Старайтесь не нарушать его и изучать как он работает
Иначе ты не инженер, а пользователь чужих абстракций
Читать полностью…
Валера Ковальский
06 April 2026 15:14
Весь мой вайбкод одним предложением!
За мем спасибо Дяде
Читать полностью…
14058