Шо пацаны, как вам реклама? Конечно же ни один живой спикер не пострадал 😊
Читать полностью…
Открыл для себя новый интересный подход к верстке.
Допустим у вас есть картинка или скриншот. В принципе можно просто сказать агенту - верстай, пока не добьешься полного попадания.
Но это не очень эффективно, особенно если интерфейс богат на картинки и представляет собой нагромождение слоев.
Как поступить иначе? А вот так — ставим себе локально sam3 и делаем скилл по классификации объектов сцены. Далее автоматически извлекаем bbox'ы этих объектов.
Чем это лучше локации с помощью LLM? Тем, что LLM гораздо сильнее ошибается в выдаче итоговых координат. Как следствие, извлечение проходит криво и в много стадий/тратя ваши лимиты почем зря. А вот гибридный подход работает практически с первого раза.
Дальше с этим можно делать что угодно, например перетекстурировать на хромакей с помощью image-gen, сделать прозрачный задник и получить финальный набор ассетов для реконструирования страницы.
Настроил все, чтобы управлять гугловскими кампаниями из кодекса.
Вы скажете — просто.
Я скажу — конечно. Для того, кто в детстве собирал компы из хлама и переустанавливал пиратскую винду из репаков. Остальных ждет множество приятных открытий.
А, да, все те, кто делает этот экспириенс, получают в гугле больше 30 тысяч долларов зарплаты ежемесячно.
Есть такая тема из теории управления — обратные связи.
Так вот, они нужны для устойчивости систем, и любые адекватные системы ими напичканы, чтобы не идти вразнос.
И мне подумалось, а почему мы считаем, что единицей пайплайна является "агент"? У меня ни разу не получилось хорошего пайплайна на одном агенте, всегда что-то идет не так.
Поэтому мысль: минимальной единицей работы должна быть пара агентов, или их четное количество. Простейший вариант — "Писатель"/"Критик" но может быть какая угодно. Главное, они должны работать в паре в противовес друг другу.
Тогда система получается внутренне устойчивой и значительно чаще выдает адекватные результаты.
Что скажете?
Вот это гениальная фича кодекса. Говоришь любой таймер, время, дату - он его ставит и возрождает тред когда тебе надо.
Думаю, привяжу скиллом к списку дел - будет вообще бомба.
Когда я написал про то, что делаю креативы для sotaocr со скиллом, ко мне пришел товарищ, который сказал, что написал целый контент-завод внутри кодекса/клода.
И более того — все доступно оупенсорс, заходишь и скачиваешь.
Креативы получаются очень хорошие, так что с удовольствием пиарю. Фейк отзывы и стата мне особенно понравились, так и просятся в твиттер 😁
качать и пробовать вот тут:
https://github.com/alecs5am/ralphy
https://www.alecs5am.com/skills
У меня для удобства давным давно написана парсилка статей из твиттера. Одной кнопкой выгружает весь контент вместе с картинками.
Добавил расширение, которое выгружает целиком тред.
Я терпеть не могу твиттерские треды, это какое-то чудовищное порождение ограничений платформы, поэтому возможность переделать это в формат статьи - подарок для человечества.
Результат — полноценная статья о том, какие прорывы сейчас произошли в лечении сложных видов рака. Ради нее и захотелось написать этот функционал.
https://vibeportal.ru/forum/topic/nastupaet-era-targetnoi-terapii-raka
Как вам? Что бы вы улучшили в работе с тредами и превращении их в статьи?
Подписчики сообщают, что вышла PaddleOcr следующей версии (1.6), обновил sotaocr
Релиз не очень крупный, но метрики чутка подросли, особенно в распознании редких символов.
А вообще, у нас второй эпизод подкаста про нейронки вышел. Разбираем новости и философствуем.
https://www.youtube.com/watch?v=Zi7dmuQsarw
Хотите узнавать об этом не в пятницу, а сразу после выхода -> подписывайтесь на канал 😎
Экспериментирую с фабрикой креативов для рекламы.
Все эти картинки получены нажатием одной кнопки. Собственно, их можно и сотню так генерить в разных жанрах. Внутри там ideation, классификатор, выбор удачных сочетаний посыла/стиля, и раунды генераций с критиками.
Можно применять для автоматизированного создания и тестов креативов. Вот бы еще интерфейсы и апишки рекламных систем не были полным днищем — как было бы хорошо =)
Наглядная иллюстрация того, почему так легко палятся ии тексты.
Они приводят результат к среднему, сглаживают детали и акценты. Нужны чрезвычайные меры, чтобы этого не происходило (и все равно они работают плохо).
Напоминаю, что с русским литературным языком более менее работают только модели гугла, остальные выдают просто плохой, и очень плохой результат, который не исправить никаким пайплайном.
Не успеваю делать переводы, но в твиттерах много хорошего мелькает, что потом всякие спецы по AI в телеграмах растаскивают без ссылок на источники 😂
Однако эту статью никто почему-то до рунета не донес, а она стоящая — как на самом деле работает goal и как нужно его правильно применять.
TLDR — поймите какую метрику оптимизируете и напишите это при старте цели
Как работать с механизмом /goal в кодексе — читать целиком бесплатно
Ссылка на оригинал там же.
Есть такая штука из научной фантастики — корабли поколений.
Типа, отправляют к звездам очень медленный досветовой корабль, который летит сотни лет. И про это есть классический смешной поворот сюжета, когда пока этот корабль летит, технологии настолько развиваются, что возникают околосветовые и сверхсветовые корабли, которые бац — и прибывают на место раньше, чем тот первый медленный товарищ, который типа был первым.
Эта аналогия очень похожа на мое ощущение от AI проектов.
Видел неоднократно уже примеры, когда упоровшись можно рыть проект несколько месяцев, но уже через пол-года то же самое делается за неделю, а то и за день 🙂
В общем, если у вас что-то не получается, то вполне себе рабочая тактика — просто подождать.
Вообще гэмбла говорят плохо, побеждает казино всегда, вероятность выиграть там статистически меньше 50%
Почему же тогда делать бизнес-это хорошо? И особенно меня конечно интересуют ниши типа мобильных приложений, где адское рубилово ставок предполагает, что в казино выиграть где-то на порядок вероятнее. В чем я не прав? 🙂
Как использовать /goal в работе? Самое главное — задать численную метрику для улучшения. Тогда агент реально будет шуршать часами.
Вот простой пример, бывают и посложнее.
У меня нет антропиков, как-то не сложилось, но вопрос конечно важный.
Как вам фубля?
Внезапно все растащили эту пасту от создателя клешнебота.
Напоминание: хватит промптить кодинг-агентов напрямую.
Нужно проектировать циклы, которые промптят агентов за вас.
Может для кого открою Америку, но если у вас список проектов перестает помещаться на экране, но нагрузки на каждый из них три копейки, то используйте для выкладки Coolify
Это бесплатная оупенсорсная софтина, которая позволяет вам без танцев с бубном завести на одном сервере не один, а десяток проектов, плюс удобно ими управлять в будущем.
Я сначала извращался, писал какие-то деплой скрипты, настраивал реверс-прокси, а потом просто пересел на кулифай где все это есть из коробки, чего и вам желаю.
PS сделал картинку-пояснение в нейронке. Напишите как вы к ним относитесь, мне вроде как с ними понятнее, хотя и видно что сгенеренные. Короче думаю делать такие картинки дальше или нет.
Ну штош, запустил Pro модельку на sotaocr.com
Хорошо распознает рукописный ввод, сложные табличные формы и все такое. Стоит x2 кредитов. Отдельный бесплатный лимит на онбординге - 10 страниц.
Доводить до идеала запарился, так что будут ситуации где она лажает, самое главное что может пойти не так — детектор поворота (иногда тупит на рукописных текстах). В апи его можно отключать.
Самое важное — сравнение с фронтирными LLM (Opus, Gemini, GPT).
В чем их отличие:
+ более универсальны в распознании текста и формул
- очень плохи в определении координат блоков
- очень плохи в построении топологии таблиц
- сильнее пропускают блоки и ленятся на больших документах
- недоступны он премиз. Весь мой сервис ставится он премиз при желании.
На текущий момент это лучшее что есть из OCR для рабочих задач. Пробуйте 👌
Все хочу запустить наконец про-режим в sotaocr.
Целый день убил на отладку модели.
Полноразмерная слишком жирная для карточки, а с квантом обнаружился прикол, с которым я и возился.
Оказалось (внезапно!), что у этой модельки аж две составляющих.
— визуальная
— ллм-ная
И прикол в том, что рабочие кванты у них разные. Если ллм часть можно запускать на q8 и аж даже на q4, то вот качество детектора координат bbox сильно деградирует при любом малейшем квантовании оригинала. И стандартный q8 ее напрочь ломает.
Убил кучу времени, чтобы понять, что же не так и почему она дает кривое распознавание.
Но в итоге смог сделать хороший пресет и даже выложил публично тут
А на картинке попросил гопоту сделать нормальное объяснение механики того, что происходило, если вы хотите вникнуть в тематику поглубже.
Первый раз сегодня запускаю свою квантизацию, а не просто скачиваю модельку с HF, держите за меня пальчики посоны.
Читать полностью…
Хозяйке на заметку
Если решаете задачу анализа изображений, например чертежей, то можно сразу конечно запустить Sota модель со зрением. Например Opus. Только вот на больших картинках он
— ленится
— ошибается
— не умеет в маски и так себе строит bbox
В итоге реально я применяю отдельно детекцию сегментов (ковыряю сейчас sam3), которая дает хорошие маски. А затем отдельно же OCR по сегментам и на закуску уже - прохожусь по каждому из них взрослой моделькой чтобы извлечь итоговую семантику.
Если вам нужно просто вырезать фотку собачки резвящейся на лугу, то это оверкилл. А вот если работаете со сложной документацией, то только так.
ИИ слоп в ФБ конечно мощно набирает. Людям походу такое нужно.
Вот хер знает — вы все говорите, не любим читать ИИ тексты. А сами читаете с удовольствием и комментируете.
Вот что с этим делать, га? 😉
Проводил сегодня урок курса по разработке с АИ. А у меня там блок деплоя. И обычно я просил создавать ssh ключ на сервере, а затем руками прописать его в гитхабе, чтобы сервер мог ходить в гитхаб и подтягивать изменения.
Каково же было мое удивление, когда кодекс сам создал ключ, сам нашел локальный коннект к репе, прописал по апи там ключ и все заработало с первой попытки.
Еще год назад это было просто невозможно, а пол-года назад агенты только-только начинали девопсить по инструкции и просили пойти что-то сделать руками, а сами отказывались.
Сейчас же все делается одним тычком.
Вроде как уже бы и пора перестать удивляться, но не могу.
Кстати, если вы хотите не просто вайбить, но и понимать ИТ системы, почему, что и как устроено — записывайтесь на ближайший курс. С лэндом туплю, но стартанем 22 июня, 7 плотных занятий по вкатыванию в разработку и кодинг. NPS курса 9+, прошло его уже несколько сотен человек. Ученикам очень заходит, что я рассказываю не просто типа пиши промпт туда и вот магия — сайт, а прям подробно раскладываю эту магию по полочкам.
Это третий поток. Каждый раз я его кратно перерабатываю согласно современному состоянию разработки. Этот мы проведем с Кодексом. Результат — вы получите четкие инструкции по разработке трех типов приложений — боты, сайты, мобильные приложения, и сможете дальше начать воплощение своих проектов.
Занятия 2 раза в неделю, понедельник и среда в 18 часов. Веду я лично. Не просто гружу теорией, а прямо при вас открываю среду разработки и наглядно показываю, что где и как происходит. Записи конечно же тоже доступны.
Пока лэнд старый — берите по старым ценам 😁 ai.careerfactory.ru
Новый с обновленной программой обязательно будет уже скоро.
Астрономы рапортуют о невероятных успехах Мифического Телескопа (тм)
Всем известно, что если посмотреть на небо, то мы увидим сотни звезд, складывающихся в созвездия.
Но спустя месяц после того, как в металлическую трубу с двух сторон вставили отшлифованные стекляшки, большинство обсерваторий обнаружили на своем участке неба сотни светящихся точек критического и высокого уровня яркости каждая.
В общей сложности они выявили десятки тысяч звезд. Некоторые из партнёров сообщили, что скорость обнаружения светил выросла более чем в десять раз по сравнению с обычным пялением вверх.
Например, Пулковская обсерватория нашла 2000 звезд (400 из которых имеют высокий или сверхкритический уровень массы) в своей зоне обзора, при этом доля ложных срабатываний (когда за звезду принимали грязь на объективе или летящую сову), по мнению команды, оказалась сильно ниже, чем у невооруженного глаза.
Я видел много комментариев про то, что, мол, Мифический Телескоп (тм) да, может что-то находит, но наверняка выдаёт и много мусора, где никаких звезд нет (например, спутники, светлячки, блики от фонарей) — так вот это не так.
Помимо закрытых и хорошо изученных участков, астрономы натравили Телескоп и на абсолютный оупенспейс — Млечный Путь, на котором, во многом, держится гравитация нашей галактики. На данный момент, по оценкам МАС, в этом проекте найдено 6202 звезды высокого или критического уровня температуры (из 23 тысяч в общей сложности, включая те, которые относятся к тусклым красным карликам).
На данный момент лишь 1752 из этих звезд с высокой и критической массой прошли тщательную проверку силами одной из шести независимых кафедр астрофизики. Из них 90% оказались ОГРОМНЫМИ ПЛАЗМЕННЫМИ ШАРАМИ, но вот насчет оставшихся 10% достоверной информации пока нет.
Обнаруженные звезды льются как из рога изобилия, их не успевают наносить на карты, катастрофически не хватает греческих букв и цифр. Некоторые команды астрологов даже просили снизить темпы раскрытия информации о новых небесных телах, поскольку им требуется больше времени на обновление гороскопов и натальных карт.
В настоящее время ни одна страна не разработала достаточно надежных механизмов защиты (например, огромного непрозрачного купола из фольги), способных предотвратить использование знания о размерах Вселенной для причинения потенциально серьезного экзистенциального ущерба психике. Именно поэтому к Телескопу пока не дают доступ широкой аудитории. Но по этой же причине и был запущен Project NightSky: если оптика с аналогичными возможностями будет выпущена кем-то на масс-маркет без соответствующих мер предосторожности, то в скором времени для любого человека в мире станет значительно дешевле и проще осознать свою абсолютную ничтожность в космических масштабах.
Иду потусить на конфу, доклада не будет, но конечно же я буду на афтепати и там где кормят/ наливают, всегда можете ловить меня там 😁
====
Реальные внедрения, честные ошибки и решения, которые можно унести в свою команду
25 и 26 июня в Питере (и онлайн) пройдет ежегодная конференция по genAI Conversations.
2 дня, 65+ спикеров, 700+ участников, 300+ компаний, а еще нетворкинг и вечеринка – и все про genAI. Всего будет 4 трека:
Бизнес / AI-Native / Продукты / Технологии
Разрыв между «мы внедрили ИИ» и «это работает в продакшене и приносит результат» — огромный. Приходите на конференцию, чтобы узнать о том, как этот разрыв преодолевают те, кто уже прошел этот путь.
Какие темы прозвучат со сцены продуктового трека?
– Как сделать ваше ИИ-решение бесполезным: ошибки на пути от идеи к продакшену в enterprise – Артем Караваев, product lead, Альфа-Банк
– Почему между прототипом за 2 недели и работающим AI-продуктом — ещё 6 месяцев инженерии, фидбека и интеграций – Станислав Округ, CTO R77
– Как с помощью агентского UX мы перевели четверть пользователей из ручной настройки сценариев в голосовой интерфейс —
Иван Голубев, руководитель направления, SberDevices
– Можно ли GenAI-трансформацию превратить в продукт? Кому, зачем и как это сделать – Светлана Захарова, директор по развитию бизнеса, Just AI
Продажа билетов уже открыта! Промокод на скидку 10%: CVS26sDuK
А тем временем, меня как-то люто засосало в инжиниринговые пайплайны. Вот с такой красотой работаю. (очень похожий чертеж в img2 сгенерил, ни одно NDA не пострадало)
Экстракция данных из текстовых и векторных слоев, всякие кастомные скрипты на зрение, проверка информации на полноту и противоречивость, ответы на вопросы типа "сколько куда лить бетона", и так далее. В пределе это будет способно дополнить/заменить огромный пласт работы от архитектора до последнего забитого гвоздя на стройке.
Если вам такое надо и вы готовы платить — знаете, к кому обратиться 👌
то самое ощущение, когда твой подчиненный мудак, но все равно ты виноват как руководитель 🌚
Читать полностью…
