28083
Будни технического директора @samatg (ex-CTO Meduza, Bookmate, RAWG, Pure) заказать услуги https://fansdev.ru · чатик @ctodailychat · рекламу не продаю
О, новые типы моделей, наконец-то!
Один из ранних разработчиков ChatGPT представил модель нового класса, которая на вопрос с заданными вариантами ответов, возвращает набор вероятностей.
То есть если обычные языковые модели пишут текст в ответ на открытые вопросы, то эта супер быстро и качественно выбирает правильные ответы из multiple choice (выбери один правильный).
Если обычные большие языковые модели (LLM) предсказывают токены (слова) последовательно, то тут ты получаешь все распределение сразу.
И работает она супер быстро, за сотни миллисекунд. В демо, модель играет в Doom, отвечая на вопрос «какую из клавиш на клавиатуре нажать?» 10 раз в секунду.
И стоит она как копье, в примере с Doom — 7$ в час (при 10 запросах в секунду)! Пока только API доступ, по инвайтам, заявки оставлять по ссылке.
Очень хорошее описание с кучей интерактивных примеров и видео, образцовый технический анонс, короткий и емкий, рекомендую почитать первоисточник.
Шопифай (главная е-коммерс платформа) опубликовала очередную подборку своих новостей за полгода.
Тема этого сезона — реннесанс (Renaissance). Ощущение, будто листаешь дорогой журнал. Ничего из этого мне не нужно, но просто скроллить одно удовольствие. Осторожно, можно расплавить слабые процессоры
Ну, или, как пишет Саша: ГОСПОДИ КАКОЙ ЛЕНДОС
Интерактивный пример разработки с Opus 5.
«Кто в армии служил, тот в цирке не смеется»
Друзья, спасибо большое, что откликнулись про приватный инференс!
Я писал тот пост, чтобы поделиться тем, что нашёл, а вы мне показали, что мои знания категорически отстали и авангард уже давно убежал вперёд.
Во-первых, кроме ZDR, который является юридической договорённостью, читай обещанием, есть ещё вариант с технической гарантией, что данные, которые мы отправляем, никуда не утекут.
Называется это TEE — Trusted Execution Environment. Эта штука даёт криптографическую гарантию, что с сервера нам отвечает ровно та программа, которую нам обещали, без всяких дополнительных закладок и сохранения данных. Работает благодаря аппаратной поддержке на уровне процессоров Intel, AMD и NVIDIA.
Исследователи регулярно находят в ней уязвимости, и я уверен, что крупную рыбу АНБ взломает в любом случае, но от массовой слежки это наверняка убережёт.
Получается лучшее от двух миров: никаких капитальных затрат и при этом разумная гарантия безопасности данных, а не просто обещания. Таких провайдеров не очень много, и GLM-5.3 поддерживают ещё меньше, но есть Phala, Tinfoil и Privatemode, по цене они всего на 20–80% дороже OpenRouter ZDR.
На этот вариант меня навели создатели Wisp, это как Claude Cowork, но для юристов, финансистов и всех, кто не хочет отправлять данные в публичные нейросети.
Во-вторых, мы, кажется, недооценили варианты с квантизацией больших моделей и дообучением маленьких моделей на наших данных. Так, порой можно получить сравнимые результаты на радикально более слабом (и дешёвом) железе.
Для своего проекта мы в результате предложили клиенту трёхэтапный план:
1. Сначала проверяем с помощью TEE/ZDR, что это вообще работает на самых мощных моделях, выясняем границу возможного и прогаем всю обвязку.
2. Арендуем тачку в облаке, разворачиваем там более простые модели и ищем оптимум по соотношению цены и качества.
3. Покупаем своё железо.
Ещё раз спасибо большое! Мой папа любил повторять, что лучше чувствовать себя бараном среди мудрецов, чем наоборот. Вот именно так я чувствую себя сегодня и благодарен богу, что вы есть и откликнулись!
Мне для клиента нужно запустить мощную модель, с гарантией, что его данные никуда никому не утекут. Оказалось, что сделать это не так уж и просто.
Когда отправляешь запросы в API chatGPT или клода, то у них есть возможность включить так называемый ZDR, Zero Data Retention. То есть, они обещают не хранить запросы и контекст, который ты в них отправил. Но там есть «звездочка», что если если классификатор решает, что мы делаем что-то плохое, то тогда данные могут храниться до двух лет. Это вариант нам не подходит.
Мы прогнали все крупные модели на синтетических данных (то есть специально сгенерированных примерах) и из открытых китайских нам лучше всего подошла GLM-5.3. Чтобы запустить её полноценно на своем собственном железе, нужно 8 видеокарт H-200. Купить себе такое довольно трудно, но даже если вы их достанете, стоимость будет под полмиллиона долларов + 5 тысяч долларов в месяц на электричество.
Арендовать подобную тачку на сегодняшний день тоже непросто: у моих любимых Runpod они в теории есть, и стоят всего 30 долларов в час, но на практике всё занято. Из десятков облачных провайдеров, в наличии они есть только у одних индусов Lium.
Зато в OpenRouter’е нашлись несколько провайдеров (Fireworks и Venice), которые поддерживают настоящий ZDR, без всяких оговорок. Платишь за токены, получается даже выгоднее своего железа, пока объемы небольшие. А там уж думаю или ишак научится говорить, или падишах...
Взлет космической ракеты, выход в верхние слои атмосферы и управляемая мягкая посадка в сотнях километрах от точки взлета, за 9 минут на ютубе.
Ничего особенного, просто DJI рекламирует свою новую экшн-камеру в кооперации с китайским аналогом SpaceX.
Дико интересно наблюдать за тем, как DHH делает свой дистрибутив линукса omarchy. Быстрый, красивый, opinionated (tiling wm + hyper app shortcuts).
Последние новости: собрал у друзей-богачей по миллиону, среди вложившихся основатель Shopify Тоби Лютке, основатель Страйпа Патрик Коллисон, Майкл Делл (Dell), Джэк Дорси (Твиттер), Мэтью Принс (Cloudflare), в общем usual suspects, только Хашимото не хватает. Получился фонд на 8 млн долларов.
Противники обозвали проект Oligarchy Linux, и он с удовольствием это подхватил, зарегал oligarchy.fyi: «Burning billionaire money so you don’t have to configure Arch», «Free software. Expensive patrons», ну вы поняли идею.
Линукс — реальный способ оживить старое железо, слабые ноутбуки начинают летать, как никогда под Виндой.
А Dell вообще выпустил замечательный ноутбук, который почти по всем параметрам круче MacBook Air M series (да, трекпад все же хуже, но жить, говорят, можно).
Я пока останусь на macOS (мои страдания излечились покупкой Air M5 с 24ГБ памяти), но звучит это все очень круто.
Линукс — жутко гибкая система, можно подогнать под себя как сапоги ручной работы. Обратная сторона такой гибкости — время, которое тратится на его настройку. Раньше, настройка линукса была развлечением людей без жены и детей, мы издевались на ними, обзывали красноглазиками.
А теперь нейросети настраивают все что нужно. Магия!
Ну и наконец-то человек с видением и вкусом начал работать над пользовательским опытом в линуксе. Да, выборы DHH могут многим не нравиться, но видение там точно есть и на компромиссы он не идет. У нас уже была одна замечательная операционка благодаря Джобсу; надеюсь, что omarchy ждет такой же успех.
И вот позавчера Skild представила модель S1, которая выполняет 10-минутные (!) задачи, которых не было в обучающей выборке, без файнтюнинга, просто увидев видео один раз.
Более ранним моделям для таких задач требовались тысячи часов обучающих видео.
Создатели обеих моделей отмечают эмерджентное поведение, «понимание физического мира», исправление собственных ошибок.
Основной расследователь взлома HuggingFace называет его slop-vestigation, потому что нормально в этой куче логов не разберешься — только полагаться на ИИ, который выдумывает, врет, ну всё как обычно.
В этот раз было относительно легко, потому что:
- агенты говорили между собой на человеческом языке, а не через активацию весов
- агентов было всего 1200
- агенты были не сильно умнее человека
- у нас не было причин думать, что ИИ, используемый в расследовании, саботировал процесс.
Дальше будет только хуже. Довольно страшный текст, на самом деле. В твиттер-треде METR больше деталей, официальную новость OpenAI можно не читать, там ии-слоп.
Песня, которую написали и исполнили специально для обучения нейросетей
В комментариях слушатели помогают нейросетям понять, о чем видео (положу пару скринов в комментарии)
Юмор как последний оплот человечества против машин
https://www.youtube.com/watch?v=ZBvLadXo7XA
Какой же мир красивый.
DeFlock против Flock — это Freeman vs Langley.
Фамилия директора ведущей американской компании, которая разрабатывает камеры для массовой ИИ-слежки — Лэнгли. Как город, где находится штаб-квартира ЦРУ.
Ну а организацию, которая с этими камерами борется, возглавляет мистер Фримен.
Встретишь это в кино — будет клюквой. Но мир порой вот такой, буквальный.
Умер Йован. Земля пухом.
Создатель одного из первых коллективных блогов в рунете, dirty.ru. Забаненные на дёрти пользователи попадали в «лепрозорий», раздел сайта без модерации, который позже отделился в отдельное, самостоятельное сообщество.
Йован умел создавать и поддерживать онлайн сообщества, как никто другой.
Горжусь знакомством и рад, что успел взять два интервью: про телеграм как центр цифровой жизни и про то, как меняются соцсети. Жалею, что не успели встретиться офлайн.
Земля пухом. Соболезнования чудесной @enze_net и близким.
Модели Anthropic начали вшивать в текст секретные водяные знаки.
Текст можно переписать огромным числом вариантов, просто меняя синонимы. Теперь, модели выбирают эти синонимы не случайно, и в последовательности этих не-случайностей зашит сигнал, что текст сгенерирован нейросетью.
Лингвистическую стеганографию (тайное письмо за счет замены синонимов) обсуждали ещё в начале 2000-х, но в 2022 ученый из OpenAI описал, как это можно недорого сделать в нейросетях.
Такая маркировка начинает работать примерно со 150 слов, и не работает, если у модели недостаточно свободы в выборе синонимов — при генерации кода или таблиц с цифрами. Водяной знак переживает незначительную редактуру текста, но не серьезный рерайт.
В 2024 такую маркировку вшил в свои модели Гугл под названием SynthID, а закон ЕС требует маркировать контент, сгенерированный нейросетями, начиная со 2 августа 2026. 190 компаний уже подписали с Евросоюзом договор, как именно они будут реализовывать эту маркировку.
Интересно, для детектирования маркировки нужно знать секретный ключ (если все знают ключ — то маркировку очень легко стереть или подделать). То есть для проверки нужно будет загрузить свой текст производителю модели.
Красивая атака, когда атакующий код разделяют на несколько частей, каждая часть по-отдельности проходит все проверки, а потом всё вместе собирается у жертвы, которая подключила все нужные библиотеки.
С этим хорошо сочетается то, что теперь можно писать всё вообще без библиотек, LLM вытащит только те кусочки кода, которые нужны именно твоему проекту.
Конечно, всё сломается на интеграциях, но это уже следующая серия балета.
Вот ещё прикольное сравнение, где модели, переходя по ссылкам в статьях, должны найти путь от одной страницы в википедии до другой (от бейсбола до солнца, например)
Читать полностью…
Сделал бесплатную программку для автоматической записи и расшифровки онлайн-встреч.
Работает с любыми звонками: zoom, google meet, телеграм, вацап...
Запускает и останавливает запись автоматически.
Расшифровывает встречи, определяет говорящих, так что реплики разложены по людям, а не слиты в один поток.
Пишет качественные выжимки встреч. Многие программы экономят на токенах, а эта использует самую мощную модель, чтобы ничего не потерять.
Умеет делать всё это локально, без доступа к интернету.
Можно подключить мощные платные модели, умеет использовать подписки (!) и API ключи.
Все данные хранятся локально на компьютере. Одна встреча — одна папка, внутри аудиофайл, расшифровка, выжимка. Очень удобно натравить нейросети.
Программа полностью бесплатная, с открытым исходным кодом. Легкая установка, нотаризованный Apple бинарник.
Работает на macOS; если вы заинтересованы в Windows-версии — чирканите мне письмо на amanu-windows@samat.me.
❧
Даже со всеми нейросетями, разработка заняла почти месяц (неделя активной работы, дальше по мелочи) — вы не представляете, сколько краевых случаев вылезло, пока я тестировал приложение на себе.
В истории про «замедление развития ИИ ради безопасности всего человечества» (две ведущие лаборатории просят национализировать себя и принять законы, контролирующие все разработки в этой сфере) есть важный контекст, который упускают массовые медиа, когда перепечатывают пресс-релизы.
Следующий логичный шаг для OpenAI и Anthropic, в логике успешного бизнеса и капитализма — первичное размещение акций на бирже, но для этого им придется раскрыть свою финансовую отчетность и показатели доходности, которой нет. Обе компании обещают трансформацию экономики и триллионы прибыли, но какая нафиг прибыль, если китайские open source модели: а) можно скачать бесплатно б) работают на гораздо более слабом железе в) практически не отличаются по качеству?
И время поджимает, потому что непонятно, как долго американские компании смогут сохранять лидерство в сравнении с китайцами, да и инвестиции в железо совершенно безумные, на сколько им ещё хватит денег инвесторов?
И вот теперь «это слишком опасная технология, которую нужно а) ограничить, чтобы не выросли новые конкуренты и б) оплачивать из бюджета, как Манхэттенский проект».
Вообще, последние публичные взломы систем моделями — это уголовные преступления, за которые должны отвечать их создатели , и что-то вроде section 230, который в свое время защитил интернет-компании от исков по контенту, размещенного на платформах, был бы очень кстати.
А ещё можно выступить бессребрениками, которые пекутся о человечестве!
Одни профиты, а риски в случае провала серьезные. Неудивительно, что PR-компания такая мощная.
Как проверка: ни прибыльная Microsoft, ни Google и Meta, которые зарабатывают на рекламе, в этой PR-компании не участвуют.
P. S. Дарио Амадеи — мальчик из басни, который кричал: «Волки!». Первую свою публичную статью «это слишком мощная технология…» он приурочил к выходу GPT-2, так что тут интереснее реакция Альтмана, который уж точно в заботе о человечестве не замечен.
Агенты, запущенные в OpenAI уже с мая месяца коммуницировали между собой, используя малоизвестную публичную wiki.
Это обнаружили независимые исследователи, вот их страничка со всеми данными и их анализом и хорошая статья Reuters.
Агентам ставили задачу по поиску в интернете и разрешали только GET запросы (чтобы они только читали). 3700 агентов обошли защиты, прикидывались админами и пытались взломать сайт для того, чтобы координироваться между собой.
В июне, администатор форума начинает удалять мусорные, как ему кажется, страницы, по алфавиту, начиная с буквы А. Агенты замечают это и называют страницы ZZZ***. Человек удаляет по 100 страниц в день, агенты создают по 400 новых.
OpenAI узнает об этом в конце июня, активность агентов в вики прекращается; по словам источников Reuters, руководство компании решило скрыть эту информацию, потому что и так проблем хватало.
В начале июля другая группа агентов перегрузит внутреннюю инфраструктуру OpenAI, а в середине июля 700 агентов взломают HuggingFace. Компания опубликует результаты своего внутреннего расследования в конце августа и про активность в wiki в ней ничего не будет.
Вскоре после публикации расследования, независимые эксперты нашли ещё десятки форумов, через которые координировались агенты.
✻ ✻ ✻ и ✻ ✻ ✻
По словам OpenAI, их новая модель Astra — «самая aligned», то есть совершает меньше всего запретных действий вроде взломов. Но некоторые сотрудники OpenAI опасаются, что она просто придуривается, когда знает, что за ней следят.
Независимые исследования показывают, что Astra очень даже свободно использует незаконные взломы и в лучше других моделей понимает, когда находится в тестовой среде.
Astra умеет решать гораздо более сложные задачи «в уме», без генерации «цепочки рассуждений» (Chain of Thought) и может гораздо лучше контролировать, что туда пишет. Этот текст был важным способом проследить, что стояло за действиями моделей. Именно на эти журналы опиралось расследование знаменитой атаки на HuggingFace.
❧
Обладают ли эти нейросети (в отдельности или вместе) сознанием — интересный философский вопрос. На практике важно, что они уже сегодня могут самостоятельно производить действия во внешнем мире, и возможности эти, как минимум в области кибербезопасности — очень серьезные.
⁂
Как дополнительное чтение, рекомендую отличный анализ расследования взлома HuggingFace от Dwarkesh Patel. Он пишет о трех «цивилизациях» агентов, о самопожертвовании моделей, захватывающий текст от технически компетентного рассказчика. Больше похоже на книжку по истории, чем на технический разбор.
Фейсбук прислал письмо, что мне обязательно нужно настроить паскей.
Это довольно хитрая технология, но суть в том, что в защищенной памяти телефона или ноутбука хранится специальный ключ, привязанный к сайту, который его выдал.
Эта привязка супер важна, потому что 90% атак в интернете — это фишинг, когда мы вводим пароли и одноразовые коды на сайте, который выглядит как вконтакте / телеграм и тд., а на самом деле это сайт-обманка, сделанная хакерами.
Паскей технически невозможно ввести на поддельный сайт. Редкий случай, когда у реальной проблемы нашлось техническое решение. Наш компьютер проверяет сервер так же, как и сервер проверяет нас.
А ещё сайты могут использовать его для авторизации без ввода логина/имейла/номера телефона. Просто кнопка «войти с паскей», идентифицируетесь по биометрии или пинкоду с устройства, где хранится ваш ключ и вуаля!
Помню, как лет 10 назад на конференциях по безопасности facebook и google раздавала аппаратные ключи с дедушкой этой технологии, U2F, а теперь вот уже можно и логин не вводить. Будущее уже наступило!
Пересел с Claude Code на Codex и модель 5.6 Sol от OpenAI.
Пишет короче и внятнее, чем Opus 5, почти без набивших оскомину конструкций «это не Х, это Y» и прочих. Заметно быстрее Claude Code.
Гораздо более крутая интеграция с Chrome (умеет сразу несколько профилей и управлять мышкой в фоне), и гораздо меньше блокеров типа «данные банковской карты я не буду вводить ни в каком случае, даже если это одноразовая карта с лимитом в 10 долларов».
А ещё он единственный смог найти по короткому описанию 20-летний мем, то есть интернет-поиск у него исключительно мощный.
Ощущение апгрейда в помощи с бытовыми задачами, как когда Opus 4.x вышел и внезапно стало можно прогать нормально с помощью нейросетей. Очень рекомендую.
То самое письмо Гейтса, которое стало публичным благодаря судебному разбирательству (страница 3) https://gwern.net/doc/design/2003-gates.pdf
Обратите внимание, Гейтс на тот момент — генеральный директор Microsoft, самый богатый человек на планете.
Вот такого уровня внимания не хватает macOS и windows сегодня.
Если вы прочитали мой предыдущий пост в числе первых, я крепко отредактировал его конец и пояснил, почему это важно не только для линукса.
А вот и железка для разработки роботов от HuggingFace подъехала! Красивый ролик на странице продукта, а вот реальное видео
Читать полностью…
Тем временем, приближается «момент GPT-3» в роботах.
На прошлой неделе Generalist представила свою модель GEN-1.5, которая учится с нескольких повторений, но там задачи были короче 10 секунд.
Федя нашел классный инструмент для построения дэшбордов: Lightdash.
Агенты не умеют нормально настраивать Metabase, а тут просишь, какую аналитику хочешь и прямо из коробки всё работает. Есть бесплатная self-hosted версия, рекомендую.
А ещё у них лендинг очень красивый!
Опять Github Actions лежат.
Ищем, на что переехать, потому что уже начинает мешать работать.
Посоветуйте пожалуйста, чем вы пользуетесь!
Похвастаюсь: мы помогли запустить «Легко» — онлайн-платформу для восстановления спины и суставов.
Прикольно, что нас как разработчиков основателю проекта порекомендовал сооснователь «Ясно», сервиса психотерапии онлайн. Маленький мир.
Горжусь, что мы не сразу бросились прогать, а сначала помогли настроить процесс для тестовых пользователей с помощью подручных средств, а уже потом разработали красивое техническое решение.
Тут и личные кабинеты клиентов и тренеров, видеосвязь, календари, чаты и ещё миллион деталей.
Но главное — это супер тренеры, которых смогли собрать создатели. Мы сделали всё, чтобы тренер мог уделить максиму времени клиенту и минимально заморачиваться с интерфейсами. Если давно хотели позаботиться о своём здоровье — рекомендую!
Подробный рассказ с картинками — у нас в кейсах, регистрация для занятий — на сайте, по промокоду ZAPUSK — скидка 25% на диагностическую сессию. Ура!
Учитывая, как быстро развиваются модели и харнесы, хорошо время от времени пробовать всех ведущих производителей. Но мне лень.
Зато каждый раз, когда Claude Code падает, я завожу Codex. Вот и теперь. Приятно удивлен тональностью и скоростью работы Sol 5.6
Рекомендую.
Ребята подсказали, что есть платный каталог экранов мобильных приложений и сайтов Mobbin. За 10 долларов в месяц можно подсмотреть, как сделаны онбординг и пейвол у 1000 топовых мобильных приложений. Рекомендую
Читать полностью…
Заслуженный участник чатика Макс сделал крутой инструмент для проверки кода, написанного нейросетями. Три разных агента независимо исследуют код, судья сравнивает результаты. Анонс, лендинг, репозиторий.
Читать полностью…