24993
Мне платят за то, что я говорю другим людям что им делать. Автор книги https://www.manning.com/books/machine-learning-system-design https://venheads.io https://www.linkedin.com/in/venheads
Одна из вещей, которые мне не нравятся в ЮК - заставляют брать отпуск. Ну, то есть как заставляют, хочешь - не бери и он просто сгорит, на следующий год перенести больше 5 дней нельзя. Деньгами взять нельзя, отпуска - 6 недель - крутись как хочешь - одно слово, леваки. Поэтому чтобы сжигать отпуск, я стал его брать в те периоды, когда в отпуск уходят все остальные, например недавние пасхальные каникулы.
Самый большой отдых для меня - это возможность не ходить на встречи и общаться с людьми, поэтому я с радостью закопался в репозитории top AI продуктов компании, тем более что с недавних пор я был назначен ответственным за их успешную раскатку и операционализацию
Долго ли, коротко-ли, один сервис пришлось профилировать, чтобы понять где теряется больше всего времени: RAG? Установка соединения? Запрос к бд? Запрос к API?
К сожалению, дырка пробивается только из офиса, либо с remote desktop машины, которая на винде, поэтому полностью все воспроизвести можно только в таких условиях
Пожалуй худшего user experience в ипостаси разработчика у меня давно не было, возможно никогда. Нет, ну то есть по продуктам компании Microsoft ты начинаешь догадываться - что-то не так. Стоит просто сравнить teams vs slack или в тысячный раз поставить галочку и нажать кнопку - больше не показывать это сообщение (зная что его покажут в ближайший час). Но банальные задачи установки каких-то пакетов на Винде превращаются в танцы на снегу и непрерывную боль, причем иногда кажется что это сознательное решение со стороны MS. И конечно самое обидное, что при наличии гораздо более классных альтернатив, корпорации полувынуждено продолжают пользоваться этими решениями
Леваки в Калифорнии решили помочь работникам фастфуда и законодательно ввели минимальную зарплату в 20 долларов в часов.
Владельцы фастфуда тоже не дураки, посчитали и поняли что при таких раскладах выгоднее увольнять, чем нанимать и начали народ сокращать.
Спасибо правительству, помогли так помогли. Вся надежда теперь остается на президента Аргентины
Прочитал хорошую обзорная статью от пацанов и Кохави - Statistical Challenges in Online Controlled Experiments: A Review of A/B Testing Methodology
Статья приятна тем, что она: а) понятная (главный критерий хорошей статьи для меня) б) по ней можно быстро пройтись и найти нужные вещи в) большинство вещей плюс/минус применимо
В очередной раз задумался, почему я не пишу статьи на архив, такую статью я наверное смог бы выдать
Основные вещи которые рассматривают
1. Sensitivity and Small Treatment Effects - классическая история, нам бы побыстрее, да поточнее
2. Triggered Analysis - а что если оценивать не всех пользователей, а только тех, кого задело? Классический случай репрезентативность vs релевантность
3. Heterogeneous Treatment Effects - fancy описание когортного анализа, чтобы оценить перфоманс разных групп в рамках а/б тест, отличии от простого колоритного анализа в том, что добавляется модель, которая изолирует остальные эффекты (на которые у нее есть фичи), в целом кажется работает если группы недостаточно большие или нету случайного ассайнмента на уровне когорты. Напоминает стратификацию
4. Long-Term Effects - тут вспоминается веселый фермер, не будет вашего итальянского сыра. Xa-xa-xa!
5. Optional stopping - иногда нужно вовремя остнановится
6. Interference - вмешательство различных нетворк эффектов и как от них изолироваться
В целом хороший обзор
Судя по последней инфе, больше всего с Gen AI зарабатывают компании, которые говорят как заработать на Gen AI.
Цитирую из рассылки Pragmatic Engineer :
The company generating the highest revenue from GenAI… Accenture?
As far as we know, OpenAI and Microsoft are generating the most revenue from generative AI applications. OpenAI is likely doing close to $2B/year in annual revenue. For Microsoft, this number is unclear, although GitHub Copilot generates around $130-150M in annual recurring revenue, with 1.3M paying subscribers paying $10/month or $100/year).
A surprising data point is the management consultancy Accenture generating more revenue than any AI companies. It’s on track for $2.4B of generative AI-related consulting revenue! These are, most likely, explorative projects with companies that want to figure out how to integrate GenAI to their business. From Accenture’s earnings call:
“We [Accenture] are working closely with our ecosystem partners to help our clients understand the right data and AI backbone that is needed and how to achieve tangible business value.”
Симулятор МЛ отжил свое, Пикачу эволюционировал в следующую форму – Симулятор DS.
Добавили секции, которые были бы полезны аналитикам и специалистам, работающим с AI (осталось понять что это значит). Каждое из направлений доступно всем студентам: в рамках подписки самостоятельно решаете, какими задачами будете заниматься – можно как усилить харды в смежной области, так и отработать кейсы, напоминающие собственные задачи.
[Узнать больше]
Скидка -7% по промокоду SIMDSNEW до конца месяца
Ну наконец-то Игорь Бабушкин релизнул в опен сурс грок, LLM сделанную по заказу Маска
Читать полностью…
Есть конечно вещи за которые можно не любить Computer science
Например только-только начнёшь читать одну статейку в блоге и вот ты уже вынужден качать пейпер: Progressive Partitioning for Parallelized Query Execution in Google’s Napa
Впрочем, с ML почти тоже самое
Увидел вакансию AI евангелиста, сначала обрадовался, подумал что это мне по плечу
Потом задумался - все не так однозначно.
Переодически ко мне приходят разные люди за консультациями по мл, 8/10 случаев заканчивается тем что я им говорю - нет смысла что-то делать через мл в ваших проектах.
Однажды я подрядился консультировать одну компанию на регулярной основе
Первый месяц консультировал нормально, второй уже средне, третий совсем мало
Для того проекта, где определили что мл нужен - наняли человека и в течении месяца обсудили что и как делать и даже сделали !
Заодно прочитал 4 лекции по мл дизайну сотрудникам этой конторы. Так этот чел начал делать мою работу и объяснять другим командам почему мл не нужен в их проектах.
Может быть мне стоит начать шантажировать создателей массовых мл курсов - войди в профессию за три дня без навыков, что я всех научу мл дизайну и тогда их курсы будут не нужны? Либо они будут платить мне дань и я не лишу их работы
Возможно так появится новая должность, анти AI евангелист
Пацаны из Майкрософта выпустили самую обсуждаемую статью месяца The Era of 1-bit LLMs:All Large Language Models are in 1.58 Bits
Пока остальные кряхтели и пытались отквантовать числа до 4 бит с большими потерями или до 8 бит с небольшими, челы из МС зашли с ноги: любой вес будем представлять как трит - 1.58 бита {-1; 0; 1} и покажем как это сделать не теряя перформанса! It matches the full-precision (i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-task performance
Так же пишут: More profoundly, the 1.58-bit LLM defines a new scaling law and recipe for training new generations of LLMs that are both high-performance and cost-effective. Шортим Нвидию? Теперь вместо умножения - просто складываем (ведь умножение на 1, 0 или -1 это просто плюс, минус или пропуск). The new computation paradigm of BitNet b1.58 calls for actions to design new hardware optimized for 1-bit LLMs.
Что делают? Повторяют BitNet, то есть трансформер где nn.Linear заменен на BitLinear (ниже будет пост с описанием). It is trained from scratch, with 1.58-bit weights and 8-bit activations
Чтобы веса держать в диапазоне -1, 0, 1 - накидывают absmean quantization function (про нее тоже в посте ниже)
И это все
Результаты в посте ниже
Дальнейшее чтиво
/channel/hn_best_comments/21227
#ArticleReview
Какое же удовольствие читать книги по Computer Science по сравнению с Data Science. В CS сразу видно - сели чуваки решать какие-то понятные задачи и постоянно их улучшают, в DS же ощущение что какие-то академики писали много десятилетий в стол, внезапно область выстрелила и они стали это выкидывать эти академические записки в виде книг, правда не до конца понимая какие проблемы они будут решать. Эту книгу рекомендую
Читать полностью…
Прикладываю список книг от СТО Aliexpress - Анатоликса
Похожий список литературы я когда-то кидал внутри компании. Там был просто список без пояснений(потому что пояснения были даны устно). Этот список маленько добавился, плюс появилось письменное объяснение, почему каждая книжка или курс туда попалиhttps://www.coursera.org/learn/synapses
Что объединяет весь список, в котором есть и книги и курсы, биографии и фантастика: это какое-то чтиво, которое на меня произвело впечатление за последние года 3-4, обычно для этого нужно как-то расширить мое понимание в какой-то области
Non-fiction
Биография Джобса
Биография Эйнштейна
Русская Модель управления
Русские писатели серебряного века спорили о загадочной русской душе, потом пришел талантливый менеджер всех выгнал и все объяснил в пределах одной книги.
Основная идея книжки, все признают, что у русских модель управления ужасная и неэффективная, при этом она регулярно достигает успехов для которых на самом деле нужна эффективная система управления, как так получается” (очень нудная книжка, но с большим количеством примеров про всякие реорганизации, и реакцию общества на них)
от ИИ до зомби
Это публикация разных эссе про рациональное мышление, которые ранее были известны как Chains на LessWrong, но они поданы с небольшими изменениями и в другом более логичном порядке.
Биология
Биология Поведения Человека, Роберт Сапольский, стендфорский курс (либо книга Биология Добра и Зла) Книжка имхо ощутимо, хуже чем курс в области подачи фундаментальных знаний, в курсе очень много информации про то как вообще работает генетика, эндокринология и нейромедиаторы, в книжке это очень упрощенное справочное пособие, т.е. книжка скорей научпоп. Но в книжке сильно больше интересных примеров.
Synapses neurons and brains
Читать полностью…
На первой лекции этого курса рассказывают о содержании курса, на второй что вот мозг состоит из нейронов, а третья начинается с дифференциального урованения. Чувак который читает курс на самом деле глава Blue Brain Project, те ребята которые эиулируют мозг мыше на уровне электросигналов. Так вот они на самом деле физики, а не медики, и терпения скрываться у них видимо хватило до 3-ей лекции
Эгоистичный Ген + Расширенный Фенотип
Вы любите мемы в интернете? А знаете что слово мем было первый раз применено в книге Эгоистичный ген в качестве сущности, которая на самом деле подвержена размножнению и эволюции, но без биологической природы (в противовес гену).
Для 1970 года когда вышла первая версия книги, огромное число вещей про эволюцию понимали не так. Например, вы когда-нибудь слышали про “групповой отбор” т.е. когда эволюция действует в интересах вида. А вы знаете что его нет? и почти все эффекты которые выглядят как групповой отбор обхъясняются по-другому. Набор на самом деле работает не в интересах вида, и не в интересах индивидуума, а в интересах конкретного гена.
Самый простой пример, чего нельзя объяснить без эгоистичности генов, это например почему мальчиков и девочек рождается примерно поровну, хотя мог бы быть один самец на 10 самок, было бы эффективней.
Идея простая, если ее знать, предположим соотношение самок к самцам 10:1. Тогда получается, что каждый ген в самце в распространенни в 10 раз успешней чем в самке. Тогда получается, что самкам в 10 раз выгодней рожать самцов, потому, что на следующей стадии распространение их генов будет в 10 рпаз эффективней, они начинают так делать и баланс выравнивается.
думай медленно решай быстро (Thinking, Fast and Slow)
Физика
Квантовая механика для чайников https://www.youtube.com/watch?v=3WTMe0R8bw0&list=PLRib7Hj2D_xC_ZDFa4yYqfwtKjUy-LtoS (оказалось, что это не я нифига не понял квантовую физику, а никто ее не понимает, просто все делают вид)
Ну хоть какие-то нормальные предложения о работе стали приходить со странных емейлов, а то раньше все предлагали пойти мидлом куда-то
Читать полностью…
На стримах с Адамом мы обсудили многое, но одну из насущных проблем современности упустили. Речь идёт конечно же про грибы. И даже не о том что Ленин - Гриб, это все же проблема 20 века
Речь идет о грибах чтобы жить.
Грибы что бы проснуться
Грибы чтобы заснуть
С проснуться и быть энергичным, сфокусированным и тп у меня никаких проблем нет, поэтому буду проверять в первую очередь грибы для сна, о чем позже расскажу. Если есть желающие проверить грибы - позволяющие проснуться, пишите - затем расскажите о своем грибном опыте
Считается что А/Б тесты позволяют получить несмещенную оценку эффекта. Но это неправда.
Вызвано это двумя причинами
Первая - когда результаты плохие, есть тенденция останавливать эксперимент досрочно
Вторая - стат значимый эффект в эксперименте, который underpowered (а это практически любой эксперимент), в среднем завышен, а люди имеют тенденцию принимать положительные результаты с радостью
Простой пример, если запускать много А/А тестов и выбирать только стат значимые в положительную сторону, вы можете заявлять о положительном эффекте, хотя в реальности он ноль -> ваша оценка стала смещенной
Если мощность недостаточная - будете ловить хвосты распределений, которые завышают реальный общий эффект и тоже смещаться
На эту тему есть неплохая заметка от Букинга - с картинками
В ней описывается проблема и варианты ее решения. К моему удивлению - предлагают брать нижний доверительный интервал
The statistically optimal solution to this problem would be to retest every single successful product change. In a business context, this is often not possible nor desired. Thus, a pragmatic approach that works surprisingly well is to use the lower bound of the 95% one-sided confidence interval for impact estimation and reporting instead.
В понедельник, 8 апреля в 15 по Лондону (17 по Москве), проведем стрим на канале. Поговорим с Игорем про модели мира, почитаем посты с фейсбука и посмеемся над ними, а также обсудим почему мы не позвали staff research scientist-а из DeepMind
Добавить в календарь
Завтра в в 14 по Москве поговорим в прямом эфире про Аналитику здесь
Читать полностью…
Мой друг Жанибек выходит на работу в БиПи в середине апреля. Мы познакомились с ним ещё в Фейсбуке, затем работали вместе в blockchain.com, теперь продолжим в BP
Перед тем как стартовать на новой работе, Жанибек съездил домой в Казахстан, заодно мама передала ему с собой подарок для меня.
Нагайку
Очень мудрая женщина
Познакомился с человеком, про которого раньше переодически слышал.
Его зовут Кирилл и он профессиональный бездомный. Впрочем многие мои друзья стали бездомными в последнее время, но почему-то они предпочитают называть себя номадами. Хотя думаю, что если бы я маме в детстве сказал, что хочу поиграть с номадом Василием, вместо его стандартного прозвища, думаю она все равно бы не разрешила. В целом тема бродяжничества настолько актуальна, что даже на обложку книги про МЛ дизайн мы поставили бродягу-вагабонда
Но Кирилл не такой, он человек опытный и странствует по свету уже более 10 лет, живет в разных городах и странах, останавливаясь где-то от месяца до пары лет. Работает удаленно всю жизнь, еще до того как это стало мейнстримом. Сейчас временно осел в Барселоне
Что еще интереснее, так это то, что он сооснователь b2b стартапа, с которым они прошли в S21 батч Y Combinator и закрыли раунд инвестиций
Надеюсь, что когда-то мы сможем с Кириллом сделать стартап по возвращению криптодолгов из цифровых номадов, совместив весь наш опыт в этом деле. Но пока этот день не настал, можно почитать его канал, дядька опытный и мудрый, если ваши темы пересекаются с его интересами, будет полезно
Рецидивисты из Х5 ( по их словам это их 7-ая статья), опять берутся за старое и в этот раз обсуждают А/Б тестирование на маленьких выборках.
Именно на основе этого в 2018 году было открыто распределение Х5
Общался с сотрудником, и пытался объяснить ему, что выступления на конференциях переоценены и нужно делать крутые штуки, например лучше сделать один раз pandas ai и получить 10к звезд на гите (да-да Игорь, это укол в твою сторону), чем сто раз выступить на средней руки конфе, если задача повысить визибилити.
Он мне в ответ - выступить на London AI Summit это почетно и таких людей уважают - супер бустит визибилити. На это у меня нашелся контр аргумент
- Знаешь ли ты keynote спикеров AI Summit 2023?
- Нет
- Ну хорошо, а вот победителя AIconics award 2023 знаешь?
Дальше пять сообщений от него:
- No
- But I suspect you know them? 👀
- Why am I not surprised that you won it
- 😳😳😳
- whats would you say was helpful? being kaggle grandmaster?
Таким образом этот канал и моя любовь к А/Б тестам и наградам спасли еще одну душу
Записал девятую лекцию курса по мл систем дизайну на русском языке.
Пока ее записывал - все думал: жуть, десятая же совсем сложная и она следующая, мы ее текст с редактором когда правили - столько сил потратили, надо держаться.
Когда записал - вспомнил, что это как раз была девятая лекция, которая оказалась самой тяжёлой.
Все-таки в битве колец побеждает Oura. Сircular ring - оказалось полной ерундой, батарейка держит плохо, алгоритмы сна работают странно, зарядка - дурацкая и кроме того из-за нее я разбил один из макбуков. Кроме того, недавно я заметил что аккумулятор в Oura стал быстро разряжаться - написал поддержку, спросил в чем дело? Может быть новая прошивка? Саппорт ответил в тот же день, что то посмотрел удаленно и прислал новое кольцо через два дня. Вызывает уважение
Читать полностью…
(11) и (12) - BitLinear, (1,2,3) - absmean quantization function, сравнения
Читать полностью…
Мы с Арсением не так давно закончили последнюю главу в нашей книжке про ML System Design, и пока она проходит через все остальные стадии паблишинга, решили адаптировать тот же контент под другие форматы. Многие хотят большей вовлеченности, послушать говорящую голову, посмотреть на спикера в зуме и задавать там же вопросы.
По этому поводу думаем провести курс в формате онлайн-лекций. Контент концептуально тот же, две лекции в неделю, на английском с британским и/или славянским акцентом, платно на том уровне, чтобы окупить наше время по обычной ставке, возможны приглашенные эксперты. Если наберется достаточно желающих в Лондоне или Варшаве, устроим гибридный формат (например, вещание из пивнухи 🍺).
Пока что сделали опросник, чтобы понять интерес к этой идее. Если вам интересно, заполните, пожалуйста - это поможет понять ожидания и адаптироваться под них.
Вторая часть
Читать полностью…
Science fiction
Note: меня в художественных произведениях больше интересует не развитие героя, а хорошо простроенная, логичная и непротиворечивая вселенная, т.е. setting.
Ложная Слепота + Эхопраксия (фантастика, книга про то как может выглядеть контакт с инопланетянами которые совсем не люди, в отличие от обычной фантастики где инопланетянин это такой же человек только зеленый там или с жабрами. В книге одновременно есть вампиры+инопланетяне+сильный ИИ и при этом это hard science fiction, с настоящей физикой и биологией)
Карантин (Грег Иган, фантастика для тех, кто все равно не понял квантовую механику, но хочет понять как работают квантовые алгоритмы)
Задача Трех Тел (фантастика, трилогия. Это уже не hard science fiction, но имхо это одно из лучших фантастических произведений лет за 10. Неожиданно 2 и 3 книги лучше чем первая)
Квантовый Вор (фантастика, про то, что будет когда мозги можно будет заливать в комп и наоборот)
Fiction
Гарри поттер и методы рационального мышления
Если честно великая книга(без стеба). Взрослому с критическим мышлением вообще тяжело читать оригигнального гаррри поттера. Ну потому что он рассчитан на 10-летних детей, и логичен с их точки зирения, в их мире препод может конфликтовать с 10-летним пиздюком, а подход “пойти и рассказать взрослому” который решает 90% проблем в оригинальных книгах абсолютно невозможен для применения.
В новой же книге все основные герои ведут себя рационально, это поведение начинается даже не с начала книги, за 15-20 лет до рождения гарри, где Лилли Поттер не ссорилась со своей немагической сестрой, а наоборот магичекси помогла ей стать красивой и успешной, что привело к тому что Петунья вышла замуж не за неудачника Дурсля, а за профессора биохимии из оксфорда
Книга помимо того, что имеет фантастически сильный сюжет (там часть вещей происходят точно так же как в оригинальной книге, а часть ровно наоборот, что не позволяет предсказать что в ней произойдет), является неиссякаемым источником троллинга классической вселенной гарри Поттера
Перечитываю книгу Measure What Matters: OKRs - the simple idea that drives 10x Growth
Глава 17 - про супер пиццерию, The Zume Pizza Story - рассказывают как они всех побеждают с помощью OKRs
Решил зайти на википедию и посмотреть как супер пиццерия поживает:
Zume, Inc. was an American manufacturing-technology company headquartered in Camarillo, California.[2] Founded in 2015 as an automated pizza parlor, in 2020 the company shifted to food packaging and delivery logistics. In June 2023, the company was shut down
Обсуждали с коллегами, которые застали Убер 1.0 и Убер 2.0 какая культура им больше по вкусу
В конце концов закончилось тем, чем должно было закончиться и меня попросили пояснить за свои ценности, поразмыслив - составил такой список
Ideas over hierarchy
Grit - try over and over and over again, persistence.
Customer obsession
Excellency - strive for the best
Fail fast
Bias for action
Move fast and break things
Understand reasons and context. Be proactive, not reactive
Cтал топ 5 мотивирующих медиаперсон по результатам опроса студентов ИТМО
https://vk.com/wall-94_56963
Должность правда какая-то очень старая