23753
Мне платят за то, что я говорю другим людям что им делать. Автор книги https://www.manning.com/books/machine-learning-system-design https://venheads.io https://www.linkedin.com/in/venheads
На Хабре вышла статья, в которой упомянули мое имя - мимо такого я пройти не смог. Статья неплохая, однако я вижу минимум три важных момента, которые надо учитывать:
1. Статистика и распределения
Мы легко можем адаптировать t-статистику или любую другую метрику под наше распределение. Это значит, что p-value всё равно будет равномерным для широкого класса данных, просто статистики будут другими. Например, в статье была выбрана "магазино-дневная" грануляция, что позволило получить равномерное распределение p-value. Это логичный выбор, но могли бы выбрать любую другую (например, "магазино-час" или "магазино-секунда"). Для таких случаев рекомендую ознакомиться с этой статьёй от Х5. Выбрали грануляцию, обеспечивающую равномерное распределение p-value и наилучшее соотношение роста данных и дисперсии. Кроме того, можно посмотреть сюда - Dealing With Ratio Metrics in A/B Testing at the Presence of Intra-User Correlation and Segments.
2. Зачем нужен CUPED?
CUPED помогает нормировать данные и устранять зависимости. Если в данных есть корреляции, то с помощью CUPED и ML-моделей можно минимизировать этот эффект и сгладить дисперсии.
3. A/A-тесты — основа основ
В статье справедливо упомянуто, что перед запуском всегда проводился дизайн теста и проверка на A/A. Это базовый шаг, без которого нельзя судить об адекватности методологии. Мы делаем то же самое с первых итераций наших A/B тестов, чтобы быть уверенными в корректности инструментов.
Выводы:
Статья адекватная, но видно, что это не работа гранда: где-то упрощения, где-то ошибки
Важен не факт наличия зависимости в данных, а то, насколько хорошо мы контролируем распределение p-value
Нужен модуль валидации для получения распределений А/А и синтетических А/Б
Хочу открыть миру репозиторий по ML System Design
Идея — создать open-source репозиторий, в котором размещены инструкции по созданию корректных дизайн-документов для ML-систем. В репозитории также представлены примеры реальных и мок дизайнов. Каждый желающий может поревьюить документы других, опубликовать свои, а также оценить уже существующие документы.
На данный момент доступно два документа в качестве примеров, краткое описание требований к каждому разделу дизайн-документа, а также шесть дизайнов, находящихся на стадии ревью через пулл-реквесты.
Приветствуются участие в виде звёздочек, а также вклад в создание контента или проведение ревью
Живу в гостинице в КЛ.
К сожалению, охлаждающей мега-простыни подо мной нет, поэтому приходится ставить кондиционер на максимум и спать под обычной простынкой. Впрочем, я всегда сплю под простынкой.
Очевидно, чтобы спать под простыней, нужно ее иметь. Поэтому каждый вечер я звоню и прошу принести мне extra bedsheet.
Сегодня запросил в очередной раз, возникла неожиданная пауза, поставили на удержание, потом сказали: да, конечно, сейчас принесем.
Через десять минут звонят в дверь и приносят: халат, тапочки, зубную щетку и просят зайти на пять минут, чтобы установить экстра кровать с матрасом, которую они с собой привезли.
Простынку я так и не получил.
Нашел зал по ММА в Куала-Лумпуре.
Зал довольно неплохой, его сделали выступающие в ONE FC бойцы. Например, тренер по борьбе — парень из Ирана, а по джиу-джитсу выписывают специалистов из Бразилии.
Сегодня моим тренером был бразилец, который всего 15 дней как переехал в КЛ. После спарринга спрашиваю: как думаешь, какой у меня пояс? Он говорит: белый? Правда, по-английски он почти не понимает, не знает, как будет «пятнадцать», и часто отвечает «Si».
Поэтому я сказал «Si», и он с уважением пожал мне руку.
А то мы и не знали, что у самурая нет цели, только путь
А задача хорошего разраба - минимально работать
https://x.com/deedydas/status/1858929066264379629
Everyone thinks this is an exaggeration but there are so many software engineers, not just at FAANG, who I know personally who literally make ~2 code changes a month, few emails, few meetings, remote work, < 5 hours/ week, for ~$200-300k.
Here are some of those companies:
I'm part of a group at Stanford that runs research on software engineering productivity. We get access to Git data.
I sometimes run into people who are working at more than one company, without the knowledge of their employer.
I’m at Stanford and I research software engineering productivity.
We have data on the performance of >50k engineers from 100s of companies.
Inspired by
@deedydas
, our research shows:
~9.5% of software engineers do virtually nothing: Ghost Engineers (0.1x-ers)
I see you haven't read their "paper"Читать полностью…
this isn't a study; it is a scam, and they're working on a model to quantify code quality
b2b saas startup soon; mark em
Отличная заметка от Дэна Лу - Steve Ballmer was an underrated CEO, в которой он рассказывает, что в принципе все те вещи, за которые хвалят Сатью, были заложены Балмером, который не боялся быть смешным и смог вырастить прибыльные бизнесы, которые не были на тот момент основными и заложить основы успеха Майрософта
Unlike most companies in that position, Microsoft was willing to very heavily subsidize a series of bets that leadership thought could power the company for the next few decades, such as Windows Phone, Bing, Azure, Xbox, and HoloLens. From the internal and external commentary on these bets, you can see why it's so hard for companies to use their successful lines of business to subsidize new lines of business when the writing is on the wall for the successful businesses.
A later part of the plan to dominate the web, discussed at Microsoft but never executed, was to kill Google. If we're judging Microsoft by how "dangerous" it is, how effectively it crushes its competitors, like Paul Graham did when he judged Microsoft to be dead, then Microsoft certainly became less dangerous, but the feeling at Microsoft was that their hand was forced due to the circumstances. One part of the plan to kill Google was to redirect users who typed google.com into their address bar to MSN search. This was before Chrome existed and before mobile existed in any meaningful form. Windows desktop marketshare was 97% and IE had between 80% to 95% marketshare depending on the year, with most of the rest of the marketshare belonging to the rapidly declining Netscape. If Microsoft makes this move, Google is killed before it can get Chrome and Android off the ground and, barring extreme antitrust action, such as a breakup of Microsoft, Microsoft owns the web to this day. And then for dessert, it's not clear there wouldn't be a reason to go after Amazon.
While I don't have anything negative to say about Nadella's leadership in this post, this narrative underrates Ballmer's role in Microsoft's success. Not only did Microsoft's financials, revenue and profit, look great under Ballmer, Microsoft under Ballmer made deep, long-term bets that set up Microsoft for success in the decades after his reign. At the time, the bets were widely panned, indicating that they weren't necessarily obvious, but we can see in retrospect that the company made very strong bets despite the criticism at the time.
When people point to a long list of failures like Bing, Zune, Windows Phone, and HoloLens as evidence that Ballmer was some kind of buffoon who was holding Microsoft back, this demonstrates a lack of understanding of the tech industry. This is like pointing to a list of failed companies a VC has funded as evidence the VC doesn't know what they're doing. But that's silly in a hits based industry like venture capital. If you want to claim the VC is bad, you need to point out poor total return or a lack of big successes, which would imply poor total return. Similarly, a large company like Microsoft has a large portfolio of bets and one successful bet can pay for a huge number of failures. Ballmer's critics can't point to a poor total return because Microsoft's total return was very good under his tenure.
When attacking Ballmer, people cite Bing as a failure that occurred on Ballmer's watch, which tells you something about the degree of success Ballmer had. Most companies would love to have their successes be as successful as Bing, let alone their failures.Читать полностью…
На мой взгляд - близкое к идеальному определение p-value
The P value is then the probability that the chosen test statistic would have been at least as large as its observed value if every model assumption were correct, including the test hypothesis.
По итогам 3 месяцев ледяной бочки - жим лёжа сдвинулся со 180*1 до 180*3
Осталось два вопроса
1. Стал ли я стат значимо в три раза сильнее
2. Значит ли это, что по итогам 9 месяцев стоит ожидать жима 180*9
Определилось расписание на месяц путешествий.
18 ноября: Лондон - Куала Лумпур
8 Декабря: Куала Лумпур - Бангалор
11 Декабря: Бангалор - Пуне
18 Декабря: Пуне - Мумбай
20 Декабря: Мумбай - Лондон
Из неприятного - 4 декабря планировал получить пурпурный пояс по БЖЖ, придется пропустить грейдинг и ждать ещё полгода
Жаль, с пурпурного пояса можно уже учить других, была бы запасная профессия, после того как ИИ заменит таких как я
Хорошая обзорная статья от Lilian Weng - Thinking about High-Quality Human Data
1. Как размечать данные, особенно когда задача разметчика - максимально быстро прокликать ваши задания, а ваша - получить максимально качественную разметку. От создания процесса, до оценки (Majority Voting, Multi-Annotator Competence Estimation, Descriptive vs Prescriptive). Есть даже таксономия того, по каким причинам разметчики могут между собой не соглашаться
2. Если датасет уже размечен, как выявить ошибку разметки автоматически? Сюда входят различные трюки с уверенностью модели в предиктах. Самый простой пример - если семпл тяжко учится, может быть это потому, что он некорректно размечен?
Из более сложных - AUM (Area under the Margin), насколько общий поток градиента спорти с конкрентым сэмплом
В целом - рекомендую ознакомиться, особенно тем, кому предстоит размечать данные в автоматическом режиме через людей
Поездка в Баку прошла неплохо
Встретился пару раз с местным дата комьюнити
Выступил в университете
Встретился с СТО и синьором из стартапа в Дубае, где они будут работать на пике технологий gen AI
Дал, как минимум, три полезных совета
Съездил в Гобустан
Выступил на конференции и затем пообщался с ребятами из местного гиганта
Сходил в офис БиПи, много говорил
Ел лучшие помидоры в мире
Оценка Баку - очень хорошо, надо приезжать ещё.
Вкусно, приятно, хорошие люди.
Из минусов - пробки и воздух.
Теперь можно наконец-то то разобрать залеж статей с февраля этого года. Из следующего - заплыв в KL и Индию в ноябре/декабре
Провели исследование онлайн курсов. Неожиданно оказалось что Карпов Курсес в топе
Читать полностью…
Дисциплина бьёт талант
Правда существует как минимум два типа дисциплины, внешняя и внутренняя
Первая, работает хорошо с большинством людей и позволяет достигать команде стабильных результатов
Однако она начинает сбоить с людьми, выбивающимися из распределения
C такими выдающимися людьми нужно полагаться на их внутреннюю дисциплину, одновременно давая ясно понять, что доверие - вещь хрупкая
Это непросто, но в этом частично и заключается тонкое искусство менеджмента
Хорошая статья от пацанов из Х5, которая объясняет то, что становится понятно со временем всем, кто сделал достаточно много А/Б тестов. 50 оттенков линейной регрессии, или почему всё, что вы знаете об A/B тестах, помещается в одно уравнение
Читать полностью…
Читаю книжку по системному дизайну, цитата:
Be especially critical of your prospective manager’s technical background. As an engineer or engineering manager, never accept a non-technical engineering manager, especially a charismatic one.
Such a manager has typically been in the same company (or an acquired company) for many years, has established a political foothold that enabled them to get their position, and is unable to get a similar position in other companies that have competent engineering organizations. Large companies that breed the growth of such managers have or are about to be disrupted by emerging startups.Читать полностью…
Интересные времена, оказывается разбивать данные на партиции в момент их заливки уже немодно, согласно Progressive Partitioning for Parallelized Query Execution in Google’s Napa
Внедрили динамическое партицирование для каждого запроса, потому что:
* Гранулярность партиций сильно зависит от конкретного запроса.
* Фиксированные партиции не справляются с перекошенным распределением данных и динамическими нагрузками.
Система использует прогрессивное партицирование, уточняя границы партиций итеративно до тех пор, пока не будет достигнута оптимальная гранулярность для запроса. Это позволяет балансировать между качеством разбиения и производительностью.
Как это работает?
1. Данные хранятся в LSM деревьях, где каждый апдейт добавляется в виде дельты (таких дельт в системе может быть тысячи).
2. Дельта - это иммутабельные (неизменяемые) снапшоты, и они образуются, когда данные из памяти (memtable) сбрасываются на диск. Вдобавок они отсортированы по ключам. Дельты попадают сначала в Level 0, где данные остаются отсортированными, но разные дельты могут перекрываться по ключам. Компактизация со временем переносит данные на следующий уровень, устраняя дублирование и перекрытия.
3. В каждой дельте есть свой B Tree индекс, позволяющий эффективно работать с широкими диапазонами ключей и выбирать нужную гранулярность в рамках дельты.
4. Min/max информация о ключах хранится как отдельные метаданные, позволяя быстро отфильтровать ненужные дельты еще до обхода B Tree.
5. Вместо того чтобы полагаться на статическое разбиение, система динамически партицирует данные в момент выполнения запроса.
В чем плюсы?
Быстрая запись: данные просто записываются в неизменяемые файлы (дельты), без затрат на реструктуризацию.
Эффективное чтение: запросы динамически получают оптимальные партиции, что минимизирует перекос нагрузки.
Масштабируемость: иерархическая структура B-деревьев и организация дельт позволяют LSM-деревьям работать с петабайтами данных и миллиардами запросов.
Этот подход помогает Google масштабировать свои хранилища, оставаясь гибкими и эффективными даже под нагрузкой в миллиарды запросов в день.
Интересно и неожиданно - не думал что партицирование будет динамическим, но логично.
Прилетел в Индию
Встретили по царски
Но Трамп почему-то назначил AI и крипто царем другого человека
Кофаундер датабрикса, помимо работы СТО в компании, еще и статьи пишет - WORLD MODEL ON MILLION-LENGTH VIDEO AND LANGUAGE WITH BLOCKWISE RINGATTENTION
Выглядит как отчёт о работе нормальных инженеров, которые решили попробовать что-то новое и описали результаты на arXiv.
Берут Blockwise Ring Attention, аннотируют данные (включая видео и текст) по-разном, постепенно скармливают всё это в модель, увеличивают контекст до миллиона токенов и радуются.
Из интересного – используют Masked Sequence Packing.
Предположим, у нас есть текст длиной 500 токенов, видео длиной 1 000 токенов и книга длиной 10 000 токенов. Вместо того чтобы обрабатывать каждую последовательность отдельно (с огромным количеством padding), модель объединяет их в один батч и добавляет маску, чтобы в каждый момент времени была видна только соответствующая часть каждой последовательности.
Затем лосс от каждого токена перевзвешивают по длине секции. Без этого самая длинная последовательность перевесила бы всё остальное. И радуются жизни.
В целом прорыва нет, просто разумная инструкция
Forbes did it again
An AI startup CEO on a Forbes '30 Under 30' list has been charged with defrauding investors out of $10 million
Кстати, если кто-то проживает в Куала Лумпуре
Можно устроить встречу, ужин, митап
Я как раз сейчас там, до 7 декабря
Кажется, нет более ненадежной вещи в мире, чем тренера по Джиу Джитсу. Однажды вышло так, что у меня должно было быть три персональных тренировки в один день, каждая - с разным тренером.
За день до, один из них слился, и я подумал - ну и слава богу, три - многовато. Но удар пришел откуда не ждали, на следующий день слились два оставшихся, что превратило интенсивный день - в день отдыха. Надо сказать что все три - те с кем я регулярно тренируюсь, а не случайные чуваки
В детстве нас учили не брать конфеты у незнакомых дядек. Многие даже следовали этому совету.
Однако раз в году наступает момент, когда дети приходят к незнакомым дядькам и требуют с них конфеты.
Сегодня наступил именно такой день и первый раз, когда я встречаю его в собственном дому в роли незнакомого дядьки
Закупил 160 мини сникерсов, твиксов и скитлс
90 мини M&M
85 пакетиков мармелада маленьких
24 пакетика мармелада больших
До украшательства дома, я конечно еще не дошел, но тыкву купил
Кажется, надо прикупить еще пару коробок больших сникерсов и выдавать их за особо крутые костюмы
Я ругал Кохави, что в 24 году он пересказывает статью от 2017 года. Но тут руки дошли до заметку от 14 февраля 2024 года, Connections Between the Delta Method, OLS and CUPED
Implicitly, this post assumes you know that standard OLS is equivalent to a t-test when properly setup. If you are not sure of this, convince yourself of this by considering regressing Y∼d where d is a binary indicator of being in the treatment and Y is our variable of interest
Вышло исследование рынка продуктовых и дата аналитиков от new HR - у них всегда приятная инфографика и вменяемые вопросы. От зарплаты - до экспертов.
А также топ и анти топ по компаниям, где люди хотят и не хотят работать. Выглядит так, что у Сбера, ВК и Ростелекома большие проблемы с HR Брендом, а у Яндекса, Авито и Авиасейл - все неплохо. Х5 держит баланс по Дао
UPD: Сейчас оказывается собирают информацию для нового исследования
Стою в лобби конгресс центра перед выступлением. Мимо проходят две девушки и парень.
У девушки на сумке огромные буквы fendi. Слышу краем уха, что она говорит про некое выступление в 2 часа дня и что там будет Бабушкин, который знает про Data Science
Видимо придется идти
Хинтон получил Нобелевскую премию. Долгий путь от задворок и насмешек, до всемирного признания
В Гугле он был L8, L9
С интересом просматриваю вырезки из techroastshow в инстаграмме
То там кофаундер, у которой приложуха - Huddle, Accountability as a service (как вам такое?), где люди с СДВГ платят 20 баксов в месяц, чтобы приложенька конектила двух таких бедолаг и они бы убирали каждый свою комнату и одновременно общались друг с другом. Ее кофаудер - инфлюэнсер с СДВГ, у которого миллион подписчиков. Правда подписчиков у аппки - всего 16
В другом отрезке, фаундер, девушка с Only Fans, забутстрапила Mental Health компанию (не жалела себя) - Exist Experience, которая должна помочь людям с Loneliness. Уж кому, как не модели с Only Fans, знать как помочь. Таргетируют не всех людей, а зумеров, там специфичный язык и в целом аппка это обертка над другим сервисом.
Это конечно показывает, какие разные люди пытаются войти в фаундеры технологических компаний, интересное явление
Иногда люди не видят лес за деревьями, и частный случай этого - не видеть здравый смысл за чеклистами.
Например, пишет мужик из издательства и намекает, что в книжке неоригинальный контент! Мол, переработайте перед печатью кое-какие куски, "so we can't be accused of any sort of plagiarism", и любезно присылает список этих кусков.
Открываем список и видим грозные коментарии "Needs rework; extremely close to the article text" и ссылки на какой-то notion, в котором человек составляет для себя конспект книги. Рекурсия!
В воскресенье, инженер, который работал в одной из моих команд, ушел из bp - потому что он попал в YCombinator
А сегодня, человек который смог выбраться из YC, попросил помочь найти к себе МЛ Инженера, что я нашел весьма ироничным.
Ищут Senior ML Engineer в команду Fluently (YC W24) - будет 6 членом команды и будет улучшать ML движок - мозги сервиса.
Делают, по их утверждениям, лучшего в мире AI спикинг коуча, который слушает онлайн звонки и помогает прокачивать английский - недавно прошли Y Combinator и подняли $2.5M.
tl;dr:
- Платят от $5k до $10k (зависит от скиллов и опциона)
- Работают ремоут (но могут подать на H1-b)
Узнать больше и податься можно тут
Утверждают, что пришлют последний айфон за успешную рекомендацию