23002
Мне платят за то, что я говорю другим людям что им делать. Автор книги https://www.manning.com/books/machine-learning-system-design https://www.linkedin.com/in/venheads
Перечитываю книгу Measure What Matters: OKRs - the simple idea that drives 10x Growth
Глава 17 - про супер пиццерию, The Zume Pizza Story - рассказывают как они всех побеждают с помощью OKRs
Решил зайти на википедию и посмотреть как супер пиццерия поживает:
Zume, Inc. was an American manufacturing-technology company headquartered in Camarillo, California.[2] Founded in 2015 as an automated pizza parlor, in 2020 the company shifted to food packaging and delivery logistics. In June 2023, the company was shut down
Обсуждали с коллегами, которые застали Убер 1.0 и Убер 2.0 какая культура им больше по вкусу
В конце концов закончилось тем, чем должно было закончиться и меня попросили пояснить за свои ценности, поразмыслив - составил такой список
Ideas over hierarchy
Grit - try over and over and over again, persistence.
Customer obsession
Excellency - strive for the best
Fail fast
Bias for action
Move fast and break things
Understand reasons and context. Be proactive, not reactive
Cтал топ 5 мотивирующих медиаперсон по результатам опроса студентов ИТМО
https://vk.com/wall-94_56963
Должность правда какая-то очень старая
Стрим сегодня начнем на 15 минут позже, в 16-15 по Лондону
В этом посте можно задавать вопросы и обсуждать
28 января, в 16 по Лондону, проведем второй стрим с Адамом Елдаровым, в этот раз наконец-то обсудим как раскачаться и стать машиной
Добавить в календарь
Нашел раритетное фото времён работы в Яндексе в 2018 и записи курса по мл для Packt вместе с Нерсесом
Читать полностью…
Есть такой канал - @exp_fest, EXPF – математическая статистика и эксперименты, где челы делятся статьями и рекламируют себя. Если искали какой-то источник информации по аб, можете смело добавлять и читать
Читать полностью…
Когда-то я был директором, теперь я всего-лишь стикер
Читать полностью…
Вопросы и обсуждения по Стриму с Анатоликсом - сюда
Читать полностью…
Прочитал заметку от Spotify - Choosing a Sequential Testing Framework — Comparisons and Discussions
Рассматривают различные подходы для непрерывного тестирования в А/Б тестах, то-есть когда можно подглядывать, их плюсы и минусы
Group sequential tests
Плюсы: подход с alpha-spending функцией, которая тратится, только когда мы проверяем результаты, позволяет принимать решение, готовые ли мы сейчас подглядывать или лучше подождем. Если не подсматривать - тест сходится до традиционного z-test.
Легко объяснить - по факту z-test.
Минусы: нужно знать предельное количество данных, которое мы можем собрать, если что то пойдет не так в обе стороны, то тест может иметь как заниженный, так и завышенный false positive rate
Нужно выбирать alpha-spending, если мы заранее знаем сколько данных, то это не проблема, а если не знаем - underpower
Подглядывать можно не более пары сотен раз
Заметка для себя: Надо посмотреть пересекается ли как то с этим - Increase A/B Testing Power by Combining Experiments & Weighted Z-test
Always valid inference - куда входит любимый нами mSPRT The Mixture Sequential Probability Ratio Test
Плюсы: Легко воплотить
Можно сколько удобно данных скормить и не нужно знать размер данных заранее
Можно задать любое правило для остановки
Работает как с батчами так и со стримингом (в отличии от пункта выше)
Минусы: Нужно описывать параметры распределения для успеха, как некоторую смесь распределений
Тяжелее понять для челов, которые не понимают
Underpowered если батч а не стриминг, потому что обновляются данные сразу куском, а не по итерации
Заметка для себя: - Давно такой лажи надуманной я не читал, челы сразу сказали в начале статьи, что выбирают GST и начали выдумывать какие-то дурацкие причины почему mSPRT плох. Ну то есть, да, есть некоторая смесь распределений, но даже смесь распределений это распределение, на практике мы всегда делаем какое-то допущение, это в принципе тоже самое как задавание MDE, которые мы хотим поймать. То, что кому-то тяжелее это понять, удивительная причина, там все довольно просто на пальцах показать, для многих будет даже проще z-testа, ну а то - что underpowered для батчей - вообще ерунда. Кто вам мешает взять батч и прогнать его последовательно как будто это стриминг, ведь timestamp для каждого события есть, а обновление - это операция умножения двух циферок, то есть по факту вы это итак делаете с батчем, просто докинуть один sort
Bonferroni corrections - куда-же без нее
Плюсы - легко закодить
Минусы - заранее решаем сколько раз будем подсматривать
Если подсматривать много раз, скорее всего ничего не найдем
Проверили эти подходы на симуляции
Bounded false positive rate - держится у всех
GST всех побил по чувствительности на батчах, правда на стриминге он просто не работает и пойди тут сравни теперь, судя по всему mSPRT они не обработали в батчах через таймстемпы и должного сравнения мы не получим (если только их графики батча и стрима это не один и те-же данные, тогда худо бедно можно сравнить Можно пойти и посмотреть код - оставляю это на вашу совесть, код написан в R)
Описали свои выводы - что и когда брать. В целом читать можно и нужно, но с осторожностью
#ArticleReview
Второго января, в 21 по Москве/18 по Лондону, проведем стрим с уникальным человеком - CTO Aliexpress.ru, экс-CTO Ozon.ru, экс-VP Yandex Search Development и Yandex Fellow - Анатолий Орлов, также известный как Анатоликс
Обсудим, как минимум следующее, а затем просто начнем говорить обо всем:
Карьерный путь Анатоликcа и его видение роли менеджера.
Как люди становятся руководителями.
Что отличает хорошего руководителя от плохого.
Как часто теряешь хорошего разработчика и получаешь плохого руководителя и почему их так много
Как меняется видение и распорядок дня в зависимости от размера команды: от 10 до 100 до 1000 человек.
Добавить в календарь
Канал Анатоликса
Ну хоть какие-то нормальные предложения о работе стали приходить со странных емейлов, а то раньше все предлагали пойти мидлом куда-то
Читать полностью…
На стримах с Адамом мы обсудили многое, но одну из насущных проблем современности упустили. Речь идёт конечно же про грибы. И даже не о том что Ленин - Гриб, это все же проблема 20 века
Речь идет о грибах чтобы жить.
Грибы что бы проснуться
Грибы чтобы заснуть
С проснуться и быть энергичным, сфокусированным и тп у меня никаких проблем нет, поэтому буду проверять в первую очередь грибы для сна, о чем позже расскажу. Если есть желающие проверить грибы - позволяющие проснуться, пишите - затем расскажите о своем грибном опыте
Считается что А/Б тесты позволяют получить несмещенную оценку эффекта. Но это неправда.
Вызвано это двумя причинами
Первая - когда результаты плохие, есть тенденция останавливать эксперимент досрочно
Вторая - стат значимый эффект в эксперименте, который underpowered (а это практически любой эксперимент), в среднем завышен, а люди имеют тенденцию принимать положительные результаты с радостью
Простой пример, если запускать много А/А тестов и выбирать только стат значимые в положительную сторону, вы можете заявлять о положительном эффекте, хотя в реальности он ноль -> ваша оценка стала смещенной
Если мощность недостаточная - будете ловить хвосты распределений, которые завышают реальный общий эффект и тоже смещаться
На эту тему есть неплохая заметка от Букинга - с картинками
В ней описывается проблема и варианты ее решения. К моему удивлению - предлагают брать нижний доверительный интервал
The statistically optimal solution to this problem would be to retest every single successful product change. In a business context, this is often not possible nor desired. Thus, a pragmatic approach that works surprisingly well is to use the lower bound of the 95% one-sided confidence interval for impact estimation and reporting instead.
Подумал почему бы не воспользоваться собственным каналом. Ищу Сhief of Staff для VP of Data and Analytics (команда примерно в 2000 человек) , в компанию BP - ранее известная как British Petroleum. Контрактная роль (но на постоянку), примерный рейт 500-700 фунтов в день, нужно иметь право на работу в ЮК
Офис(ы) - в Лондоне, гибрид, теоретически можно удаленку (но скорее нет). Писать мне
Overview:
The Chief of Staff, Data & Analytics, will act as the right hand to the Vp of D&A , playing a critical role in executing strategy, ensuring alignment across teams, and driving operational excellence. This role will require the individual to wear many hats, navigate complex challenges, and act as a representative of the Senior Principal in key meetings.
Key Responsibilities:
Strategic Planning and Execution: • Assist the VP in strategic planning, project prioritization, and execution. • Monitor and ensure alignment of team efforts with the overarching business objectives. • Identify areas of improvement and propose innovative solutions.
Leadership Representation: • Act as the VP's representative in critical meetings, ensuring alignment and communication. • Present updates, findings, and strategic insights to internal stakeholders.
Team Coordination and Alignment: • Collaborate with D&A Principals to ensure project delivery, alignment of efforts, and resolution of challenges. • Foster a culture of collaboration, innovation, and accountability across the D&A teams.
Financial Oversight and Coordination: • Coordinate with the financial department within D&A to ensure accurate budgeting, forecasting, and financial reporting. • Partner with the finance team to identify opportunities for cost-saving, efficiency, and investment.
Operational Excellence: • Oversee the development and implementation of standardized processes, tools, and best practices. • Monitor key performance metrics and ensure the team is meeting or exceeding established targets.
Stakeholder Communication: • Act as a key point of contact for internal and external stakeholders, ensuring clear, concise, and timely communication. • Address and resolve any issues or conflicts that may arise, ensuring smooth collaboration across departments. Continuous Improvement: • Stay updated with the latest industry trends, technologies, and best practices. • Encourage a culture of continuous learning and improvement within the team.
В свое время я немного работал с Сравни.ру - и мне понравилось, очень вменяемые ребята. Сейчас ищут стажеров и аналитиков . У них хороший руководитель Аналитики - Андрей Чехлов, достойный чел
Программы стажировок для продуктовых и дата аналитиков. Первый поток стажировок стартует сейчас
Что предлагают:
- Оплачиваемая стажировка
- Занятость 30-40 часов в неделю
- Крутое комьюнити и опытные наставники
- 3 месяца коммерческого опыта в крупной IT компании
Кого ждут: Студентов последних курсов технических специальностей
Как попасть: За подробностями переходите на сайт - https://tech.sravni.ru/internship
Или пишите напрямую HR: @begishevad
Для аналитиков с опытом открыто множество вакансий: https://sravnianalytics.notion.site/sravnianalytics/423b935cb2a949f4bc0021c2fdc22a1c
Один из самых сложных и недооцененных навыков – это способность эффективно работать, когда есть достаточно времени.
Работая в Яндексе, у меня был подающий надежды, перспективный, но неопытный МЛ лидер Игорь, известный также как /channel/seeallochnaya. В его команде было два стажера, обучающихся на практике, в то время как Игорь сам учился на их опыте. За три недели до нового года я поручил им задачу: создать прогноз доходов на следующий год и представить его на первой неделе нового года для включения в дашборд, что можно было сравнивать план и факт
Задача, незнакомая для новичка, занимала по прикидкам 1-3 дня. Она также требовала запроса доступов к двум файлам, у меня. Я упомянул об этом сразу.
Через неделю доступы так и не были запрошены, и я потратил пару часов на создание прогноза самостоятельно. Через четыре недели, в конце праздников, доступ наконец запросили. Я доступ конечно не дал, предпочитая отдыхать, а не проверять почту.
После праздников я запросил результаты работы, получил ответ что будущего нет и пришлось делать самое сложное - собраться с командой на встречу и пообшаться
Прямая речь Игоря
"Там на встрече мы обсудили почему сложилась такая ситуация, пытались понять, где возникла мисскоммуникация, и что нужно делать в будущем, чтобы такого не происходило, а также обсудили план действий. я помню что у одного из стажеров были негативные эмоции, но не помню из-за чего. Я помню что спросил чувствует ли он давление что я токсичил или надавил, заставлял что-то делать, сказали нет.
Я со встречи вынес что во первых надо иногда со сроками давить, и во вторых пытаться понять, к какой категории люди относятся - кто сам заинтересован, кого надо подсушивать и напоминать и кого надо продавливать. И от этого строить свою стратегию общения. Также Валера сказал что надо делать промежуточные майлстоуны не более чем на 3 дня (со стажерами по крайней мере, дольше - они плавают), и синкаться по ним, чтобы раньше распознавать проблемы."
Очевидно что именно этот опыт помог Игорю в дальнейшем добиться успехов и создать популярный канал
А стажеры после случившегося - запомнили что лучше не оставлять все на последний и научились дисциплине
Однажды я спросил у одного из самых сильных стафф инженеров, которого я нанял в Х5, почему он выбрал Х5
Его ответ был следующим:
"ну я подумал, что теперь можно попробовать залидить чо-нить посерьёзней, решил начать ходить на собесы, а ты быстрее всех пригласил на собес, я сходил на собес и после него ещё до метро не успел с Оазиса дойти, не то, что до других контор, как ты мне офер катнул"
Это мне вспомнилось в тему обсуждения в одном закрытом чате, как правильно нанимать. Хороший найм в моем понимании это два пункта. Быстро нанимать - 2 недели и быстро увольнять - 3 месяца. Определение второго это и есть тонкое искуство менеджмента
Во время стрима много кто просил поделиться списком моих бадов и рекомендаций. Делюсь!
Мой рейтинг брендов:
⁃ Мои Tier 1 по доверию: Thorne Research и Life Extension
⁃ Мои Tier 2: New Chapter, Country Life, Garden of Life, Sports Research, Kirkman Labs
⁃ Бренды, которые использовал/использую и были хорошего качества: Natural Factors, Source of Naturals, Jarrow Formulas
⁃ Пробиотики высокого качества: Renew Life, Pendulum.
Лучшие на мой взгляд витамины:
⁃ Two Per Day от Life Extension или более дорогие Mix (лучше брать версию без меди)
⁃ Серия Nutrients от Thorne: Basic, Advanced, Elite
Лучший рыбий жир:
⁃ Ultimate Omega или Ultimate Omega 2x от Nordic Naturals
⁃ Elite Omega 3 от Carlson Labs
Что можно принимать на постоянке всем:
⁃ Витамины, но нужно понимать, что «бедная» диета с витаминами это все еще бедная диета
⁃ Витамин Д, так как у большинства людей его дефицит, а он крайне важен для большого количества процессов: плотность костей, настроение, иммунитет, гормональная функция, а так же снижает риски развития рака и диабета.
Можно было бы также отметить рыбий жир, а именно EPA и DHA. Первая омега-3 кислота в первую очередь важна для здоровья сердца, а вторая - для здоровья мозга. Но нет данных, чтобы рекомендовать использование рыбьего жира постоянно, и споры о необходимости его приема все еще ведутся, и появляется все больше надежных данных об эффекте рыбьего жира. К примеру, в этом большом мета-анализе не установили положительного влияния на снижение CVD инцидентов, хотя это не единственный потенциальный эффект EPA/DHA.
На стриме была упомянута NMN, которая сейчас пользуется спросом из-за своих потенциальных anti-aging эффектов. NMN и NR являются прекурсорами NAD+, который участвует во множестве процессов, снижается со старением и является важным для функционирования митохондрий и восстановления поврежденной ДНК в клетках. От него также зависят сигнальные белки, такие как Sirtuins, которые являются одной из важных областей исследования современными учеными в области долголетия. К сожалению, данные о NMN и NR ограничены, и большинство исследований не показывают эффекта от их приема. Поэтому на данном этапе я считаю, что это лишняя трата денег.
Что сам принимаю на постоянке:
⁃ Витаминный комплекс Two Per Day от Life Extension
⁃ Elite Omega 3 от Carlson Labs
⁃ Vitamin D3 125mcg от Life Extension, что позволяет держать уровень витамина Д ~ 49 нг//мл
⁃ Rhodiola от Thorne. Адаптоген, помогающий улучшить устойчивость к стрессу и ментальный и физический перформанс
⁃ Калия цитрат и Магния цитрат в течении дня
⁃ Перед сном:
⁃ Магний L-Threonate или Bisglycinate
⁃ Глицин
⁃ L-Theanine
⁃ Утром с кофе L-Theanine для снижения побочек кофеина
Почитал интернет, комментарии на Ютюбе, понял что люди не верят в достижения, буду для себя хранить их здесь и давать ссылки, да и себе пригодится, а то многое забывается. По работе есть резюме, а по спорту нет
Результат Турнира по Грепплингу кровью и потом 2 - 2014 год
Новички до 92кг, 4 схватки, проигрыш в финале - на 1 бал, как итог - 2 место
Результат Турнира по Грепплингу кровью и потом - 5 - 2015 год
Выступил сначала по разрядникам в Ги, в категории до 92кг людей не было, пришлось идти в до 100кг
2 Схватки: 1 Проиграл, 1 Выиграл - 3 место
В этот же день выступал по Но Ги, новички, 92 кг
2 Схватки: 1 выиграл, 1 проиграл - 2 место, устал, проиграл тому, кого на Кровью и потом - 2 выиграл в полуфинале
Ассоциация Силового Многоборья Витязь - МСМК по народному жиму
Протоколы соревнований
Кубок Мира АСМ "Витязь" 27-29 мая 2016
Категория профессионалы, до 90кг, Опен, собственный вес 85кг, результаты - 85кг - 41 повтор (1 повторения не хватило да звания Элита, так и остался МСМК)
Но ничего, в том же году пожал 90кг на 50 и выиграл iPad на клубных соревнованиях
Федерация Русского Жима - рекорд России по Юниорам, МС по русскому жиму
25 июня 2011 года, 75кг на 47 раз, сертификат в комментариях
#Memoir
Приветствую, друзья!
Во-первых, хочу поздравить всех с наступающим Новым Годом и пожелать реализации ваших стремлений! А во-вторых, сообщить о выходе очередного (хотя и последнего в этом году) выпуска Machine Learning Podcast. Выпуск немного нестандартный. В нем сразу два гостя. Гостя два, а тема одна - их совместно написанная книга "Machine Learning System Design with end-to-end examples". Разговариваем о том, как вообще пришла идея написать книгу по теме проектирования ML-систем, почему в соавторстве, а не раздельно, для кого будет полезна данная книга, из каких частей состоит ML System Design, как подходить к разработке ML-систем разной сложности и так далее. Два взгляда двух разных авторов одной книги! Хорошего и интересного вам завершения года!
https://mlpodcast.mave.digital/ep-54
5 января, в 13 по Лондону, проведем стрим с Адамом Елдаровым, СРО в YouDo, ex Head of Data Science в YouDo и Ticketland, а также гуру научного бодибилдинга и активного долголетия.
Обсудим спортивное питание, бады, способы накачаться и как это помогает быть продакт менеджером
Канал Адама
Добавить в календарь