23753
Мне платят за то, что я говорю другим людям что им делать. Автор книги https://www.manning.com/books/machine-learning-system-design https://venheads.io https://www.linkedin.com/in/venheads
(11) и (12) - BitLinear, (1,2,3) - absmean quantization function, сравнения
Читать полностью…
Мы с Арсением не так давно закончили последнюю главу в нашей книжке про ML System Design, и пока она проходит через все остальные стадии паблишинга, решили адаптировать тот же контент под другие форматы. Многие хотят большей вовлеченности, послушать говорящую голову, посмотреть на спикера в зуме и задавать там же вопросы.
По этому поводу думаем провести курс в формате онлайн-лекций. Контент концептуально тот же, две лекции в неделю, на английском с британским и/или славянским акцентом, платно на том уровне, чтобы окупить наше время по обычной ставке, возможны приглашенные эксперты. Если наберется достаточно желающих в Лондоне или Варшаве, устроим гибридный формат (например, вещание из пивнухи 🍺).
Пока что сделали опросник, чтобы понять интерес к этой идее. Если вам интересно, заполните, пожалуйста - это поможет понять ожидания и адаптироваться под них.
Вторая часть
Читать полностью…
Science fiction
Note: меня в художественных произведениях больше интересует не развитие героя, а хорошо простроенная, логичная и непротиворечивая вселенная, т.е. setting.
Ложная Слепота + Эхопраксия (фантастика, книга про то как может выглядеть контакт с инопланетянами которые совсем не люди, в отличие от обычной фантастики где инопланетянин это такой же человек только зеленый там или с жабрами. В книге одновременно есть вампиры+инопланетяне+сильный ИИ и при этом это hard science fiction, с настоящей физикой и биологией)
Карантин (Грег Иган, фантастика для тех, кто все равно не понял квантовую механику, но хочет понять как работают квантовые алгоритмы)
Задача Трех Тел (фантастика, трилогия. Это уже не hard science fiction, но имхо это одно из лучших фантастических произведений лет за 10. Неожиданно 2 и 3 книги лучше чем первая)
Квантовый Вор (фантастика, про то, что будет когда мозги можно будет заливать в комп и наоборот)
Fiction
Гарри поттер и методы рационального мышления
Если честно великая книга(без стеба). Взрослому с критическим мышлением вообще тяжело читать оригигнального гаррри поттера. Ну потому что он рассчитан на 10-летних детей, и логичен с их точки зирения, в их мире препод может конфликтовать с 10-летним пиздюком, а подход “пойти и рассказать взрослому” который решает 90% проблем в оригинальных книгах абсолютно невозможен для применения.
В новой же книге все основные герои ведут себя рационально, это поведение начинается даже не с начала книги, за 15-20 лет до рождения гарри, где Лилли Поттер не ссорилась со своей немагической сестрой, а наоборот магичекси помогла ей стать красивой и успешной, что привело к тому что Петунья вышла замуж не за неудачника Дурсля, а за профессора биохимии из оксфорда
Книга помимо того, что имеет фантастически сильный сюжет (там часть вещей происходят точно так же как в оригинальной книге, а часть ровно наоборот, что не позволяет предсказать что в ней произойдет), является неиссякаемым источником троллинга классической вселенной гарри Поттера
Перечитываю книгу Measure What Matters: OKRs - the simple idea that drives 10x Growth
Глава 17 - про супер пиццерию, The Zume Pizza Story - рассказывают как они всех побеждают с помощью OKRs
Решил зайти на википедию и посмотреть как супер пиццерия поживает:
Zume, Inc. was an American manufacturing-technology company headquartered in Camarillo, California.[2] Founded in 2015 as an automated pizza parlor, in 2020 the company shifted to food packaging and delivery logistics. In June 2023, the company was shut down
Обсуждали с коллегами, которые застали Убер 1.0 и Убер 2.0 какая культура им больше по вкусу
В конце концов закончилось тем, чем должно было закончиться и меня попросили пояснить за свои ценности, поразмыслив - составил такой список
Ideas over hierarchy
Grit - try over and over and over again, persistence.
Customer obsession
Excellency - strive for the best
Fail fast
Bias for action
Move fast and break things
Understand reasons and context. Be proactive, not reactive
Cтал топ 5 мотивирующих медиаперсон по результатам опроса студентов ИТМО
https://vk.com/wall-94_56963
Должность правда какая-то очень старая
Стрим сегодня начнем на 15 минут позже, в 16-15 по Лондону
В этом посте можно задавать вопросы и обсуждать
28 января, в 16 по Лондону, проведем второй стрим с Адамом Елдаровым, в этот раз наконец-то обсудим как раскачаться и стать машиной
Добавить в календарь
Нашел раритетное фото времён работы в Яндексе в 2018 и записи курса по мл для Packt вместе с Нерсесом
Читать полностью…
Есть такой канал - @exp_fest, EXPF – математическая статистика и эксперименты, где челы делятся статьями и рекламируют себя. Если искали какой-то источник информации по аб, можете смело добавлять и читать
Читать полностью…
Когда-то я был директором, теперь я всего-лишь стикер
Читать полностью…
Пацаны из Майкрософта выпустили самую обсуждаемую статью месяца The Era of 1-bit LLMs:All Large Language Models are in 1.58 Bits
Пока остальные кряхтели и пытались отквантовать числа до 4 бит с большими потерями или до 8 бит с небольшими, челы из МС зашли с ноги: любой вес будем представлять как трит - 1.58 бита {-1; 0; 1} и покажем как это сделать не теряя перформанса! It matches the full-precision (i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-task performance
Так же пишут: More profoundly, the 1.58-bit LLM defines a new scaling law and recipe for training new generations of LLMs that are both high-performance and cost-effective. Шортим Нвидию? Теперь вместо умножения - просто складываем (ведь умножение на 1, 0 или -1 это просто плюс, минус или пропуск). The new computation paradigm of BitNet b1.58 calls for actions to design new hardware optimized for 1-bit LLMs.
Что делают? Повторяют BitNet, то есть трансформер где nn.Linear заменен на BitLinear (ниже будет пост с описанием). It is trained from scratch, with 1.58-bit weights and 8-bit activations
Чтобы веса держать в диапазоне -1, 0, 1 - накидывают absmean quantization function (про нее тоже в посте ниже)
И это все
Результаты в посте ниже
Дальнейшее чтиво
/channel/hn_best_comments/21227
#ArticleReview
Какое же удовольствие читать книги по Computer Science по сравнению с Data Science. В CS сразу видно - сели чуваки решать какие-то понятные задачи и постоянно их улучшают, в DS же ощущение что какие-то академики писали много десятилетий в стол, внезапно область выстрелила и они стали это выкидывать эти академические записки в виде книг, правда не до конца понимая какие проблемы они будут решать. Эту книгу рекомендую
Читать полностью…
Прикладываю список книг от СТО Aliexpress - Анатоликса
Похожий список литературы я когда-то кидал внутри компании. Там был просто список без пояснений(потому что пояснения были даны устно). Этот список маленько добавился, плюс появилось письменное объяснение, почему каждая книжка или курс туда попалиhttps://www.coursera.org/learn/synapses
Что объединяет весь список, в котором есть и книги и курсы, биографии и фантастика: это какое-то чтиво, которое на меня произвело впечатление за последние года 3-4, обычно для этого нужно как-то расширить мое понимание в какой-то области
Non-fiction
Биография Джобса
Биография Эйнштейна
Русская Модель управления
Русские писатели серебряного века спорили о загадочной русской душе, потом пришел талантливый менеджер всех выгнал и все объяснил в пределах одной книги.
Основная идея книжки, все признают, что у русских модель управления ужасная и неэффективная, при этом она регулярно достигает успехов для которых на самом деле нужна эффективная система управления, как так получается” (очень нудная книжка, но с большим количеством примеров про всякие реорганизации, и реакцию общества на них)
от ИИ до зомби
Это публикация разных эссе про рациональное мышление, которые ранее были известны как Chains на LessWrong, но они поданы с небольшими изменениями и в другом более логичном порядке.
Биология
Биология Поведения Человека, Роберт Сапольский, стендфорский курс (либо книга Биология Добра и Зла) Книжка имхо ощутимо, хуже чем курс в области подачи фундаментальных знаний, в курсе очень много информации про то как вообще работает генетика, эндокринология и нейромедиаторы, в книжке это очень упрощенное справочное пособие, т.е. книжка скорей научпоп. Но в книжке сильно больше интересных примеров.
Synapses neurons and brains
Читать полностью…
На первой лекции этого курса рассказывают о содержании курса, на второй что вот мозг состоит из нейронов, а третья начинается с дифференциального урованения. Чувак который читает курс на самом деле глава Blue Brain Project, те ребята которые эиулируют мозг мыше на уровне электросигналов. Так вот они на самом деле физики, а не медики, и терпения скрываться у них видимо хватило до 3-ей лекции
Эгоистичный Ген + Расширенный Фенотип
Вы любите мемы в интернете? А знаете что слово мем было первый раз применено в книге Эгоистичный ген в качестве сущности, которая на самом деле подвержена размножнению и эволюции, но без биологической природы (в противовес гену).
Для 1970 года когда вышла первая версия книги, огромное число вещей про эволюцию понимали не так. Например, вы когда-нибудь слышали про “групповой отбор” т.е. когда эволюция действует в интересах вида. А вы знаете что его нет? и почти все эффекты которые выглядят как групповой отбор обхъясняются по-другому. Набор на самом деле работает не в интересах вида, и не в интересах индивидуума, а в интересах конкретного гена.
Самый простой пример, чего нельзя объяснить без эгоистичности генов, это например почему мальчиков и девочек рождается примерно поровну, хотя мог бы быть один самец на 10 самок, было бы эффективней.
Идея простая, если ее знать, предположим соотношение самок к самцам 10:1. Тогда получается, что каждый ген в самце в распространенни в 10 раз успешней чем в самке. Тогда получается, что самкам в 10 раз выгодней рожать самцов, потому, что на следующей стадии распространение их генов будет в 10 рпаз эффективней, они начинают так делать и баланс выравнивается.
думай медленно решай быстро (Thinking, Fast and Slow)
Физика
Квантовая механика для чайников https://www.youtube.com/watch?v=3WTMe0R8bw0&list=PLRib7Hj2D_xC_ZDFa4yYqfwtKjUy-LtoS (оказалось, что это не я нифига не понял квантовую физику, а никто ее не понимает, просто все делают вид)
Ну хоть какие-то нормальные предложения о работе стали приходить со странных емейлов, а то раньше все предлагали пойти мидлом куда-то
Читать полностью…
На стримах с Адамом мы обсудили многое, но одну из насущных проблем современности упустили. Речь идёт конечно же про грибы. И даже не о том что Ленин - Гриб, это все же проблема 20 века
Речь идет о грибах чтобы жить.
Грибы что бы проснуться
Грибы чтобы заснуть
С проснуться и быть энергичным, сфокусированным и тп у меня никаких проблем нет, поэтому буду проверять в первую очередь грибы для сна, о чем позже расскажу. Если есть желающие проверить грибы - позволяющие проснуться, пишите - затем расскажите о своем грибном опыте
Считается что А/Б тесты позволяют получить несмещенную оценку эффекта. Но это неправда.
Вызвано это двумя причинами
Первая - когда результаты плохие, есть тенденция останавливать эксперимент досрочно
Вторая - стат значимый эффект в эксперименте, который underpowered (а это практически любой эксперимент), в среднем завышен, а люди имеют тенденцию принимать положительные результаты с радостью
Простой пример, если запускать много А/А тестов и выбирать только стат значимые в положительную сторону, вы можете заявлять о положительном эффекте, хотя в реальности он ноль -> ваша оценка стала смещенной
Если мощность недостаточная - будете ловить хвосты распределений, которые завышают реальный общий эффект и тоже смещаться
На эту тему есть неплохая заметка от Букинга - с картинками
В ней описывается проблема и варианты ее решения. К моему удивлению - предлагают брать нижний доверительный интервал
The statistically optimal solution to this problem would be to retest every single successful product change. In a business context, this is often not possible nor desired. Thus, a pragmatic approach that works surprisingly well is to use the lower bound of the 95% one-sided confidence interval for impact estimation and reporting instead.
Подумал почему бы не воспользоваться собственным каналом. Ищу Сhief of Staff для VP of Data and Analytics (команда примерно в 2000 человек) , в компанию BP - ранее известная как British Petroleum. Контрактная роль (но на постоянку), примерный рейт 500-700 фунтов в день, нужно иметь право на работу в ЮК
Офис(ы) - в Лондоне, гибрид, теоретически можно удаленку (но скорее нет). Писать мне
Overview:
The Chief of Staff, Data & Analytics, will act as the right hand to the Vp of D&A , playing a critical role in executing strategy, ensuring alignment across teams, and driving operational excellence. This role will require the individual to wear many hats, navigate complex challenges, and act as a representative of the Senior Principal in key meetings.
Key Responsibilities:
Strategic Planning and Execution: • Assist the VP in strategic planning, project prioritization, and execution. • Monitor and ensure alignment of team efforts with the overarching business objectives. • Identify areas of improvement and propose innovative solutions.
Leadership Representation: • Act as the VP's representative in critical meetings, ensuring alignment and communication. • Present updates, findings, and strategic insights to internal stakeholders.
Team Coordination and Alignment: • Collaborate with D&A Principals to ensure project delivery, alignment of efforts, and resolution of challenges. • Foster a culture of collaboration, innovation, and accountability across the D&A teams.
Financial Oversight and Coordination: • Coordinate with the financial department within D&A to ensure accurate budgeting, forecasting, and financial reporting. • Partner with the finance team to identify opportunities for cost-saving, efficiency, and investment.
Operational Excellence: • Oversee the development and implementation of standardized processes, tools, and best practices. • Monitor key performance metrics and ensure the team is meeting or exceeding established targets.
Stakeholder Communication: • Act as a key point of contact for internal and external stakeholders, ensuring clear, concise, and timely communication. • Address and resolve any issues or conflicts that may arise, ensuring smooth collaboration across departments. Continuous Improvement: • Stay updated with the latest industry trends, technologies, and best practices. • Encourage a culture of continuous learning and improvement within the team.
В свое время я немного работал с Сравни.ру - и мне понравилось, очень вменяемые ребята. Сейчас ищут стажеров и аналитиков . У них хороший руководитель Аналитики - Андрей Чехлов, достойный чел
Программы стажировок для продуктовых и дата аналитиков. Первый поток стажировок стартует сейчас
Что предлагают:
- Оплачиваемая стажировка
- Занятость 30-40 часов в неделю
- Крутое комьюнити и опытные наставники
- 3 месяца коммерческого опыта в крупной IT компании
Кого ждут: Студентов последних курсов технических специальностей
Как попасть: За подробностями переходите на сайт - https://tech.sravni.ru/internship
Или пишите напрямую HR: @begishevad
Для аналитиков с опытом открыто множество вакансий: https://sravnianalytics.notion.site/sravnianalytics/423b935cb2a949f4bc0021c2fdc22a1c
Один из самых сложных и недооцененных навыков – это способность эффективно работать, когда есть достаточно времени.
Работая в Яндексе, у меня был подающий надежды, перспективный, но неопытный МЛ лидер Игорь, известный также как /channel/seeallochnaya. В его команде было два стажера, обучающихся на практике, в то время как Игорь сам учился на их опыте. За три недели до нового года я поручил им задачу: создать прогноз доходов на следующий год и представить его на первой неделе нового года для включения в дашборд, что можно было сравнивать план и факт
Задача, незнакомая для новичка, занимала по прикидкам 1-3 дня. Она также требовала запроса доступов к двум файлам, у меня. Я упомянул об этом сразу.
Через неделю доступы так и не были запрошены, и я потратил пару часов на создание прогноза самостоятельно. Через четыре недели, в конце праздников, доступ наконец запросили. Я доступ конечно не дал, предпочитая отдыхать, а не проверять почту.
После праздников я запросил результаты работы, получил ответ что будущего нет и пришлось делать самое сложное - собраться с командой на встречу и пообшаться
Прямая речь Игоря
"Там на встрече мы обсудили почему сложилась такая ситуация, пытались понять, где возникла мисскоммуникация, и что нужно делать в будущем, чтобы такого не происходило, а также обсудили план действий. я помню что у одного из стажеров были негативные эмоции, но не помню из-за чего. Я помню что спросил чувствует ли он давление что я токсичил или надавил, заставлял что-то делать, сказали нет.
Я со встречи вынес что во первых надо иногда со сроками давить, и во вторых пытаться понять, к какой категории люди относятся - кто сам заинтересован, кого надо подсушивать и напоминать и кого надо продавливать. И от этого строить свою стратегию общения. Также Валера сказал что надо делать промежуточные майлстоуны не более чем на 3 дня (со стажерами по крайней мере, дольше - они плавают), и синкаться по ним, чтобы раньше распознавать проблемы."
Очевидно что именно этот опыт помог Игорю в дальнейшем добиться успехов и создать популярный канал
А стажеры после случившегося - запомнили что лучше не оставлять все на последний и научились дисциплине
Однажды я спросил у одного из самых сильных стафф инженеров, которого я нанял в Х5, почему он выбрал Х5
Его ответ был следующим:
"ну я подумал, что теперь можно попробовать залидить чо-нить посерьёзней, решил начать ходить на собесы, а ты быстрее всех пригласил на собес, я сходил на собес и после него ещё до метро не успел с Оазиса дойти, не то, что до других контор, как ты мне офер катнул"
Это мне вспомнилось в тему обсуждения в одном закрытом чате, как правильно нанимать. Хороший найм в моем понимании это два пункта. Быстро нанимать - 2 недели и быстро увольнять - 3 месяца. Определение второго это и есть тонкое искуство менеджмента
Во время стрима много кто просил поделиться списком моих бадов и рекомендаций. Делюсь!
Мой рейтинг брендов:
⁃ Мои Tier 1 по доверию: Thorne Research и Life Extension
⁃ Мои Tier 2: New Chapter, Country Life, Garden of Life, Sports Research, Kirkman Labs
⁃ Бренды, которые использовал/использую и были хорошего качества: Natural Factors, Source of Naturals, Jarrow Formulas
⁃ Пробиотики высокого качества: Renew Life, Pendulum.
Лучшие на мой взгляд витамины:
⁃ Two Per Day от Life Extension или более дорогие Mix (лучше брать версию без меди)
⁃ Серия Nutrients от Thorne: Basic, Advanced, Elite
Лучший рыбий жир:
⁃ Ultimate Omega или Ultimate Omega 2x от Nordic Naturals
⁃ Elite Omega 3 от Carlson Labs
Что можно принимать на постоянке всем:
⁃ Витамины, но нужно понимать, что «бедная» диета с витаминами это все еще бедная диета
⁃ Витамин Д, так как у большинства людей его дефицит, а он крайне важен для большого количества процессов: плотность костей, настроение, иммунитет, гормональная функция, а так же снижает риски развития рака и диабета.
Можно было бы также отметить рыбий жир, а именно EPA и DHA. Первая омега-3 кислота в первую очередь важна для здоровья сердца, а вторая - для здоровья мозга. Но нет данных, чтобы рекомендовать использование рыбьего жира постоянно, и споры о необходимости его приема все еще ведутся, и появляется все больше надежных данных об эффекте рыбьего жира. К примеру, в этом большом мета-анализе не установили положительного влияния на снижение CVD инцидентов, хотя это не единственный потенциальный эффект EPA/DHA.
На стриме была упомянута NMN, которая сейчас пользуется спросом из-за своих потенциальных anti-aging эффектов. NMN и NR являются прекурсорами NAD+, который участвует во множестве процессов, снижается со старением и является важным для функционирования митохондрий и восстановления поврежденной ДНК в клетках. От него также зависят сигнальные белки, такие как Sirtuins, которые являются одной из важных областей исследования современными учеными в области долголетия. К сожалению, данные о NMN и NR ограничены, и большинство исследований не показывают эффекта от их приема. Поэтому на данном этапе я считаю, что это лишняя трата денег.
Что сам принимаю на постоянке:
⁃ Витаминный комплекс Two Per Day от Life Extension
⁃ Elite Omega 3 от Carlson Labs
⁃ Vitamin D3 125mcg от Life Extension, что позволяет держать уровень витамина Д ~ 49 нг//мл
⁃ Rhodiola от Thorne. Адаптоген, помогающий улучшить устойчивость к стрессу и ментальный и физический перформанс
⁃ Калия цитрат и Магния цитрат в течении дня
⁃ Перед сном:
⁃ Магний L-Threonate или Bisglycinate
⁃ Глицин
⁃ L-Theanine
⁃ Утром с кофе L-Theanine для снижения побочек кофеина
Почитал интернет, комментарии на Ютюбе, понял что люди не верят в достижения, буду для себя хранить их здесь и давать ссылки, да и себе пригодится, а то многое забывается. По работе есть резюме, а по спорту нет
Результат Турнира по Грепплингу кровью и потом 2 - 2014 год
Новички до 92кг, 4 схватки, проигрыш в финале - на 1 бал, как итог - 2 место
Результат Турнира по Грепплингу кровью и потом - 5 - 2015 год
Выступил сначала по разрядникам в Ги, в категории до 92кг людей не было, пришлось идти в до 100кг
2 Схватки: 1 Проиграл, 1 Выиграл - 3 место
В этот же день выступал по Но Ги, новички, 92 кг
2 Схватки: 1 выиграл, 1 проиграл - 2 место, устал, проиграл тому, кого на Кровью и потом - 2 выиграл в полуфинале
Ассоциация Силового Многоборья Витязь - МСМК по народному жиму
Протоколы соревнований
Кубок Мира АСМ "Витязь" 27-29 мая 2016
Категория профессионалы, до 90кг, Опен, собственный вес 85кг, результаты - 85кг - 41 повтор (1 повторения не хватило да звания Элита, так и остался МСМК)
Но ничего, в том же году пожал 90кг на 50 и выиграл iPad на клубных соревнованиях
Федерация Русского Жима - рекорд России по Юниорам, МС по русскому жиму
25 июня 2011 года, 75кг на 47 раз, сертификат в комментариях
#Memoir