9343
Юрий Кашницкий (Yorko, тут @yurycorn) – про машинное обучение, науку, галеры, матан, фэйлы и прочие интересности. Рекламы нет. https://www.linkedin.com/in/kashnitskiy
Бэкап-профессии
#career #coolstorybob
Меня впечатляют истории, как люди развивают не одну, а целых две профессии и могут почти безболезненно спрыгнуть с карьерной лестницы и начать карабкаться по другой. А иногда ты просто падаешь с этой лестницы и вопрос, что делать дальше. Сейчас на слуху истории белоэмигрантов-таксистов в Париже (мини-сериал Редакции, кстати, шикарен). Но даже при моей жизни имммигранты-профессора в Израиле вполне могли подметать улицы или крутить баранку.
Я пока видел всего пару историй, когда из CS прыгали в другие профессии. Если не считать Крижевского, про которого в Genius Makers (пост) говорили, что он ушел в закат и больше не занимается ML.
У меня был коллега Хайо, ML-инженер. Типичный прямой голландец, мог дать фидбек “this sucks”, не любил менеджеров, жарил невероятное барбекю и ходил в зал. Но не просто ходил в зал, а получил лицензию кросс-фит тренера. Так что ковыряния в конфигах он чередовал с жимом и бёрпи. Хайо уверенно говорил, что через 10-12 лет он точно не будет писать код, а откроет свой кросс-фит клуб.
Во время масштабных ковидных лэйоффов, когда в US работы лишились тысячи гуглеров, парижский офис всего-то аккуратно попросил 18 коллег уйти. Можно было легко отказаться, но Камю, одна из топ-менеджеров в AI/ML, согласилась, взяв бонус в виде годовой оплаты. Камю ценила качественный виски, в гугле она даже устраивала официальные тимбилдинги с распитием виски (за счет компании, само собой). И так Камю решила открыть бар. Camus Camus - недалеко от офисов Гугла и кучи стартапов. Камю сама мешает коктейли и любит потрещать с гуглерами. Я тоже с ней перебросился парой фраз, узнал, что Камю все же думает о возврате в tech.
Что до меня, у меня бэкап-профессии нет и вряд ли будет (репетиторство/менторство не в счет). Мы живем в потрясающее время, так что all-in AI. Но все равно подобные истории примечательны.
Запись большого стрима про карьеру и собесы в БигТех
Так как все спрашивали про запись недавнего стрима с коллегами из FAANG, мы все-таки ее выложили:)
Вот таймкоды, на интересные моменты:
2:00 - Интро
10:27 - Интро со мной, про мои походы в горы
11:49 - Чем я занимаюсь по работе
12:30 - Emu Flash - риалтайм генерация картинок в meta-ai, и как наша демка дошла до Цукерберга
20:40 - Кто спал днем, а кто всю ночь работал
21:45 - Как выглядят собесы на ресерч менеджера в Мету
33:20 - Про Behavioral интервью
45:22 - Какие собесы на research позиции?
48:27 - Коротко про AI Research Design интервью
49:17 - Почему нужно PhD на ресерч роли, какие скилы применяются в работе
51:05 - Будут ли умирать роли в Applied Research с приходом LLM? (нет)
55:54 - Про менторство, как это помогает расти, как найти ментора.
1:11:13 - Какая мотивация работать в БигТехе.
1:49:24 - Заключение. Финальные советы по прохождению собесов и по карьере в целом.
Как и обещал на стриме ( 1:02:25 ), я анонсировал закрытое комьюнити по подготовке к собеседованиям на AI/ML роли в FAANG и не-FAANG. Подробности и как записаться – в посте.
@ai_newz
Ссылки после стрима
#career #interviews
Что, вроде неплохо зашло? Если что-то еще упустили - пишите в коменты. Может, еще соберемся. Можно для diversity и стартаперов позвать (Бориса без пхд уже звали).
Во флудливом чатике streamyard было и что-то полезное. Кроме кеков, из-за которых ведущем было сложно держать щи ровно.
- Лучший источник для ml system design, на мой взгляд. Дается структура и много типичных примеров. Еще был совет читать блоги компаний, особенно перед собесом с одной из компаний, ведущих неплохие блоги
- методичка Бориса о собесах
- SWE interviews at Meta
- тут расписывал про ресурсы, которые мне помогли в долгом забеге по собесам
- Хороший ютуб канал для бихейва - alifeengineered?si=xzexq2vYf2ECGzpu">A life engineered
- мне очень помогли два канала экс-рекрутеров гугла: jeffhsipepi">Jeff Sipe и CoachErika">Erika Gemzer. Все про бихейв + у Джеффа есть плэйлист про переговоры
- Книга System Design Interview от Alex Xu - это классика. У него же недавно появилась про ML system design. Не читал, но если она хоть чуть-чуть похожа на System design, то это 🔥
- настольная книга карьеристов: Rise. (do better, look better, connect better). Много про менторство, личный бренд (в правильном смысле слова) и нетворкинг
- еще Таня развернула мысль про поведенческие собесы в этом посте.
Насчет записи стрима: файлик есть, а времени и желания монтировать - нет. Ставьте звёздочки, если нужна запись - подумаем 😀
Спасибо @kSasha за подбор ссылок
#shitpost
Продолжаю экскурсию по офисам Гугла. В Стокгольме довольно комфортные комнаты для сна. Самое большое скопление людей - вокруг стола для пинг-понга, и средний уровень играющих меня впечатлил. Коллега говорит, в 4 в офисе уже пусто.
Как-то промо весной отменили и рефрешеры не всем дают…
Genius Makers
#books #coolstorybob
Дослушал “Genius Makers: The Mavericks who brought AI to Google, Facebook, and the world”. Как вы поняли, всячески рекомендую. В ней помимо истории про успехи и неудачи нейросетей, довольно много жизнеописаний Марвина Мински, Хинтона, Лекуна и прочих героев. Самую впечатляющую байку про Гудфеллоу я уже описал, но в книге будет еще как минимум 10 эпизодов, которые захватят ваше внимание. Вот некоторые из них:
- Как появилась LSTM, Хинтон троллил Шмидхубера расшифровкой Looks Stupid To Me. Но спустя несколько лет пришлось признать, что что-то в этом есть;
- Когда еще никто не верил в нейронки, до Image-Net момента, студенты Хинтона побили все соты в Майкрософте. Но там в руководстве было слишком много скептиков-символистов, размахивающих устаревшей статьей Марвина Мински, что перцептрон Розенблатта не решает XOR-проблему. В итоге нейронки по-настоящему раскатились в Гугле и Фэйсбуке, а не Майкрософте;
- Румельхарт, всю жизнь посвятивший идее нейронных сетей, боровшийся за них во все эпизоды массового разочарования- не дожил несколько месяцев до ImageNet-момента;
- Эндрю Ын общался с Ларри Пэйджем и главой поиска в Гугле, пытался убедить, что нейронки - будущее. Экспериментировать с поиском не позволили, но Пэйдж с Брином одобрили открытие лаборатории Google Brain. Ын ее возглавил, но довольно быстро ушел делать Курсеру, а себе на смену посоветовал Хинтона. Хинтон согласился, и первое время формально был в Гугле интерном;
- На одной из конференций Джеф Дин представлял масштабированную гугловскую систему для обучения нейронок. Гудфеллоу, еще студент, встал и потроллил Дина за то, что все на CPU, а не GPU. Иан просто не знал, кто такой Дин;
- Из-за проблем со спиной Хинтон не садился ни разу за 15 лет. “It’s a long-standing problem», говорил он;
- Когда в OpenAI встречали напитками Иана Гудфеллоу, Илья Суцкевер поднял тост за AGI через 3 года. Иан покраснел от кринжа и стал мяться, в какой момент бы сказать, что он отказывается от оффера.
Как всегда, маловато времени уделили Шмидхуберу и советским ученым. Да и повествование обрывается на сюжетах из 21-го года, до LLM-революции. Но все равно в книге найдете еще кучу интересных сюжетов.
Как пьяный Гудфеллоу закодил ганы
#ml #coolstorybob
Мем выше - только отчасти мем.
Осенью 2013-го Иан заканчивал PhD, встречался с новой девушкой и жестко прокрастинировал с книгой Deep Learning. Его коллега по лабе получил оффер от DeepMind, и ребята собрались в барчике отметить такое дело. Беседа полилась, как пиво, в том числе начали обсуждать генерацию фотореалистичных изображений (на тот момент - чисто теория). Пара ребят предложили идею: собрать кучу статистик сгенерированных изображений и сравнить со статистиками реальных. Иан им объяснил, что таких статистик понадобится примерно миллиард, а потом кликнуло: нужен классификатор. Хмель начал бить в голову, и Иан вкратце описал товарищам идею GANs. Те отнеслись скептически: «камон, мы тут одну нейросетку не можем обучить, а ты предлагаешь сразу две».
Часа в 2 ночи Иан вернулся домой, девушка уже спала, проснулась только чтоб поздороваться и снова забыться. Иан открыл ноутбук, и начал, освещая спящую девушку экраном и бубня под нос «friends are wrong», кодить GANs. Заработало с первого прогона.
После этого были NIPS, гугл, и Лекун, назвавший идею GANs - лучшей за 20 лет. Хинтон, помедлив и отсчитав годы от рождения backprop, согласился. Остальное вы наверняка помните.
Вольный пересказ «Genius makers», главы 13.
#random
Захожу в мюнхенский офис гугла (вторник, 16.00). Первый звук, слышимый еще из двора - шарик от пинг-понга.
Что-то на руки мало остается и фаер не близко…
Что гугл хотел услышать на стафф-позицию
#career #interviews
Я писал про собесы с гуглом и подготовку. Ключевым моментом было пройти моки, узнать, что спрашивают конкретно на L6, стаффа. Не думаю, что это сверхсекретно, описано в гайдах, можно выловить в видео того же Jeff Sipe. Но не помешает собрать воедино тут. Итак, что конкретно я подчеркивал в историях, когда перелопачивал свой story bank под гугл (основано на советах извне, никакой гугловской кухни тут нет):
- проекты на кучу команд сразу (cross-team collaboration). Стоит показать, что ты не только со своей командой можешь работать, но и также быть в эпицентре кросс-функциональных команд (инженеры, эксперты, DS, продакт, проджекты и т.д.);
- проекты с большим импактом на всю организацию (high-impact projects across the org). Это вроде тривиально, нужны истории про твое большое влияние. Но в историях стоит отметить, как это влияние было не только на пару коллег или команд, а намного шире. Мой пример тут был про антифрод в науке (описывал тут в канале #research_integrity);
- team upskilling – хотят услышать, что ты командный игрок, помогаешь коллегам, кого-то развиваешь персонально, а не просто относишься к людям как к ресурсу;
- Процессы. Процессы. Еще раз setting up processes. Хорошо бы не просто сказать, что удалось где-то что-то запилить так, что сработало. Хорошо бы еще рассказать, как это получилось завернуть в переиспользуемую рутину. В целом процессом может быть даже просто хорошо структурированная серия митингом. Например, я рассказывал, как у нас поначалу был хаос в проекте с кучей рисеч-идей, я завел общий бэклог для нашей команды DS и команды экспертов предметной области и мы стали раз в 2 недели прочесывать бэклог, приоретизировать рисеч-идеи и функциональные улучшения. И в целом это здорово сработало. Ну кстати, за оверфит на своих людей и процессы гугл порой критикуют (пример), типа заигрались, клиент отошел на второй план (в клауде у нас это не так, там реально customer first);
- Applied lessons learned – тут стоит показать, как что-то сработало не просто один раз, а еще потом несколько раз. К слову о процессах, показать, что они реально стали новой практикой. В примере выше – я рассказывал, что потом в других рисеч-проектах переиспользовал этот процесс с общим бэклогом на две команды. Особенно важны applied lessons learned в историях с негативом (фэйлы, конфликты) – показать, что не только прошел по граблям и понял, что так не надо, но еще и что конкретно сделал, чтоб в следующий раз не пройтись по граблям. Вот это было моим основным перелопачиванием историй – добавить applied lessons learned. И вообще популярный формат ответов STAR расширяют до STARS, добавляя Self-Reflection, что как раз и есть lessons learned + applied lessons learned;
- Взаимодействие с самыми топ-менеджерами (communication with higher-up stakeholders). Тут важно показать успешные истории общения с C-level и прочими боссами. Я тут рассказывал, как обучал COO эмэлю (пост) и как выбивали ресурсы на проект у CEO.
Даже если собеседуетесь не на стаффа и не в гугл, все равно подчеркнуть описанные вещи в своих историях будет полезно.
Мой любимый момент на Kaggle
#coolstorybob #kaggle
Kaggle - это love-hate, как контактные линзы. Не будем начинать эту тему. Но порой там случается красивое, не только +0.000005 к сомнительной по смыслу метрике за счет ансамбля с TTA-SWA, дистилляцией и post-processing.
На дворе был 2019 год, мы участвовали в NLP соревновании от Гугла «gendered pronoun resolution». Накручивали олдскульные LSTM, тогда еще без BPE/wordpiece: токенизацию в лоб подгоняли так, чтоб больше текста можно было покрыть словарем.
И вот как-то мы влачимся, делаем минорные улучшения. И тут «гусь», аспирант универа Пенсильвании Matei Ionita публикует кернел с Бертом, первый на Kaggle. Это, конечно, еще до HF, на базе tensorflow-реализации от гугла. И без файнтюна, чисто достать эмбеддинги, дообучить голову под задачу. Лидерборд был просто порван, а-ля 0.72 -> 0.5 logloss, когда до этого улучшения были уже только в 3 знаке. Бородатые мужики были удивлены.
Потом, естественно, все бросились изучать Берта, файнтюнить. Мы позвали Матея в команду и чутка не дотянули до золота. Но по соотношению полученных знаний к потраченному времени это соревнование было одной из лучших моих активностей.
Опа, литкод пригодился!
#projects
Раза два с половиной мне пригождалась математика в боевых проектах (пример с теорией графов), а тут вот первый случай с литкодом. Попался кейс, где таргет в классификации задать довольно сложно и для него эксперты предметной области сочинили дерево решений из довольно сложных вопросов (это не то дерево, что мы обучаем по тьюториалу склерна). В стиле «Достаточно ли тут контекста, чтоб ответить на вопрос? Да - следующий вопрос. Нет - прыгай к вопросу 4». «Нужны ли перс данные, чтоб ответить?» И т.д. Ну, записываю всю логику блуждания по дереву в промпт, и далее молюсь-матерюсь, чтоб LLM совершила чудо и послушалась. Заработало, кстати, сносно.
А вот для дебага нужно было подсветить, как именно LLM бродила по дереву. И вот тут возникла рутина в стиле литкода. Из LLM я вытащил цепочку ответов на вопросы в вершинах, но сам граф задан в edge-формате, пришлось реализовать DFS. Благо, без рекурсий, итеративный алгоритм пришел на ум. Перед этим, конечно и так, и сяк помучал гемини и джипити - не справились (либо я косорук). Вытащить из LLM нужный путь в дереве тоже не вышло – лагает. И это не то чтобы я уже от гуглеров заразился овер-инжинирингом, я по-честному не придумал, как бы сделать все проще, в два щелчка. Так что всё, можно сказать, 400 часов литкода не прошли зря.
Для самых стойких – в коменте сама задача в +/- литкод-формулировке.
Еще немного фэйлов
#fail #fake_text_detection #kaggle
Собесов больше нет, а фэйлить хочется. Особенно рассказывать о них публично. Снижать publication bias тксказать. Так что вот еще.
Вторая попытка организовать соревнование по детекции LLM-генерированного контента тоже провалилась. Народ снова повыбивал 99+, причем в решениях я видел даже pre-BERT модели типа AWD LSTM. Будет семинар при ACL, на котором победители расскажут про решения, но уже понятно, что там особого научного прорыва не будет, скорее эксплойт наших косяков. На бумаге все норм, сделали сореву и воркшоп при топовой конфе, но по сути так себе.
Есть еще пара фэйлов, если чуть копнуть в историю. В стиле «мужик сказал - мужик сделал вид, что нихрена не говорил». Как-то мы с Андреем Лукьяненко участвовали в необычном соревновании на кэггле, где надо было эссе писать. Так вот мы ничего не выиграли, где-то на 50 место приземлились. Напрягло чутка, что среди победителей был обзор методов оптимизации, каких на Medium найдешь сотню.
А еще я как-то хотел больше ютуб-видео снимать, и этого, очевидно, не произошло 😅 так что больше обещать не буду, хотя есть идеи вернуться с новым контентом к своим 20к подписчикам. Ща только зарегаюсь в Роскомнадзоре.
Собесы с гуглом и подготовка
#career #interviews
В Гугл я зашел с реферала, наконец не заигнорили. По иронии, реферила меня героиня поста «она в Мистрале, а ты нет». То есть я ей помог уйти из гугла, а она мне помогла прийти в гугл.
Гугл постепенно сошелся к формату 4-х собеседований (это раньше могло быть и по 15-20). У меня были следующие раунды:
- leetcode + system design
- Role-related knowledge
- leadership & googleyness
- General Cognitive Ability
- “casual” беседа с менеджером
В первом раунде литкод показался простым, а дизайн – сложным. Дизайн я гроккал основательно, по плану описанному в посте (к слову о том, что с собесами успех - это на 50% усилия и на 50% удача, все же ни к одной компании я не готовился так долго). У бигтеха можно попросить пару недель на подготовку, обычно к этому нормально относятся. И моки оказались очень полезны (спасибо Алексу и Сергею), особенно учитывая, что до этого я ни разу не проходил дизайн-интервью.
Role-related knowledge - это про LLM и консалтинг, было немало вопросов о том, как описать LLM для клиентов, топ-менеджеров, инженеров. Технические вопросы показались не сложными (курса “Generative AI with LLMs” и своего опыта с LLM хватило), а вот для вопросов про бизнес-смекалку и консалтинг не помешала бы практика с бизнес-кейсами, как в big4 проверяют.
Leadership & googleyness – это, считай, бихейв. Несмотря на то, что я сам менторю, я прошел 4 мока, узнавал, что именно хотят услышать при собесах на стафф позиции в гугле. Это было дико полезно, огромное спасибо Тане, Семену и Анне. По итогу я довольно основательно перелопатил свой story bank. Благо, на собесе не было вопросов с подвохом типа “tell me how you used data to modify your strategy”, было более-менее понятно по вопросу, о каких лидерских качествах речь и какие свои истории рассказывать.
General Cognitive Ability – это open-ended вопросы в стиле “друг открыл магазин шоколада, посоветуй ему бизнес-план”. Тут есть четкий фреймворк, легко ботается. Мне очень помог вот jeffhsipepi">этот ютуб канал (там же и про переговоры целый плэйлист). Дополнительно я брал консультацию с небольшим моком, где мне посоветовали говорить медленнее.
Ну и “casual” беседа с менеджером – никакая не casual, надо рассматривать как бихейв. О жизни можно потом трепаться, как наймут, на собесе смотрят на сигналы, готовился как к бихейву, заготовил самые крепкие истории.
В целом оцениваю вклад бихейва примерно в 80%. Ага, сам не ожидал, что с гуглом такое может быть. Но тут все же позиция в Sales трек, а не SWE, очень много с клиентами и топ-менеджерами надо будет общаться, поэтому и такой уклон.
пс. текст согласован с эйчаром, в подробности про конкретные вопросы, переговоры, решения комиссии лезть не буду.
Собесы на Applied ML Scientist: крутые ресурсы
#ml #interview #career
По списку самых частых собесов отсюда.
1) Поведенческие
Про поведенческие собесы и я уже рассказывал в самом начале, и Таню репостил. Тут главное – расписать story bank (не пожалеть на это времени) и пройти моки.
- IGotAnOffer – блог со статьями от подбора вопросов на MLE в Мету до “Why Amazon?” и как рассказывать про свои фэйлы и конфликты
- Если посидеть, спокойно послушать, почему все это важно – видео Jackson Gabbard
- Гайд от interviewing.io – вольный пересказ Amazon Leadership Principles
- И главное – моки и реальные собесы. Причем моки могут быть полезнее – тебе расскажут прям про подноготную, на реальных собесах еще поди получи внятную обратку. Я приставал напрямую к людям из желаемой компании, но есть и платформы: та же interviewing.io (помните кулстори про brilliant jerk, который сейчас в OpenAI?), еще слышал хорошие отзывы про Exponent.
2) Кодинг
Казалось бы, что тут нового скажешь. Я тут тоже писал, как пстра освежить литкод. Neetcode roadmap и Leetcode Premium – это да. Но я повторюсь про моки. Live-coding это вообще непростое дело: надо думать, писать код, слушать и складно говорить. А все одновременно! Такое надо практиковать. Вот правда, люди не могут внятно озвучивать свой код - идет аа…эээ… ууу.. и прочие бабуинские хмыкания. Для моков по литкоду – тот же interviewing.io, но есть и вариант для простых ребят – pramp, там peer2peer.
3) ML в ширину
- млкурс. Не, серьезно, я как тот дед, читающий свои учебники, перед собесами пролистываю mlcourse.ai. Bias-variance, бустинг vs бэггинг, где там в градиентном бустинге градиенты – все это до сих пор вовсю спрашивают (тот же Amazon на Applied Scientist).
- По NLP есть курс-жемчужина – NLP For You Лены Войты. Плюс посты Jay Alammar про архитектуру трансформера.
- У Дьяконова я подсмотрел вот эти конспекты + еще подборка Daily Dose of Data Science хороша.
- Наконец, есть драфт книги Chip Huyen “Machine Learning Interviews”, там все от видов специализаций в ML до переговоров и списков вопросов по ML, кодингу и матану
4) ML в глубину
Тут особо нечего посоветовать, оно из рабочего опыта все идет. Разве что можно эрудицию развивать чтением блогов а-ля ML in the Wild. У Evidently есть подборка из целых 300 штук (этот же совет и для ML дизайна ниже). Я читаю 2-3 блога о компании, куда собеседуюсь, и еще 2-5 – наиболее близких к описанию вакансии.
5) ML-кодинг
Специально не готовился, так что все тот же совет – моки.
6) Рисеч-презентация
Тут тоже каких-то ресурсов нет под рукой. Совет – уточнить у эйчара или HM, что хотят услышать: хардкор по теории, инженерии или еще что. Чтоб не словить “too much leadership”, как я.
6) ML дизайн
Да, тут есть популярные книги, но реалистично, перед собесом - это не книга нужна. Из всех ресурсов я выделю вот эту репу. Там и шаблон из 9 пунктов, которому можно следовать (problem → metrics → data → etc). И типичные кейсы разбираются, уже форматированные по шаблону.
7) Домашнее задание
Про take home сколько уже срачей только не было. Я не вставал в позу и 3 домашки сделал. Одна просто классная была на instruction fine-tuning LLM, еще одна очень легкая, 3-я – наоборот, сложная, запорол. Могу оставить ссылку на наш командный пет с приложением по анализу тональности новостей о крипте. Как минимум, если в домашке надо будет задеплоить модельку, можно подсмотреть.
8) System design
Наконец, system design, не путать с ML-дизайном, собесы совершенно разные. System design я грокал с нуля, за пару недель, часов 30 наверное заложил. Я заботал все перечисленные ресурсы, от и до:
- гайд все тех же interviewing.io
- Primer (классика)
- книга “System Design Interview” – страниц на 200, куча картинок и схем, быстро читается
- курс Neetcode (платно, некоторые видео на ютубе есть)
И 2 мок-собеса прошел со знакомыми, на одном меня дружелюбно и конструктивно растоптали, второй я уже прошел.
Это все то, что именно мне помогло. Можно в коментах делиться своими ресурсами. Плюс я пару ссылок добавлю, когда компанию объявлю.
#shitpost
Других вакансий в NL у нас для вас нет
Типичная Европа
#random #life
У нас в Гааге у бизнес-центра - канал, там ошиваются гуси-утки-лебеди. Чутка посрут на велодорожку - и обратно в камыши. Так и живут. А тут вдруг зачесалось любопытство, как у наших предков, - пошли к бизнес-центру. Ну окна зеркалят, на себя поглядеть интересно же. Переходят дорогу, ну что… пробка! Поскольку одна полоса, то пробка аж на пару кварталов. Все ждут, пока самый последний гусь-песдюк пройдёт, попутно и на дорогу выложит.
Если это недостаточное описание Европы, то вот ещё новость: голландские полицейские бастуют, хотят больше пенсионных отчислений. С начала мая они не выписывают штрафы за мелкие нарушения. В частности, не работает автоматическое определение превышения скорости 🤣 ну пойду погоняю, а то ловлю обычно 70 евро за +4 км/ч - 54 когда можно 50. Какой русский не любит быстрой езды (кстати, за превышение общей суммы штрафов можно лишиться возможности получить нидерландский паспорт). Погоняем! Как я понял, за совокупление с теми самыми гусями штраф тоже не выпишут. Но это в следующей серии.
Мини-курс по поиску работы для ex-ABBYY
#career #interviews
Сложно подобрать печатные выражения для действий ABBYY. Добра всем, кого затронуло! Я тут недавно вещал, что в январе думаю запустить мини-группу для подготовки к поведенческим собесам. Значит, начну чуть раньше.
В мини-курс из 2 занятий я упакую материалы 4 занятий, по которым занимаюсь индивидуально (про успехи 1-ой когорты можно почитать в посте «Она в Мистрале, а ты - нет»). Программа:
1-ое занятие - поведенческие собеседования;
2-ое занятие - советы по подготовке к собесам (в том числе техническим), tips&tricks, каверзные вопросы.
Даты: 11 и 18 октября 16:30-17:30 CET.
Пишите мне в личку, опишите свою ситуацию, приложите резюме, а также почту и ссылку на LinkedIn (если нет в резюме). Можно распространить в чатах ABBYY.
Бесплатно. Предложение действует только для тех, кого недавно лэйоффнул ABBYY.
По малочисленным просьбам и лайкам – запись стрима!
Читать полностью…
Стрим через 2 часа, 17:30-18:30 CET (18:30-19:30 мск).
С самыми упорными, возможно, задержимся еще на полчаса, вопросов интересных поступило немало.
Streamyard
В начале разогрева ради – хиханьки, если не опоздаете, узнаете, кто гонял мяч со Смоловым, кто ест холодную еду, а кто сегодня спал днём.
Стрим про карьеру, собеседования и бигтех
#career #interviews
Choose your fighter. Собрал вам тут бигтех-банду для стрима:
- Татьяна Шаврина (LI) – Research Scientist Manager в лондонской Мете в команде LLama-4, авторка канала @rybolos_channel (пост-приветствие). Недавно устроилась, может рассказать про собесы и что именно спрашивают на менеджера;
- Артем Санакоев (LI) – Staff Research Scientist в цюрихской Мете, GenAI, автор канала @ai_newz (пост-приветствие). Собеседует на синьорные позиции в Мету;
- Сергей Иванов (LI) – Senior Applied Scientist в парижском Amazon, соавтор канала @graphML. Провел 100+ собесов в Амазон, может рассказать про хардкорные поведенческие вопросы;
- Борис Цейтлин (LI) – Staff MLE в берлинском eBay, автор канала @boris_again (пост-приветствие). Недавно отмучился с собесами;
- Юрий Кашницкий (LI) – Staff GenAI Solutions Architect в амстердамском Google Cloud, автор канала @new_yorko_times (пост-приветствие). Читатели этого канала знают про этот долгий заход по собесам (пост). Он же (то есть я) будет скоморошить, вести встречу.
Вопросы можно задавать заранее тут в треде, либо во время стрима. Можно адресовать конкретно кому-то из спикеров, например, «Вопрос Борису: доколе?»
Время: 20 сентября, 17:30-18:30 CET. Streamyard – ссылка для просмотра (там же по ссылке можно добавить в календарь).
Записи не будет, все вживую. Мест – максимум 1000 😀
Осознанно НЕ добиваться
#career #tips
Не секрет, что нашей культуре близко достигаторство. Вокруг полно дочерей папиных друзей, дети после школы идут на непустое множество секций и курсов, порой упуская нормальное детство. Круто иметь две работы и подработку впридачу и хвастаться тем, что спишь по 4 часа. В моем случае это только отчасти сарказм, поскольку в 2017, когда пришел в мэйл, начал тащить млкурс, преподавал в корпорациях, еще часть мозга отнимал диссер. А впридачу был хоккей на льду (вот по нему скучаю). Возвращался домой в первом часу, чтоб перекинуться парой слов с девушкой и в 2-3 упасть поспать.
При всем этом я замечал, что порой здоровое достигаторство (а-ля карьерный рост) путают просто с упрямством. И бывает важно НЕ делать что-то любой ценой. То есть подумать про альтернативную стоимость (opportunity cost). Может, нет смысла достигать X любой ценой? Это верно как про работу, так и на личном уровне. Приведу 3 примера из моего саморазвития:
1) C++. Я вообще в целом не инженер, за 3-4 часа упорной разработки или тем более дебаггинга мой мозг тухнет так, что дальше уже ничего невозможно делать. Программирование в школе я как-то упустил, на 1 курсе физтеха с трудом нагонял Си. Когда на 3-м курсе познакомился с питоном, это было настоящей отдушиной. Оказывается, можно что-то простое сделать за час, а не целый день выжигания глюкозы в процессе борьбы с непонятными ошибками. И дальше я принял осознанное решение: я не буду инвестировать 1к+ часов в изучение плюсов. Попросту не буду счастлив. И даже если бы мне этот навык открыл новые перспективы, альтернативная стоимость изучения плюсов слишком высока.
2) Kaggle grandmaster Достижение титула kaggle master заняло у меня тонну времени. И хоть я много попутно изучил и в целом не жалею, но все же далеко не каждый час на кэггле того стоил (долбанный стекинг!). И так я принял решение, что не буду добиваться лычки Kaggle grandmaster. Незачем. Процесс мне не так уж и нравится. Выхлоп от лычки грандмастера в большинстве мест не выше чем от мастера (а скорее HR воооще путает с discussions grandmaster). Этих грандмастеров всего пара сотен в мире (upd: 346), и я не один из них, это нормально (кстати, есть ли там хоть одна женщина? ну да ладно).
3) ШАД. Что лукавить, пока я был студентом-аспирантом, меня всегда манили Яндекс и ШАД. Мой максимализм просто должен был привести меня в ШАД. Я даже нашел препода и начал готовиться. Но как копнул вглубь, узнал каково это учиться в ШАДе («он как газ - занимает все выделенное на него пространство»), понял, что поезд ушел - я уже на тот момент и поработал пару лет, и диссер начал делать. Да и в целом можно прекрасно карьерно расти и без ШАДа (к слову, когда новички хотят влиться в DS через ШАД – на мой взгляд, в 99% случаев это ошибка).
Мораль проста и душна: приоретизация - один из важнейших навыков. И порой надо осознанно не делать что-то.
#tips
Порефлексируем на одну из самых обсуждаемых в последние дни тем – как правильно поделиться своим жупитер-ноутбуком с другими.
Ну ладно, допустим, это поможет 3-4 людям, но этот тот самый нишевый совет, который может попасть прям в точку. Я долго искал разные способы обернуть контент с кодом, картинками, визуализациями (читай, жупитер ноутбук) в сайт и лучшее, что нашел – JupyterBook (не путать с jupyter notebook). Вкратце упоминал тут, но расскажу чуть подробней: JupyterBook – очень удобный способ завернуть свой материал и поделиться им в виде статического сайта. Особенно если ноутбуков более одного и хочется их структурировать и повесить в вебе в удобном виде. Идеально для курсов/книг с кодом.
Жупитер-бук поддерживает:
- нормальный контроль версий без костылей типа nbdiff, основной контент – markdown (хотя если ооочень хочется, можно и ipynb отрендерить)
- CI/CD для жупитер-подобного контента. Можно все настроить так, чтоб быть уверенным: код рабочий
- Публикация “книги” на сайте одной командой
- Мелкие фишки такие как кнопки для открытия PR, чтоб указать на ошибку, поиск по всему контенту, автоматические оглавления и т.д.
- Если очень хочется дать воспроизвести код – есть интеграция с JupyterHub и Binder (последнее кто-то юзает?)
Вряд ли многие из вас пилят курсы, но для тех кто все же да – помимо quick start в офиц документации, можно подсмотреть в мои проекты с jupyterbook:
- млкурс одс – сайт, гитхаб
- курс ODS по квантовому ML – сайт, гитхаб
- книга Machine Learning Simplified (про которую писал тут) – сайт, гитхаб. Fun fact: автор добавил меня в key contributors как раз за PR с оборачиваением всех упражнений в jupyterbook, оказалось что надо.
Минусы тоже есть: в документации бывает сложно найти какие-то мелочи, где-то нужен MyST-markdown (расширение обычного маркдауна), то есть какие-то заклинания приходится гуглить. И в целом запросы часто выводят на документацию jupyter notebook, а не jupyter book.
Для чего не подходит JupyterBook:
- Если нубук всего один - заморачиваться не стоит, в таком случае старый добрый google colab.
- Для своего персонального сайта/блога. Ну, любители голого маркдауна могут, конечно, и блог на нем написать, но все же для блога JupyterBook выглядит чутка уныло.
Есть мнение, что телеграм – лучшая соцсеть (хоть и не соцсеть) в разрезе осознанного потребления контента. Нет алгоритмической ленты, рекомендаций, рекламы – минимум (если видите ее внизу – это не я). Чисто подписываешься на тот контент, который считаешь ценным. В ангоязычной среде, кстати, лучше email рассылок ничего не придумали, так что нам повезло с Дуровым и телегой.
В этом канале рекламы не было и не будет, а будут лонгриды, карьерные советы, в том числе про гугл. Подборку хороших постов можно найти в закрепах (интро-пост). Будут и стримы, скоро объявлю один с целыми 6-ю инфлюенсерами из бигтеха – про карьеру и собесы.
К слову о рекламе, я отшиваю примерно десяток запросов на рекламу в неделю, так что вы защищены от скилбоксов, сбера и выкорчевателей вросшего ногтя. Так что канал остается отдушиной, а не средством заработка. Но если подсыпете звездочек – не откажусь :)
#career #interviews
Пока я фоном выясняю, про какие трюки, сработавшие с гуглом на собесах, могу рассказывать (а также готовлю стрим 🧐) – начинаю смотреть на этот вопрос с другой стороны. Прилетела ботва про то, как нанимают в гугл. Так что скоро менторство выйдет на другой уровень
Кеша просит повышение, а ты нет
#career #tips
Эпиграф: «синьор ты или нет - это у тебя в голове»
Ладно, полупост про медовый месяц с Гуглом. Видео «my first day at Google» не будет, так же как нет иллюзий - скоро надо будет пахать вовсю, проекты пошли. Но вот онбординг прям хорош - дают 5-6 недель комфортно поботать, познакомиться с людьми (сходить на массаж, набрать пару кило на бесплатной еде, куда без этого). Из ботвы не только cloud, но и про продажи много всего. Гугл - это, конечно, целая вселенная. Есть свой поиск, эдакий Гугл внутри гугла, свой мемогенератор, оттуда через мемасы и новости компании узнаешь (в первую неделю залил свой мемас, не порвал танцпол, но главное ведь что сам поржал знатно). Кстати, можно язвить про gpt vs. Gemini, но гемини в связке с workspace - топ, использую каждый день. Индексируется все в drive - доки, презентации. Самый популярный сценарий - notes на митинге с последующей суммаризацией. Отголоски sales организации уже слышны, да и хайп с GenAI ммм.. слегка слишком хайповый. Но пока лето, проекты не прижали и кормят вкусно - настрой бодрый.
пс. картинку упёр у @boris_again, тот тоже отмучился с собесами и удачно, может что расскажет.
#career #interviews
Собрал последние посты про собесы, гугл, кукуху и прочее в один пост. Для тех, кто тут все читал: из нового там только про интересный второй оффер на VP AI в стартап.
Пшёл. Удачи. Не. Нет. Сорри. Нет. Давай завтра. Нет. Too much leadership. Нет. Welcome to Google!
#career
Ладно, что уж, раскрою карты, я нынче Staff GenAI Field Solution Architect в Google Cloud. Сказать, что я охренел от того, как закончилась серия собесов – ничего не сказать.
Команда абсолютно новая, LLM-консалтинг, чисто прототипы, как мы любим: quick& dirty. Проекты по 4-6 недель будут, задача - показать, что GenAI оправдывает бизнес-надежды, продемонстрировать работающий прототип. Далее внедряют уже либо сами клиенты либо партнеры-консалтеры типа Accenture.
Пока недель 6 комфортный онбординг: ботать, сертификации проходить, знакомиться.
Видимо, тут скоро будут посты про собесы именно в гугл, что помогло и т.д.
Отвечая на самый предсказуемый вопрос «чё? скока?»: 40 ч/нед.
Consensus: RAG поверх научных статей для ответов на бытовые вопросы
#tips
Посоветую-ка я вам вот такую штуку: Consensus.app. Это приложение по типу RAG поверх научных статей (прям как Эльсивир пилит, только b2c, для людей). Оно умеет взять Yes/No вопрос про науку, найти релевантные статьи и понять, какие из них утвердительно отвечают на вопрос, а какие - отрицательно.
Скажем, интересно, как кофе влияет на умственную деятельность и здоровье. Фантазия у меня так себе, так что я написал промпт, чтоб он породил кучу таких вопросов.
You are a life coach giving advice on coffee and productivity. Generate scientific questions about coffee in our life that can be checked for truth based on a corpus of scientific papers.
Examples:
- Does coffee increase my productivity?
- Is drinking too much coffee bad for my digestion?
- Is coffee bad for my heart?
Стата по 48 собесам на Applied ML Scientist
#interviews #ml
Кто не заметил, я тут недавно отмучился (см. #interviews #fails). Провел небольшой EDA своих собесов. По типу собеседований из 48 событий распределение такое:
• Поведенческое - 13.5
• Кодинг – 8.5
• ML в ширину – 6
• ML в глубину – 5
• ML-кодинг – 4
• Рисеч-презентация – 4
• ML дизайн – 3.5
• Домашнее задание – 3
• System design – 0.5
Тут, конечно, надо оговориться, что поведенческие – это что угодно, от бесед за жизнь с менеджером (”ну, что делал?”) до амазоновских “tell me about a time you took an urgent decision without data”. Кодинг – не только пресловутый литкод, больше было даже другого: попарсить данные, посчитать CTR + из области scientific computing (оцени Пи, посчитай доверительный интервал бутстрепом).
Еще меня немало спрашивали про лиды, то есть как я заходил на первый собес. Тут такая стата:
• Реферал – 7
• Холодный отклик – 4
• Написал напрямую HM – 4
• Рекрутер/HM сам написал – 3
• ODS/Singularis – 2
По моему опыту, рефералы все еще работают, хотя на реддите конечно сетуют, что раньше было лучше. Холодный отклики у меня тоже иногда работали, и в целом поработать над резюме надо, но универсально это сложно советовать. Какие-либо борды кроме LinkedIn я почти не смотрел – попробовал пару, показалось мусором. Из креативного – иногда писал напрямую рекрутерам или нанимающим менеджерам, тут дело случая, где-то фаундер читал доклад у нас в компании – написал, в Вастрике есть борда, туда Реплика заглянула с вакансиями на фронтендеров, но написали “если не фронтендер, но хорош – пиши. обсудим”. В-общем, помимо скролинга ленты LinkedIn фантазию надо подключать.
По источникам рефералов: хорошая экселька висит в синулярисе в career, вижу треды с рефералами в Blind и slack Rands – можно попробовать, но кажется, спрос на рефералы там огромен, а о предложении сложно судить.
Хотел еще стату подбить по вопросам, что вообще спрашивали. Но я все-таки не все логировал. Из того что запомнилось:
• кодинг на позиции Applied Science – в целом уровня изи, это порадовало, медиум всего один раз (с Яндексом), хард тоже один раз, но код не надо было писать (Нвидиа)
• раза 4 на ML breadth спрашивали про p-value, это надо и зазубрить, и понимать
• на ML breadth с уклоном в NLP почти все лезут в устройство трансформера и внимания
• бихейв заковыристый только у Амазона. С другим бигтехом тоже было много поведенческих собесов, но ни разу вопросы на ставили в тупик. В большинстве случаев это все же “расскажи про проекты, которыми гордишься”, могут спросить еще про фэйл или конфликт
• ни разу (!) меня не спросили про слабости. Показалось даже, что важность вопроса переоценена либо у меня bias и повезло с собеседующими
В след посте пособираю ссылки на ресурсы, которые особенно помогли при подготовке #todo
Вакансия Senior DS manager @ Elsevier
#career
Этикет подсказывает, коль уходишь, помоги кого-то на свое место найти. И вот наконец официально: job description. Описание по классике слегка водянистое, так что отмечу основные моменты:
- Локации: Амстердам и Лондон, из других локаций – очень маловероятно (по крайней мере, в NL есть закон, обязывающий сначала прошерстить локальный рынок, потом искать кандидатов извне);
- Босс – VP DS (правда, VP не один, но эта DS команда – самая крупная в компании), скип – COO, то есть в иерархии Senior DS manager – это CEO минус 3. С CEO лично я не общался, а вот с COO – регулярно. Босс – очень классный, дружелюбный грек, живчик, всегда топит за команду, конфликтов у меня за 4 года вообще не было;
- Хоть формально вакансия на менеджера, ищется техлид, и разница с Principal ML Scientist невелика: примерно 50/50 hands-on и менеджерская работа. Как техлид, будешь тащить небольшую команду, 3 прямых подчиненных, то есть уже как менеджер будешь с ними обсуждать карьерное развитие, цели на год и т.д.;
- В отделе ~40 чел, из них около половины – subject matter experts, остальные DS, в каждом проекте примерно по 2-3 чел из DS на этапе рисеча, далее в зависимости от проекта можно довольно плотно работать в кросс-функц команде от пары месяцев вплоть даже до года
- Работа очень творческая, чистый applied science, делать прототипы, работать с экспертами и разрабами, прорабатывать бизнес-кейсы с менеджерами, порой и с топами;
- Кто читал канал, представляет, что примерно по проектам, они тоже топ, очень интересные, часто с огромным импактом. Вот пост, еще можно посмотреть все по тегу #projects. Отдельно я тут рассказывал про #research_integrity, прошлый пост – пересказ, этот проект тоже перепадет преемнику;
- На эту позицию нужно сочетание академического и индустриального опыта, будут как и cutting-edge исследовательские штуки типа того же LLM-детектора, но также и рутина с большими коллекциями текстов и Spark. Собесы – 1) лайтовый кодинг, ML coding а-ля покрутить датасет, построить модель, провалидировать 2) ML system design 3) поведенческий с VP DS и COO;
- По плюшкам хорошо, WLB, стоит отметить, что Эльсивир очень щедр с командировками, в том числе можно кататься на конференциям практически неограниченно. Я успел съездить в Вену на IJCAI, пару раз в Париж на SDG митапы, в ЮАРе и Афинах рассказывал про Research Integrity;
- Компенсация – в целом по рынку, так что надо хорошо торговаться на входе. Дальнейшие повышения в Европе весьма унылы по деньгам. Про компенсацию меня не надо спрашивать, обещал боссу не раскрывать, но можно считать, что шаг №0 в подготовке – узнать вилки на эту позицию;
- Весь негатив вокруг Эльсивира и заслуженная критика – это фактор, да, каждый сам принимает решение, для меня киллер-фичей стала возможность что-то менять изнутри, особенно проект по Research Integrity. Он набирает обороты, и тут импакт огромный, CEO лично следит за фродом в науке. Мы пропитчили расширение команды Publication Ethics в 5 раз, из недавнего – указали особенно стремные Special Issues журналов, с кучей фрода, политика компании меняется, таких Special Issues будет сильно меньше.
Если чувствуете матч – кидайте мне CV на yury.kashnitsky@gmail.com с темой “Senior DS Manager: <Name> <Surname>”, можно с коротким интро. Реферал просить не надо, я уже все, сдался-расписался. Я субъективно отранжирую батч заявок и прокину VP DS (возможно, в 2 захода, вторник, пятница на след неделе).