-
Make data work. Телеграмм-канал об аналитике блога leftjoin.ru. Автор — @valiotti.
Spring Update от OpenAI
На вчерашнем стриме OpenAI представила несколько крутых нововведений.
Пообещали выкатить десктопную версию (сначала для macOS, для Windows она появится позже) и обновить интерфейс, но это не главное.
🔥 Самая громкая новость — это презентация новой флагманской модели GPT-4o.
💬 Она такая же умная, как GPT4, но намного быстрее — на запрос, сказанный вслух, отвечает в среднем за 320 миллисекунд. Для сравнения у GPT4 задержка ответа составляла 5,4 секунды. Это происходило из-за того, что для «понимания» запроса, генерации и озвучивания ответа использовались 3 разные модели. GPT-4o натренирована на текстах, видео и аудио, поэтому она намного быстрее.
💬 GPT-4o умеет петь, шутить и «говорить» с разными интонациями. А еще ее можно перебивать прямо посреди ответа, и она реагирует на новый запрос моментально.
💬 На стриме показали, как она хорошо понимает рукописный текст, который ей показали через камеру, помогает решить простое уравнение, трактует информацию на графиках и распознает код.
💬 Внедрять возможности GPT-4o в работе будут постепенно в течение следующих недель. Некоторые функции уже доступны через API.
Самое интересное оставили напоследок — GPT-4o будет доступна для всех пользователей. Да, для тех, кто пользуется бесплатной версией тоже. 🔥
Оплата улыбкой: за и против
Что такое «Оплата улыбкой» от Сбербанка? Достаточно ли вашего радостного лица для оплаты, или деньги тоже снимутся?
🔜 Смотрите в новом видео на канале «Дата Коля»!
Рома Бунин выложил мокап-интервью с Тимуром Муйдиновым — BI-специалистом из команды Valiotti Analytics. 😊
Читать полностью…
Georgia Tech и решение глобальных проблем
В этом семестре у меня был заключительный курс от Georgia Tech — практикум в компании. В целом, не могу сказать, что учеба давалась легко все эти годы, но все получилось. По-моему, ранее не рассказывал, почему решил попробовать именно их магистерскую программу по аналитике.
💬 Прежде всего, Georgia Tech — известный американский ВУЗ, он высоко в рейтингах по CS. Мне всегда было любопытно узнать изнутри, как работает американское образование и чем отличается от российского. Помимо этого, на Западе, увы, никто не знает имя СПбГУ, а вот Georiga Tech на слуху.
🔜 Кстати, недавно Georgia Tech и запрещенная в РФ Meta объединились для крутого исследования, которое поможет экологии.
Есть разные способы снизить концентрацию углекислого газа в воздухе. Идеальный вариант — это свести к минимуму выбросы газа в атмосферу. Но есть сферы, где это сложно сделать, например, тяжелая промышленность, поэтому нужен способ очистки. Один из них — прямой захват воздуха, когда воздух отфильтровывается, и из него «вытягивается» углекислый газ.
Технология многообещающая, но сложная в применении. Везде разные условия: температура, влажность, состав воздуха. Соответственно, и фильтровать его нужно по-разному, и главная задача тут — подобрать подходящий материал.
🔜 Именно ее и собрались решить ученые из Georgia Tech и спецы по AI из Meta.
В институте работает команда экспертов по изучению этих материалов. Они передали огромный массив данных по этой теме в Meta. Те использовали эту информацию для создания базы данных и обучения ИИ-модели, предсказывающей, как разные материалы взаимодействуют с углекислым газом в зависимости от условий.
С одной стороны — опыт и экспертиза ученых, с другой — мощности Meta. В итоге — список из 241 материала с высоким потенциалом для прямого захвата воздуха и эффективный инструмент для исследователей.
🔜 Проект получил название Open DAC 2023. «Open» тут не случайно — все данные, модели и алгоритмы выложили в открытый доступ.
Введение в современную статистику: бесплатный онлайн-учебник
Учебники и любая профессиональная литература — дорогое удовольствие, поэтому, когда удается найти что-то крутое за бесплатно, этим надо делиться.
Это и сделаем.
На сайте проекта OpenIntro выложили второе издание учебника «Introduction to Modern Statistics». Оно все еще в работе, обновляется и дописывается, но пользоваться уже можно. Первое издание лежит рядом на том же сайте.
🔵 Учебник рассчитан на начинающих изучать статистику. Он знакомит с основами работы с данными, методами анализа и визуализации.
🔵 Текст состоит из теории, разборов кейсов и упражнений на закрепление материала.
🔵 Первое издание можно скачать в pdf, второе пока нет, но оба удобнее читать в браузере. Книги специально сверстаны именно для этого.
🔵 Важное примечание: текст на английском, переводов на другие языки нет.
Если хотите начать изучать статистику — это неплохой (и доступный!) вариант для старта.
И, кстати, на OpenIntro есть и другие бесплатные учебники по математике и статистике. Большинство из них рассчитаны на студентов вузов.
HEART: от Google с любовью
Недавно рассказали про AARRR — маркетинговый фреймворк для стартапов. Сегодня поговорим про систему метрик, которую могут применять продуктовые отделы для оценки пользовательского опыта. С ее помощью можно оценить, насколько успешен продукт (приложение, сайт, сервис) в целом либо его отдельные фичи.
Фреймворк разработали в Google и назвали HEART ❤️ У них даже есть целая публикация про него. Как и в прошлый раз, название — это акроним. За каждой буквой скрывается то, что мы будем измерять.
🔜 H — Happiness, счастье: насколько пользователи довольны продуктом.
🔜 E — Engagement, вовлеченность: как часто и как долго используют продукт.
🔜 A — Adoption, принятие: насколько активно пользуются продуктом: устанавливают, делают покупки, скачивают обновления.
🔜 R — Retention, удержание: насколько хорошо продукт удерживает пул постоянных пользователей.
🔜 T — Task Success, успех задачи: помогает ли продукт решить задачу пользователя.
Для каждой категории надо определить цели, сигналы и метрики. Для этого проще всего нарисовать табличку, как здесь.
🔜 Цель — это к чему вы стремитесь. «Приложение должно быть удобным и понятным» — это цель для строчки Happiness.
🔜 Сигналы — это ваши источники информации. Устраивает ли пользователя приложение, вы можете узнать из опросов, отзывов, оценок в магазинах вроде App Store.
🔜 Метрики — это показатели, которые вы можете измерить в цифрах, чтобы понять, достигаете ли вы своих целей. С помощью опросов можно посчитать NPS, а в магазинах приложений — увидеть свой рейтинг и процент хороших оценок.
В идеале так нужно пройтись по каждой букве HEART. В итоге вы получите довольно простой и эффективный способ «держать руку на пульсе» и отслеживать настроения своих пользователей.
Чем на самом деле занимаются аналитики?
Начинать карьеру в новой сфере всегда сложно. IT-курсы чаще всего помогают подтянуть харды — например, знание Python или SQL — но мало рассказывают о том, как устроена профессия изнутри.
🔵 Как строится взаимодействие с коллегами из других отделов?
🔵 Как выглядят реальные повседневные обязанности и задачи?
🔵 Стоит ли вообще лезть в эту новую сферу, и будет ли работа в ней на практике такой же интересной, как кажется со стороны?
🔜 Курс «Марафон данных» мы написали, чтобы помочь всем, кто задумывается о карьере в аналитике, найти ответы на эти вопросы. Он бесплатный и довольно короткий — на прохождение понадобится около 10-15 часов.
🔜 Его задача — познакомить с реалиями работы в дата-команде. Ну и заодно рассказать про с основы Python, SQL, работу с базами данных и главные продуктовые метрики.
После этого курса вы не станете профи в аналитике, но зато увидите, что ждет вас впереди. Вы посмотрите на реальные данные, с которыми приходится работать, и выполните ряд задач, максимально приближенных к «боевым». Это поможет понять, подходит ли вам профессия аналитика, и заложить фундамент для дальнейшего обучения.
Но мы вспомнили про этот проект не просто так. Во-первых, мы, конечно же, хотим рассказать о нем новым подписчикам или старым, которые могли пропустить предыдущие посты о нем. А, во-вторых, потому что на одном курсе мы решили не останавливаться и сейчас работаем над еще одним! Он тоже для новичков, но более сложный. Проходить его будет проще с базой, которую дает «Марафон данных».
Ищем дата-инженера в Valiotti Analytics!
Наша команда продолжает расширяться — в ней вновь появилось место для дата-инженера уровня Middle.
Мы (если вы вдруг забыли) — дата-агентство Valiotti Analytics. Работаем с 2019 года и делаем крутую аналитику digital-компаниям из США, Европы и России.
От нас:
🔵Фуллтайм на удаленке,
🔵Достойная зарплата, которую обсуждаем индивидуально с каждым кандидатом,
🔵Корпоративный английский,
🔵Классная команда и крутые задачи.
От вас:
🔵Опыт работы дата-инженером от 1 года,
🔵Знание ClickHouse, SQL, Python, Apache Airflow 2 и bash.
👀 Больше про обязанности и наши ожидания от кандидата читайте на странице вакансии. А если вам уже все ясно и вы готовы откликнуться, присылайте резюме на почту saveleva.a@valiotti.com (в письме укажите, пожалуйста, свой ник в Telegram) или напрямую @alena_savelevaa.
Цвет в визуализации данных
Датавиз — область работы с данными, где заботиться надо не только о точности, но и эстетике. Чтобы графики выполняли свою функцию, они должны быть понятными, легко читаемыми и приятными глазу. Из-за этого, если нет опыта в дизайне, иногда может быть неясно, с какой стороны подходить к визуализации. К счастью, есть общие принципы, которые помогут разобраться, как надо и не надо делать, даже если у вас нет особых художественных способностей.
О них рассказывает книга «Основы визуализации данных». На vc.ru выложили отрывок из нее про цвет и частые ошибки при работе с ним.
🔜 Ошибка: слишком много цветов, каждый элемент раскрашен по-разному. Например, на графике много точек, и все разных оттенков. Оптимальный вариант — когда у вас 3-5 категорий элементов на графике, и у каждой свой цвет. Если их больше, то надо искать другие способы маркировки.
🔜 Ошибка: раскрашивание ради раскрашивания, чтобы получилось красивенько, а не удобно. Может идти в комплекте с другой проблемой— слишком яркие цвета, особенно если ими закрашены большие области. У цвета в датавизе есть функция: он должен привлекать внимание к самым важным частям графика и помогать с одного взгляда разобраться, где значения больше, а где меньше.
🔜 Ошибка: игнорирование людей с нарушениями восприятия цвета — чаще всего люди с дальтонизмом не различают красный и зеленый либо синий и зеленый. В качестве одного из решений автор книги приводит специально разработанную шкалу из 8 цветов, которые различают все. Даже если человек не воспринимает какие-то оттенки, он увидит как минимум разницу в яркости.
Курс по Product-Led Growth — бесплатно на 24 часа
У меня вся семья довольно технологичная. У меня дата-агентство, мой родной брат Костя — продакт-директор, который работал в VK и PandaDoc, а мой двоюродный брат Костя — генеральный директор одной известной российской BI-компании. Ничего себе? 😨
Сейчас первый Костя живет в Лондоне. Я недавно был у него в гостях, и он рассказал мне, что опубликовал на Udemy свой курс по Product-Led Growth.
Это подход, когда продукт сам привлекает, монетизирует и удерживает пользователей. Во многом благодаря ему SaaS-компании в секторе B2B последние годы так стремительно росли в оценке. Ему следуют и во многом обязаны своим успехом Slack, Figma, Canva и Dropbox.
🔜 Зачем аналитику понимать PLG?
Чтобы находить продуктовые проблемы и предлагать решения лучше и быстрее, чем другие аналитики, конечно! Это поможет начать говорить с продуктовыми командами на одном языке и глубже понимать причины и последствия многих решений.
🔜 Что будет на курсе?
Курс рассказывает, как научиться структурированно подходить к определению факторов роста продукта и влиять на продуктовую воронку через изменения и эксперименты.
На следующие 24 часа этот курс сделали бесплатным для подписчиков LEFT JOIN 🔥Переходите по ссылке.
P.S. Язык курса — английский. Из России доступен через VPN.
Помогите стартапу найти доверие к данным
Представьте: французский эдтех-стартап. Данных, которые надо анализировать, немало: соцсети, рекламные кабинеты, платежи, активность студентов. Все это собирается, складывается в базу и выводится на красивые дашборды на Tableau.
🔜 Пока все стандартно, но вот первый сюжетный твист: раз в месяц стартап обращается к сторонней компании, которая берет все их данные и пересчитывает в табличке в Excel. Потому что дашборды — это, конечно, классно, но что они там рисуют — непонятно, а в табличке все четко и понятно.
Представили? А нам и представлять не надо. Это один из наших клиентов, у которого сложилась довольно интересная ситуация с данными — MentorShow.
🔜 Второй сюжетный твист: в какой-то момент ребята решили, что одна база данных хорошо, а две лучше, поэтому данные стали хранить сразу в PostgreSQL и Redshift. Если отбросить иронию, то почему это произошло, мы не знаем, но последствия у этого были предсказуемые. Логика распределения данных по базам была непонятной, они дублировались, путались, и в итоге никакого доверия к ним не было.
Вот и приходилось руками пересчитывать.
💬 MentorShow эта интересная ситуация надоела, и они решили переходить на ClickHouse. Тут к ним присоединились мы и помогли перенести данные в новую базу, пересчитать метрики на старых дашбордах и сделать несколько новых — уже на Superset.
💬 В какой-то момент от они вообще отказались и от ClickHouse. В итоге построили новую инфраструктуру данных: Airflow для сбора данных — хранение в S3 — обработка в Athena — визуализация в Tableau и Superset.
💬 Чуть более официально и про метрики и результаты, еще и со скринами дашбордов рассказываем на сайте Valiotti Analytics и на Edmetrics.
Но главный результат — больше не приходилось ничего пересчитывать в Excel, потому что данные были корректными и заслуживающими доверия. Happy end!❤️
Рассказали не только, чтобы похвастаться, с какими кейсами приходилось справляться, но и поделиться, как интересно бывает организована работа с данными в разных компаниях.
У нас есть GPT дома
…и она написана на SQL.
Да, именно так — разработчик Алексей Боленок написал генеративную нейросеть на SQL.
Наверное, на этом пост можно закончить и просто дать ссылку на оригинал статьи в блоге Алексея и на перевод на Хабре.
Но все-таки расскажем немного, что вас ждет.
LLM способны генерировать логичные тексты на естественном языке за счет того, что предсказывают, в каком порядке слова должны идти друг за другом. Алексей показал, что происходит «под капотом» LLM, когда она это делает.
Если совсем кратко:
🔵Модель получает промпт и преобразует его список токенов.
🔵Затем она возвращает массив кортежей — строк и чисел. В строках — токены (слова или их части), в числах — вероятность, с которой этот токен «подойдет» для ответа.
🔵 Модель выбирает подходящий токен и носит его в список. Так она последовательно токен за токеном строит ответ.
🔵 В конце концов, она преобразует токены в текст.
Все эти шаги Алексей реализовал с помощью SQL-запросов — всего понадобилось 500 строк, чтобы получить модель, которая смогла поздравить его с Новым годом. Просто пост он выложил 31 декабря. 🎄
Для тех, кто хочет перейти сразу к делу и пощупать GPT на SQL своими руками — репозиторий с кодом на Гитхабе.
Что внутри рекомендательных алгоритмов?
Рекомендательные алгоритмы некоторых сервисов могут вызвать легкий (или не легкий) экзистенциальный кризис.
У вас же бывает такое, что смотрите, что вам предлагает купить маркетплейс или какие фильмы советует онлайн-кинотеатр, и задаетесь вопросом — кем вообще он меня считают? Чем я заслужил такие рекомендации? Почему они думают, что мне понравится это?
С прошлого года завеса тайны немного приоткрылась. Правда, только для тех, кто пользуется российскими сервисами — их обязали раскрыть механизм работы рекомендательных алгоритмов.
🔜 Это коснулось всех, у кого есть какая-то система рекомендации контента на основе действий пользователя — онлайн-магазинов и кинотеатров, развлекательных порталов, служб доставки еды или заказа такси и так далее. Даже hh.ru попался.
🔜 Теперь на их сайтах появились отдельные странички, где описывается, какие данные о поведении пользователей они собирают. А также по этапам расписано, как обрабатывает информацию.
🔜 Написано, к сожалению, без подробностей и максимально сухим языком, но в статье на vc.ru вытащили все самое интересное.
Хотя российские сервисы пока не рассказывают подробно, как работают их алгоритмы, про их зарубежные аналоги информации побольше. На одном классном Youtube-канале даже есть видео про систему рекомендаций Netflix. Мы про него уже рассказывали, но вдруг вы пропустили. 😉
Киберпанк-романтика из X: часть 2
Мальчик: знакомится с девушками в Tinder с помощью ChatGPT.
Мужчина: заводит семейную доску в Notion вместе с женой.
💬 Один юзер в Твиттере именно так и сделал и поделился своей идеей с общественностью. Они с женой используют эту доску для того, чтобы планировать домашние дела, составлять списки покупок, вести бюджет и хранить важную информацию вроде личных документов. Еще там есть такие разделы, как «Важные вещи, которые мы узнали друг о друге», «Долгосрочные надежды и цели» и «Лог воспоминаний о свиданиях». ❤️
💬 В отдельной колонке у них ссылка на список одиноких друзей, которых они хотели бы познакомить друг с другом.
Идея интересная, хотя, наверное, не все пары захотят так скрупулезно расписывать свою жизнь в карточках Notion.
Твиттер отреагировал в своем духе — шутками, что это прекрасный документ для онбординга будущих жен, и вопросами, требует ли он заполнить тикет в Jira, когда жена просит прибить полочку.
Некоторым, впрочем, доска понравилась, и они даже попросили ссылку на шаблон. Вот она, кстати. А вы что думаете?
Новый набор в ШАД!
Классные новости про наших друзей из Школы анализа данных Яндекса. С 1 апреля у них стартовал новый набор, который будет аж на треть больше, чем в прошлом году — в школу поступят 400 более студентов.
В ШАДе готовят специалистов в области DS и ML, и так как спрос на эти профессии растет, то и набор увеличивают. Кроме того, в этом году будет дополнительная возможность поступить — поучаствовать в очной олимпиаде
🔜 Обучение бесплатное, но надо успешно сдать вступительные экзамены и преодолеть высокий конкурс — как правило, 17 человек на место.
🔜 Есть два трека. Первый — для студентов и выпускников технических специальностей, второй — для практикующих аналитиков и разработчиков с опытом от 3-х лет.
🔜 В программе много практики и погружения в реальные проекты и задачи.
Это крутой проект, который помогает развивать аналитику и ML в России, поэтому мы решили рассказать про него подробнее в карточках. Если среди наших подписчиков есть те, кто учился в ШАДе или хочет поступить — будем рады, если поделитесь своими мыслями и впечатлениями! ❤️
Таблица для тех, кто собирается в поездку
Приближается сезон отпусков, пора планировать поездки и собирать чемоданы. Это процесс всегда стрессовый — даже самые внимательные из нас наверняка хоть чуть-чуть, но волнуются, что что-то забудут.
В TikTok завирусился новый способ, как собрать сумки перед поездкой и 100% ничего не упустить.
🔜 Все вещи, которые надо взять с собой, распределяются по нескольким категориям: то, что надо положить в рюкзак, в сумку или нести на себе.
🔜 Например, смартфон, часы и кошелек можно пронести на себе, ноутбук — положить в рюкзак, а купальник — в сумку или чемодан. В отдельные мешочки складываются зарядки для гаджетов и туалетные принадлежности вроде зубных щеток. Список категорий можно настроить под себя, если вдруг у вас больше чемоданов.
🔜 В отдельной колонке подсчитывается, насколько заполнена каждая сумка. То есть, когда все вещи из категории «в рюкзак» будут отмечены как упакованные, напротив нее будет стоять «100%».
🔜 В более продвинутую версию таблички можно даже занести стоимость вещей и вес, чтобы заранее прикинуть, сколько будет весить каждая сумка.
Создатель таблички сказал, что друзья над ним смеются, но в TikTok его подход оценили. Для всех заинтересовавшихся он поделился таблицами для Google Sheets и Excel. Есть платная и бесплатная версии.
Когда он только выложил их, желающих скачать было так много, что сайт упал, но сейчас все в порядке.
👨🏫 Собеседование на BI-аналитика
Наконец-то смог провести мокап-интервью с реальным аналитиком. Давно хотел это сделать, кинул клич в чатике канала и Тимур быстро откликнулся.
Почему я считаю, что могу хорошо оценить кандидата — я провёл больше 100 секций, работая в Яндексе. Даже в самый первый день выхода на работу, пришлось провести интервью о котором заранее не знал 🙈 (Макс, привет!). Я уверен, что могу быстро и полно оценить навыки BI-аналитика.
Это мокап-интервью — первый раунд на должность BI-аналитика. Здесь проверяются знания BI-инструмента, основ дизайна, умение собрать требования и подобрать решение под бизнес-задачу. Проверка SQL/Python и работы с данными проходят на втором интервью.
👉 Ссылка на YouTube 👈
0:00 — Знакомство и план;
4:42 — BI-инструмент, в этом случае Tableau, а-ля live-coding;
39:58 — Основы дизайна, разбираем ошибки в чужой работе;
52:00 — Бизнес-кейс, необходимо собрать требования и разработать макет;
1:19:17 — Обратная связь.
Получилось бодро, а главное удалось подсветить типовые ошибки. Вы же можете использовать матрицу компетенций для самооценки и мои материалы для прокачки.
Тимур, спасибо за смелость! 💪
P.S. Давайте поиграем в блогерские штучки, давно не играли: 500 реакций — расскажу в постах про каждый из этапов собеседования и дам советы; 1000 — проведём ещё интервью на других кейсах и, например, на DataLens; 3000 — устроим какой-нибудь конкурс с разбором CV и собеседованиями.
@revealthedata
CDO в компании: роль, обязанности и вызовы
Обсудили в интервью Yandex.Cloud c Михаилом Степановым, CDO сети гипермаркетов «Лента»
🔜 CDO — это Chief Data Officer. Михаил рассказал, какие задачи выполняет CDO на разных этапах развития компании и зачем эта роль нужна. Также показал на примерах из практики «Ленты», как аналитика помогает принимать важные и масштабные решения. Они могут быть разными в зависимости от сферы деятельности, но все сводятся к главному:
«Работа с данными действует ровно в двух направлениях: снижении расходов и увеличении прибыльности».
🔜 Интервью не только про CDO и их задачи. Оно в целом про взгляд на аналитику с точки зрения руководителя, развитие культуры работы с данными в компании и формирование дата-команды.
Что происходит с ценами на Lego?
Время задаться по-настоящему важными вопросами. Например, как менялась средняя цена за кирпичик Lego за последние 30 лет в зависимости от категории?
🔜 Да, в интернете есть все и даже график с динамикой цен на Lego. Сайт Brick Insights собирает, как можно догадаться по названию, инсайты о Lego — обзоры, статистику и цены. Он рассчитан на взрослых фанатов бренда и помогает им найти информацию о наборах и решить, стоят ли они своих денег.
Команда сайта собрала статистику о Price Per Piece (цена за элемент) с начала девяностых и до сегодняшнего дня. Но столкнулась с проблемой — наборы из некоторых категорий намного дороже остальных и из-за этого средние показатели могут быть неинформативными. Так что они разбили данные по категориям и отобразили на графиках. Если вдруг решите заняться коллекционированием Lego, будете знать, где смотреть, стоит ли набор своих денег.
🔜 И, кстати, помните, недавно писали о частых ошибках при работе с цветом? Детализированные графики с ценами за разные наборы наглядно показывают, почему много цветов — это красиво, но не слишком удобно.
Интернет против ИИ-контента
В конце марта YouTube оповестил, что теперь авторы видео должны будут отмечать ИИ-контент.
Под это правило попадают ролики, которые могут ввести в заблуждение — то есть в них есть реалистичные сгенерированные изображения реальных людей, мест и событий. Откровенно фантастические вещи, ИИ-фильтры и спецэффекты отмечать не надо будет.
💬 Если вы сгенерировали видео, где Билли Айлиш поджигает Белый дом, то его надо будет тегнуть как AI-generated. Если то же самое будет делать Геральт из Ривии, без тега можно обойтись.
Это не первая платформа, которая начала отмечать ИИ-контент. Еще раньше это сделал TikTok, а Meta (та самая, которая признана экстремистской и запрещена в РФ) пообещала начать тегать сгенерированные изображения, видео и аудио уже в этом месяце.
Все объясняют это решение борьбой за прозрачность и против дезинформации. И обещают, что если авторы не будут ставить нужные теги, то сделают это сами, а то и вовсе удалят подозрительный контент с сайта.
🔜 Интернет давно заполнили картинки и видео, сгенерированные нейросетями: от невинных и даже любопытных экспериментов в стиле «Summertime sadness в исполнении Фрэнка Синатры» до наделавших шуму фейков вроде Папы Римского на стиле. Некоторые сайты, например, все тот же Facebook (тоже признан экстремистским и запрещен), утопают в низкокачественных ИИ-картинках, которые генерируют и постят боты для ботов. В общем, попытки регулировать происходящее понятны. Правда, поток подобного контента такой большой, что пока непонятно, будет ли от этих попыток эффект.
Что думаете — будет польза от этих мер? И как вы относитесь к ИИ-контенту?
Периодическая таблица датавиза
Лучший способ рассказывать про датавиз — это с помощью датавиза!
В периодической таблице методов визуализации собрали все возможные способы представить информацию на схемах, графиках и картинках — от обычных пай-чартов до комиксов.
💬 Цвет ячейки показывает на предназначение метода.
💬 Цвет названия — на то, что визуализируется: процессы или взаимоотношения внутри структуры.
💬 Дополнительные значки говорят об особенностях метода: например, помогает ли он увидеть ситуацию в целом или оценить детали.
Таблица даже немного интерактивная — можно навести мышь на ячейку, и выскочит окошко с картинкой-примером. Она довольно старая — аж из 2007 года — но актуальность не потеряла.
Кстати, если хотите побольше почитать про разные способы визуализации данных, у нас есть крутой пост про 250 лет развития датавиза. 👀
Только новости, и ничего лишнего
Мы тут рассказываем про технологии и данные, и что-то новое в этой сфере появляется каждый день. В потоке новостей легко потеряться, поэтому ребята из канала SM only news каждый день отбирают только самое важное.
Например, вот новости последней недели, которые вы могли пропустить:
🔵 В Tinder появилась функция «Поделиться свиданием»
🔵 Neiry представила наушники для улучшения настроения совместно с НМИЦ ПН им. В. М. Бехтерева
🔵 Nothing представила наушники с поддержкой ChatGPT
🔜 Канал строго про новости — публикуют оперативно, пишут без воды про все важное, обсуждаемое и актуальное из мира бизнеса, технологий и массовой культуры.
Угадайте код RGB: тест для дизайнеров и не только
Мы тут, конечно, собрались, чтобы говорить про данные, аналитику, IT и прочие штуки на острие прогресса, но давайте честно: иногда хочется просто потыкать в кнопочки.
Специально для этих целей принесли вам игру Guess My RGB. Суть проста: фон страницы окрашивается в рандомный цвет, код которого надо угадать, крутя ползунки, отвечающие за красный, зеленый и голубой цвета.
Количество попыток не ограничено, так что тыкать в кнопочки можно бесконечно. Самое то, когда нужно немного разгрузить мозг.
Делитесь успехами в комментариях — получается угадывать? 👀
Все дороги ведут к базам данных
Есть теория, что эволюция рано или поздно всех живых существ превращает в крабов. На самом деле только членистоногих, но это уже не так смешно звучит.
А вот Тайлер Клотье, основатель Clockwork Labs, написал про то, что если вы придерживаетесь дата-ориентированного подхода в программировании, все, что вы делаете, рано или поздно превратится в базу данных. Этакий краб от мира данных, идеальная форма, к которой стремится эволюция.
Компания Тайлера разработала SpacetimeDB и даже сделала на ее основе игру, так что можно предположить, что он в этом вопросе несколько пристрастен. Но его опыт позволил предложить интересный взгляд на данные.
Для интересующихся добавили ссылки на полезные статьи по теме.
💬 Дата-ориентированное проектирование (data-oriented design, DOD) — это подход к программированию, нацеленный на максимально эффективную организацию хранения и обработки данных. Он часто применяется при разработке игр.
💬 В основе DOD лежит принятие того факта, что цель любой программы — трансформация данных, а наша цель — найти лучший способ, как эту трансформацию произвести.
💬 Один из примеров DOD — это Entity Component System или ECS, архитектурный паттерн, который также используется в разработке игр. Он строится на сущностях (Entity), которым присваиваются свойства или компоненты (Component). Система (собственно, System) — это логика, по которой сущности взаимодействуют.
💬 Тайлер показал, что ECS — это разновидность реляционной модели данны, и продемонстрировал, как кусок кода, написанного согласно ECS, можно воспроизвести в PostgreSQL.
💬 У ECS есть свои внутренние ограничения, из-за которых его бывает не слишком удобно использовать вне разработки игр. Но суть не в этом, а в том, что он показывает, как любую программу и даже игру можно воспринимать как базу данных и к разработке подходить соответственно.
В общем, данные — прежде всего.
AARRR: пиратский фреймворк для маркетологов
Начинаем серию постов про работу с данными в маркетинге! Первый — про фреймворк AARRR. Это метод построения системы метрик, который помогает разобраться, какие показатели и зачем нужно отслеживать.
AARRR — это не пиратский вопль (хотя похоже), а аббревиатура, где каждая буква — этап жизненного цикла клиента.
🔜 Аcquisition — привлечение. Клиент узнал о вас: нагуглил, ткнул на объявление, услышал рекламную интеграцию у блогера.
На что смотреть? Показы объявлений, клики и их стоимость. Эффективность разных платформ (кто привел больше людей — VK или Tg?) и объявлений (какой баннер сработал лучше — с котиком или без?).
🔜 Аctivation — активация. Клиент зарегистрировался, оставил заявку, сделал покупку.
На что смотреть? Сколько человек прошли путь от регистрации до оформления заказа. Если на каком-то этапе они срезаются (регистрируются, но не кладут товары в корзину и уходят), надо искать причины. Это могут технические проблемы на сайте или непонятный интерфейс — то есть юзер не понимает, что ему делать.
🔜 Retention — удержание. Клиент продолжает пользоваться вашим продуктом: заходить в приложение, учиться на курсе, делать повторные заказы.
На что смотреть? Как часто одни и те же люди обращаются к вам, открывают пуши или письма.
🔜 Revenue — доход. Самый приятный этап — клиент пользуется вашими услугами и платит за них деньги.
На что смотреть? Средний чек, средняя выручка на клиента, совокупный доход на пользователя, количество покупок.
🔜 Referral — рекомендация. Клиент рекомендует вас знакомым.
На что смотреть? Результаты реферальных программ, число расшариваний постов в соцсетях.
AARRR разработали в помощь стартапам, чтобы быстро оценить жизнеспособность бизнеса. Он помогает увидеть весь путь клиента, построить воронку продаж и понять, не проседает ли конверсия на каком-то этапе. Список метрик для каждого бизнеса будет свой, но мы постарались осветить общие принципы, чтобы стало понятно в какую сторону копать.
Как Apple следит за пользователями
Apple часто подчеркивает, как много внимания уделяет безопасности и защите личных данных пользователей. Рекламные ролики на эту тему у них получаются отличные, например, вот такой и такой.
Главной угрозой «прайваси» считаются сторонние приложения, которые собирают и непонятно куда сливают информацию. Команда исследователей из финского университета Aalto решила проверить, а как дела с родным ПО Apple, установленным почти на всех девайсах?
В исследовании «участвовали» 8 дефолтных приложений: Safari, Siri, Family Sharing, iMessage, FaceTime, Location Services, Find My и Touch ID.
💬 Оказалось, что все они, само собой, собирают данные. Запретить им это делать можно, но это сложнее чем кажется. Например, отключение Siri убирает только голосовое управление. При этом виртуальный ассистент продолжает фоново собирать данные из других приложений.
💬 Чтобы совсем оградить себя от Большого Брата, надо ковыряться в настройках, заходить в разные разделы и ставить (или снимать) всевозможные галочки. Официальные документы от Apple запутанные и неполные, поэтому пользователю может быть сложно с их помощью разобраться, какие именно данные собирает приложение и как это остановить.
💬 Исследователи пригласили 15 добровольцев, никто из которых не смог найти и снять все разрешения на сбор данных.
💬 Куда идут все эти данные, неизвестно. Один из исследователей предположил, что они могут использоваться для обучения ИИ, на котором работает Siri.
В общем, ничего удивительного — корпорации следят за своими клиентами и всеми силами мешают попыткам их остановить. Можно понагнетать панику и рассказать, какие нехорошие люди работают в Apple, но вряд ли в этом есть смысл. Лучшее, что можно сделать с этой информацией — начать внимательнее относиться девайсам, которые мы регулярно используем, и не лениться заглядывать в настройки.
Ну, и раз заговорили про Apple — участвуйте в опросе на вечную тему.👇🏻
Деловое предложение: вы нам бусты, мы вам сторисы
Правда ведь было бы классно никогда не пропускать последние новости и самые интересные посты, которые выходят на канале? ❤️
💙 Чтобы эта мечта стала реальностью, предлагаем отдать свой голос за LEFT JOIN. Тогда мы сможем постить сторис и делиться разными полезными штуками еще и там. Спамить всем подряд не будем, но думаем, что этот новый (для нас) формат поможет нам стать ближе и еще больше делиться с вами крутым контентом.
Кстати, пишите в комментариях — какие сторис от LEFT JOIN вы хотели бы видеть?
Data Heroes: старт 4-го сезона!
После долгой паузы стартует 4-й сезон подкаста о супергероях в области аналитики — Data Heroes.
У каждого сезона была своя тема, и этот — не исключение. На этот раз спикерами станут предприниматели и основатели онлайн-школ. Будем разговаривать про данные в эдтехе и рынок онлайн-образования: в России и за границей.
🔜 Гость первого выпуска — Анатолий Карпов, один из основателей karpov.courses и автор курсов, с которых многие начинали свой путь в аналитике и IT. «Основы статистики» навсегда останутся в наших сердцах. ❤️
Первый выпуск получился очень насыщенным:
🔵 Путь от аналитика до фаундера: как выпускник психологического факультета начал работать с данными в VK и основал свою компанию без инвестиций (но не один)?
🔵 Развитие эдтех-стартапа на конкурентном рынке, где уже много сильных игроков с крутой репутацией и большими ресурсами. Как менялся проект karpov.courses (и как он выглядит сейчас), как ученики убедили расширить линейку курсов и как работает подход к продвижению Content-First?
🔵 Рынок труда в эпоху ИИ: как LLM не отнимут работу у аналитиков — точнее, кто её отнимет, если не они?
🔵 И то, ради чего мы здесь собрались — как профессионалы работают с данными в своей компании? Почему в начале пути у стартапов нет аналитики и это нормально? А когда она все же появляется — какие метрики надо считать и какой дашборд самый главный?
В этом сезоне все новое: новый формат интервью 1-на-1, новая большая тема и даже появилась новая площадка — YouTube. Смотрите, слушайте, пишите комментарии — мы ждем вашего фидбека!
Посмотреть и послушать: видео-версия на YouTube 👀
Просто послушать: Яндекс Музыка, Apple Podcasts, Google Podcasts, Spotify, Mave, CastBox, Overcast
Самые популярные ошибки в построении аналитики в EdTech
⚡️ Внимание-внимание! На канале «Дата Коля» — новое видео для профессионалов из сферы эдтех и всех, кто хочет больше узнать о том, как строится аналитика на практике. Ролик посвящен главным вопросам, с которыми сталкиваются онлайн-школы.
🔜 Как подружить между собой данные из разных систем, чтобы отследить путь клиента и посчитать наконец-то стоимость лида?
🔜 Как перестать тратить время на заполнение бесконечных табличек и автоматизировать работу с данными?
🔜 Как выбрать инструменты для аналитики и создания отчетов и дашбордов, в обстановке, когда многие из них стали недоступны в России?
🔥 Смотрите по ссылке. Если у вас есть знакомые, которые работают в онлайн-образовании, поделитесь видео с ними и получите плюсик в карму.
Карта вашей базы данных
Базы данных нередко состоят из множества разных таблиц. Разобраться в структуре может быть непросто, но тут на помощь приходят схемы. Они показывают перечень таблиц, их содержимое и взаимосвязи — то есть содержатся ли в одной таблице ключи к какой-то другой.
Инструментов, которые помогают составлять схемы, довольно много. Преимущество сегодняшнего с говорящим названием SQLite Schema Diagram Generator в том, что он бесплатный, маленький и простой.
🔜 Понадобится скачать файлик с гитхаба и отдельный тул GraphViz. Файлик генерирует схему в формате GraphViz, а последний ее визуализирует. Вот и все — куда уж проще.