Как построить аналитическую инфраструктуру уровня PRO своими руками или с небольшой командой?
Анонс для тех, кто устал вручную выгружать и сводить данные из разных источников. На деле ситуация серьезней, чем кажется.
Часто компании работают с разными источниками данных с собственной логикой. Каждая выгрузка превращается в хоррор-квест и отнимает много времени и сил. Формально аналитика работает, но все понимают, что можно лучше.
Облегчить жизнь команде аналитики поможет правильная инфраструктура, и ее можно собрать по готовому алгоритму. А где его взять?
28 февраля в 17:00 МСК архитектор VK Cloud Алексей Белозерский проведет вебинар. Там он покажет, как с помощью облачных сервисов и открытого ПО организовать хранение, обработку и доставку данных до конечных пользователей.
В программе:
🔹Основные принципы и этапы работы с данными: DWH, ETL, BI.
🔹Проектирование системы: создание DWH, передача и обработка данных с помощью Apache Airflow и DBT, подключение BI-систему Redash.
🔹Live-demo: эксплуатация системы. Подключаем источники, редактируем витрины, обогащаем дашборды в Redash дополнительными данными.
🔹 QA-сессия.
Посетите вебинар дата-инженеров, старших аналитиков и разработчиков DWH, а также менеджеров продуктов, ориентированных на data-driven подход.
У VK Cloud большой опыт в построении различных инфраструктур. Поэтому добавьте событие в календарь.
⏰ 28.02.2024, 17:00 МСК
Зарегистрироваться
#промо
Как поменялись цены и объёмы продуктов в России с 2019 по 2024 годы (BBC)
Русская служба BBC на основе собственных закупок в 2019, 2021 и 2024 годах изучили, как поменялись цены в разных категориях товаров. Также они обнаружили товары, подвергшиеся шринкфляции — когда производитель уменьшает количество товара в упаковке, снижает качество или даже меняет состав, чтобы не сильно повышать цену
В расчётах учтена пропорция цены к весу, чтобы можно было сравнивать товары одинакового веса
Больше наших публикаций про шринкфляцию и цены на товары:
— Какие продукты в России сильнее всего подвержены шринкфляции, 2023
— Инфляция в странах мира, 2000–2022
— Индекс потребительских цен в 9 странах мира, 1960–2021
— Динамика инфляции индекса потребительских цен в США, 1789–2022
— Как менялся индекс потребительских цен в США в некоторых категориях товаров, 2020–2023
Выручка Apple с разбивкой на продукты и сервисы, 2007–2023 (Visual Capitalist)
На диаграмме также отмечены даты начала и конца продаж некоторых продуктов
Источник данных — Apple SEC Filings
Больше про Apple:
— Капитализация и доходы Apple, 2001–2021
— Выручка Apple и из чего она состоит, 2003–2021
— Структура выручки и издержек Apple в 2022 финансовом году
— Доля комиссий App Store в выручке Apple, 2009–2021
— Мировые объёмы продаж компьютеров Macintosh в млрд $, 2001–2022
Количество камер видеонаблюдения на 1000 человек в 16 городах мира, 2022 (Statista)
Показатели Пекина — среднее значение по всему Китаю
Источник данных — Comparitech
Другие данные по камерам видеонаблюдения:
— Города с наибольшим количеством камер видеонаблюдения на 1000 человек населения, 2022
— Топ-10 стран по количеству камер видеонаблюдения, 2020
— Индекс преступности и число камер видеонаблюдения на 1000 жителей, 2019
45 самых населённых городов мира, 2022 (Reddit)
Источник данных — City Population
Ещё про крупные города мира:
— Плотность населения в разных странах мира, 2022
— Города с наибольшим количеством камер видеонаблюдения на 1000 человек населения, 2022
— Города с наибольшим количеством ресторанов со звёздами Мишлен, 2022
— Карта самых популярных людей из городов мира
Долевое распределение мирового фондового рынка между странами мира, 1970–2022 (Visual Capitalist)
Источник данных — Credit Suisse
Ещё мы публиковали про рынки акций:
— Динамика стоимости акций 7 компаний, январь 2020 – апрель 2022
— Как изменились бы в цене 100 $, вложенных в акции 5 крупных компаний, 2017–2022
— Динамика фондового индекса S&P 500, 1940–2022
— Доля стран в мировом фондовом рынке, 2 квартал 2023
— 15 компаний S&P 500 с наибольшим ростом акций за последние 20 лет
Как изменились курсы 13 основных валют мира по итогам 2023 года (Visual Capitalist)
Стоимость доллара США считалась на основе индекса — его стоимости относительно основных валют мира из 6 стран. Стоимость остальных валют рассчитывалась относительно американского доллара
Источник данных — TradingView
Больше интересных данных по валютам и финансовым активам мира:
— Доходность различных видов активов, 2011–2023
— Стоимость американского доллара, фунта стерлингов и японской йены относительно золота, 1900–2022
— Курс рубля к доллару с 2000 года по 3 марта 2022 года
— Денежная масса M2 в США, 1959–2021
Объёмы экспорта товаров в Россию и страны Центральной Азии из 18 стран мира, 2017–2023 (Robin Brooks)
Красным обозначен экспорт в Россию, голубым — в страны Центральной Азии. Чёрный график — общие объёмы экспорта
Робин Брукс, опубликовавший картинку у себя в Твиттере, является членом Международного института финансов и ссылается на исследования этой организации
Ещё мы писали про санкции и их эффективность:
— Какие страны и в каком объёме покупают ископаемые энергоресурсы у России в 2023 году
— Сколько энергоресурсов закупил ЕС у России с 24 февраля
— Число санкций ЕС против России, 21 февраля 2022 – 25 февраля 2023
— Число санкций против РФ со стороны ЕС и США, 2014–2018
Доля курящего населения среди мужчин и женщин в некоторых странах мира, 2022 (Visual Capitalist)
По вертикали в % указана доля курящих мужчин, по горизонтали — женщин
Источник данных — ВОЗ
Больше статистики по потреблению табака в мире:
— Доля курящего населения в странах мира, 2000–2020
— Насколько курение повышает риск смерти от разных болезней
— Статистика о курении в мире и по странам
— Продажи сигарет в некоторых развитых странах, 1880–2015
— Количество проданных сигарет и количество смертей от рака лёгких в США, 1900–2020
— Как часто курят россияне и по каким причинам бросают, 2009–2022
15 самых продаваемых в мире моделей мобильных телефонов за всё время (Visual Capitalist)
Источники данных: Wikipedia, Yahoo Finance, Omdia
Ещё мы писали про рынок мобильных телефонов:
— Сравнение поставок и прибыли Apple, Samsung и других производителей смартфонов, 2018–2022
— Доля поставок, выручки и прибыли крупнейших производителей смартфонов, 2 квартал 2022
— Поставки и выручка производителей смартфонов, 4 квартал 2017
— Доли мобильных операционных систем, 2009–2022
— Доля iOS и Android и количество сотовых телефонов в сравнении с населением стран мира, 2018
Погода в странах мира (Weather Spark)
При помощи этого инструмента можно посмотреть динамику климатических показателей за год в странах мира и сравнить их между собой. Во вложениях усреднённые данные по Москве: средняя минимальная и максимальная температура, среднечасовая температура, среднемесячное количество дождя и снега, скорость ветра, количество часов дневного света и сумерек, а также восход и закат с сумерками. Помимо средних показателей также представлены данные за отдельные годы
В источнике также можно найти такие показатели, как: категория облачности, вероятность осадков, восход, закат и фазы Луны, уровни влажностного комфорта, направление ветра и т. д.
Больше данных по климату на планете:
— Насколько разнообразен климат в странах мира
— Погода в странах мира
— Карта среднесуточных температур в мире, 2022
— Распределение глобальной температуры, 1920–2021
Распределение мирового богатства по странам и регионам мира, 2023 (Visual Capitalist)
Каждая шкала — уровень богатства в американских долларах. По горизонтали — распределение взрослого населения с этим уровнем богатства по регионам мира. Например, 40% взрослого населения планеты, владеющих имуществом и финансовыми активами на сумму от 10 до 100 тысяч $, проживают в Китае
Источник данных — Global Wealth Report 2023
Ещё мы писали про распределение богатства и доходов в мире:
— Распределение финансовых и нефинансовых активов среди домхозяйств в США, 2022
— Динамика распределения доходов в мире, 1976–2023
— Пирамида глобального распределения богатства, 2020
— Распределение населения Земли по доходам, 2017
— Какой долей национального богатства владеют нижние 80% населения, 2021
Tablica — интерактивная периодическая таблица химических элементов
В неё встроены визуализации данных об элементах: масса и радиус атома, температуры плавления и кипения, плотность и содержание во Вселенной и на Земле. Также можно воспользоваться инструментом для симуляции химических реакций, для каждого элемента есть подробная карточка со всей информацией и изображением вещества
Другие наши публикации про химические элементы:
— Из чего состоит Вселенная
— Из каких элементов состоит организм человека
— Какие элементы в каких процессах возникли
Распределение мирового экспорта товаров среди стран мира, 1870–2020 (Visual Capitalist)
Серым цветом обозначены объёмы экспорта всех остальных стран мира
Источник данных — Peterson Institute for International Economics
Ещё мы писали про мировой экспорт:
— Структура мирового экспорта, 2021
— Индекс экономической сложности (ИЭС), 2016
— Экспорт компьютерной техники по странам мира, 2019
— Крупнейшие торговые партнёры Китая, 2022
— Крупнейшие торговые партнёры США, 2021
Объёмы мировых продаж автомобилей Tesla с разбивкой на модели, 2016–2023 (Visual Capitalist)
Данные указаны за каждый финансовый квартал. С 2020 года Tesla объединяет в отчётах продажи моделей 3 и Y, поэтому разбивка по моделям осуществлена на основе оценок CleanTechnica
Другие наши публикации про Tesla:
— Выручка и расходы Теслы за 2022 год
— Динамика средней цены автомобиля Tesla в мире, 2018–2023
— Динамика числа произведённых Тесла, по годам и по кварталам, 2012/2016–2020
— Объёмы ежеквартальных поставок автомобилей Тесла по странам и регионам мира, 2012–2023
Диаграмма Вороного с аэропортами мира (Jason Davies)
Диаграмма Вороного конечного множества точек — способ разбиения плоскости на отдельные области, при котором точки внутри этих областей более близки к центральной, чем к другим точкам множества
На интерактивной карте выше диаграмма Вороного помогает увидеть, какой аэропорт ближе всего для любой точки мира
Самая отдалённая от ближайших аэропортов точка на планете находится в Антарктиде — до ближайших трёх аэропортов от неё 5147 км. На материке имеются посадочные полосы для самолётов, но их размеры не позволяют классифицировать их как аэропорты, поэтому они отсутствуют в базе данных и на визуализации. Самый отдалённый от других аэропорт — Матавери на острове Пасхи, он находится в 2602 км от ближайшего аэропорта, который называется Тотегеги
Другие наши публикации про авиатрафик в мире:
— Карта всех авиарейсов и аэропортов мира
— Интерактивная визуализация мирового авиатрафика за 1 сентября 2022
— 120 аэропортов по расстоянию до центра города
Каждый день Второй мировой войны с размерами армий (Christopher)
Завораживающий ролик, который проводит вас через каждый день ВМВ, показывая военные фронты и размеры армий на них. Фоном идёт информация о ключевых военных и политических событиях тех дней
📼 Этот ролик на ютубе
Другие наши публикации про военные конфликты в мире:
— Войны, революции, смены правителей и изменения границ в странах Европы, 1500–2022
— Какой процент человечества погибал в различных войнах, 500 г до н. э. – 2013
— Карта всех 10 624 зафиксированных сражений в мире, 2500 до н. э. – 2023
— Мировые карты вооружённых столкновений и воздушных ударов, повлёкших смерти людей, 17 июня 2022 – 16 июня 2023
Взаимоотношения Японии и Китая в визуализациях 1932 года (РГБ)
Российская государственная библиотека выложила сборник «Япония и Китай» Давида Максимовича Страшунского. В нём собраны статистические таблицы с красочными визуализациями по демографии, промышленности, рынку труда, экспорту и другим социально-экономическим сферам двух стран
Целиком альбом можно посмотреть и скачать на сайте РГБ
Больше интересных справочников прошлого века:
— Статистический атлас Французского Индокитая 1914 года, Анри Бренье
— Всеобщий географический и статистический карманный атлас 1908 года
— Бразильские статистические атласы кофе начала 20 века
— Справочник цен на напитки и мороженое в Москве, 1938
Быть или не быть аналитиком? Вот в чем вопрос…
Аналитика уже везде! Это зарплаты от 60 000 рублей на начальном уровне, удаленная работа, перспективы…
Да, но это же еще и очень сложно, запутанно и вообще только для технарей?
На бесплатном онлайн-курсе «Аналитика за шесть уроков» эксперты-практики из Changellenge >> Education докажут, что в аналитику может перейти практически каждый — независимо от возраста и начального образования. На мини-курсе вы:
✔️Изучите азы основных аналитических программ;
✔️Решите базовые задачи от экспертов-практиков;
✔️Разберетесь с направлениями и выберите подходящее для себя;
✔️Получите сертификат о прохождении курса и пошаговый план по переходу в новую профессию.
В общем, почувствуете себя аналитиком и сможете начать строить новую карьеру!
Регистрируйтесь по ссылке https://u.to/kZlbIA
Реклама. ООО «Хайподром», ИНН 7716917009, erid: 2SDnjcfmqEp
Восприятие этапов взросления в странах Европы (Reddit)
На первой диаграмме указан возраст, начиная с которого жители тех или иных стран считают человека взрослым. На остальных диаграммах возраст, приемлемый для совместного проживания с партнёром и становления родителем, а также возраст, в котором необходимо уже прекращать совместное проживание с собственными родителями
Источник данных — European Social Survey
Ещё мы писали про этапы жизни человека:
— В каком возрасте мужчины и женщины заводили детей на протяжении 10000 поколений
— Семейный статус россиян в 2021 году
— В каком возрасте рожают россиянки, 1960–2020
— Изменения в типах домохозяйств в США, 1976–2021
Как быстро ставились мировые спортивные рекорды в 6 дисциплинах, 1829–2024 (Julian Freyberg)
Среди видов спорта:
— прыжки в высоту
— прыжки в длину
— марафон
— спринт (100 метров)
— жим лёжа
— становая тяга
На первой диаграмме — хронология рекордов по годам, где по вертикали указан прогресс от первого рекорда (0%) до современного (100%), а по горизонтали — время
На второй диаграмме по горизонтальной оси время представлено в виде процентов, где дата первого рекорда 0%, а дата последнего — 100%. Сделано это, чтобы показать, сколько процентов всего времени держался тот или иной рекорд
Больше наших публикаций про спорт:
— Стоимость проведения Чемпионатов мира в миллиардах долларов и как % от ВВП стран-хозяек, 1994–2022
— Сколько стоит провести Олимпийские игры
— Хронология видов спорта, входивших в программу Олимпийских игр, 1896–2020
Сколько земли требуется для добычи 1 МВт⋅ч из разных источников (Our World in Data)
В используемую площадь входят территория для добычи материалов, для постройки электростанций и территория для обработки и утилизации отходов. На диаграмме указаны минимум, максимум и медианное значения для каждого источника электроэнергии
Другие данные по альтернативным источникам электроэнергии:
— Доля солнечной и ветряной энергии в производстве электроэнергии по странам мира, 2021
— Динамика объёмов потребления электроэнергии из различных источников, 1800–2020
— Мировое потребление энергии по источнику, 1900–2021
— Доля энергии из возобновляемых источников в энергобалансе стран мира, 2020
50 крупнейших в мире фармацевтических компаний по рыночной капитализации, 2023 (Visual Capitalist)
Суммарная капитализация этих 50 компаний из США, Европы и Азии составляет 4,7 триллиона $
Другие наши публикации про индустрию фармацевтики:
— Годовая выручка Pfizer, млрд $, 2010–2022
— Концентрация активного компонента в Оциллококцинуме
— Крупнейшие в мире фармацевтические компании по годовой выручке, 2021
— Импорт и экспорт фармацевтической продукции по странам, 2018
Как росло число ежемесячно и ежедневно активных пользователей Facebook в мире, 2011–2023 (Statista)
Сейчас число ежемесячно активных пользователей соцсети достигло отметки в 3 миллиарда людей
Синим и голубым обозначено число активных пользователей в миллиардах (шкала слева), жёлтым и оранжевым — динамика год к году в процентах (шкала справа)
Другие интересные данные про Meta и его продукты:
— Выручка Meta и количество активных пользователей Facebook, 2011–2022
— Средняя выручка от одного пользователя (ARPU) и рост аудитории Фейсбука в регионах мира, 2022–2023
— Число сотрудников Facebook/Meta, Alphabet, Microsoft и Apple, 2018–2023
— Расходы Apple, Facebook, Amazon и Google/Alphabet на лоббизм в США, 2010–2019
Соотношение скорости и информативности речи в языках мира (Flowing Data)
На диаграмме слева — нормальное распределение показателей скорости речи (speech rate) в слогах в секунду. Справа — распределение информативности речи (information rate) в битах в секунду. Цветами обозначены различные языковые семьи
Другие интересные данные про языки:
— Какие иностранные языки изучают россияне, 2010
— Самые распространённые языки в интернете
— Топ-10 языков мира по числу носителей
Какой уровень дохода американцы с разным заработком считают достаточным для счастья (Washington Street Journal)
На каждой линии отмечены: диапазон зарплат (голубой прямоугольник), медианная реальная зарплата (синяя засечка) и медианная желаемая зарплата (белый кружочек)
Диаграмма составлена на основе данных опроса 2034 американцев старше 18 лет. Опрос проходил в августе 2023 года
Другие интересные данные по уровню дохода в мире:
— Производительность труда и реальная медианная заработная плата в странах ОЭСР, 1995–2013
— Среднее число рабочих часов и средняя заработная плата в неделю в странах ОЭСР, 2022
— Сколько часов в неделю в среднем работают американцы с различным уровнем дохода, 2022
— Кто в России кем работает и сколько получает
Динамика рыночной капитализации Microsoft и Apple на конец финансового года, 2000–2024 (Statista)
Данные за 2024 финансовый год актуальны по состоянию на 12 января — конец финансового года на фондовом рынке
Источник данных — Morningstar
Больше наших публикаций про технологических гигантов:
— Рыночная капитализация 5 технологических гигантов, 2018–2023
— Число сотрудников Facebook/Meta, Alphabet, Microsoft и Apple, 2018–2023
— Структура выручки Microsoft, июнь 2022 – июнь 2023
— Выручка Apple и из чего она состоит, 2003–2021
Как менялось качество решений среди профессиональных игроков в го, 1950–2021 (Machine Culture)
Резкий рост связывают с появлением нейросети AlphaGo, созданной для игры в го, и тем, что она помогает живым игрокам учиться играть лучше
Ещё мы писали про возможности ИИ:
— Как развивалась индустрия генеративного ИИ, 2014–2023
— Как менялось число параметров у больших языковых моделей, 2018–2023
— Как менялись возможности систем ИИ по распознаванию речи и изображений относительно способностей человека, 1998–2020
— Вычислительные ресурсы, затраченные на обучение систем искусственного интеллекта, 1950–2022
Карта сельхозугодий в мире, 2021 (Visual Capitalist)
Цветом обозначен процент площади, занятой пахотными землями. Их общая площадь на конец 2021 года составляла 1,142 миллиона га
Источник данных — Peter Potapov, 2021
Больше про сельское хозяйство в мире:
— Площадь сельхозугодий и объёмы сельхоз производства в мире, 1961–2021
— Распределение поверхности Земли в контексте сельского хозяйства
— Производство и потребление мяса в мире, 1961–2018
— 7 крупнейших производителей хлопка в мире, 2022
Демография и география пользователей ChatGPT, 2023 (Demand Sage)
Интересный факт из отчёта — доступ к ChatGPT заблокирован всего в 7 странах мира: Китае, России, Украине, Беларуси, Афганистане, Иране и Венесуэле
Источник данных — Statista
Другие наши публикации про ChatGPT и нейросети:
— Как хорошо справляются с экзаменами GPT-3.5 и GPT-4
— Темпы роста популярности ChatGPT в сравнении с некоторыми сервисами, 16 ноября – 7 декабря 2022
— Как развивалась индустрия генеративного ИИ, 2014–2023
— Как менялось число параметров у больших языковых моделей, 2018–2023
— Как менялись возможности систем ИИ по распознаванию речи и изображений относительно способностей человека, 1998–2020
— Число изображений, сгенерированных 5 популярными нейросетями, по состоянию на август 2023