clickhouse_ru | Неотсортированное

Telegram-канал clickhouse_ru - ClickHouse не тормозит

11016

Обсуждаем ClickHouse

Подписаться на канал

ClickHouse не тормозит

Привет! Работает ли (roaring) bitmap с UInt64? Хочу быстро искать пересечения в таблице

kw_hash UInt64, kw_hashes Array(UInt64)

Таблица на миллионы, хочу находить все пары kw_hash-ей, такие что у них пересечение по n kw_hashes.

Кажется, инвертед индекс нужно будет делать самому, но может есть способ лучше

Читать полностью…

ClickHouse не тормозит

Добрый день!

Работа с новым типом JSON при использовании материализованных полей работает только при включенном новом аналайзере

С обычным полем все ок и без него

Недосмотр?

Читать полностью…

ClickHouse не тормозит

пустой, но законектиться с ним снаружи контейнера нельзя...

Читать полностью…

ClickHouse не тормозит

Апну.

USS для клика без data modeling и ad hoc витрин это не ок. Кто чем моделирует витрины?

Читать полностью…

ClickHouse не тормозит

https://clickhouse.com/docs/operations/system-tables/data_skipping_indices

оно?

Читать полностью…

ClickHouse не тормозит

в чем ваша проблема? у вас max долго работает?
покажите запрос

skip-index это не только min-max индекс, вам это сказали, вы об этом не подумали...

Читать полностью…

ClickHouse не тормозит

Если вдруг вы можете эту гипотезу сейчас опровергнуть значительно меньшей ценой чем для меня ее доказывать, то прошу вас сделать это.

Читать полностью…

ClickHouse не тормозит

ну вы можете сделать проекцию
или сделать ORDER BY по этому полю

Читать полностью…

ClickHouse не тормозит

либо я хочу спросить, может есть какой-то способ сбоку подойти

Читать полностью…

ClickHouse не тормозит

скорее всего он в этой задаче вообще не используется

Читать полностью…

ClickHouse не тормозит

и из этих максимумов выбрать маскимум, всё же не фуллскан

Читать полностью…

ClickHouse не тормозит

что посчитано? максимум для всей таблицы - нет, не посчитан

Читать полностью…

ClickHouse не тормозит

(сорцы еще не читал)

Читать полностью…

ClickHouse не тормозит

если вы про INDEX, то в CH - это скип индекс

Читать полностью…

ClickHouse не тормозит

Извините, картинки на смартфоне…
Делайте примеры в fiddl

Читать полностью…

ClickHouse не тормозит

А может кто-нибудь подсказать, правильно ли я оформил PR на добавление своего клиента в документацию?
https://github.com/ClickHouse/ClickHouse/pull/80039

Читать полностью…

ClickHouse не тормозит

пробрасывайте своего юзера в

/etc/clickhouse-server/users.d/my_user.xml


<clickhouse><users><my_user><password>my_password</password></users></clickhouse>

Читать полностью…

ClickHouse не тормозит

Привет, установил кликхаус с образа clickhouse/clickhouse-server, подскажите, пожалуйста, какой пароль ставится по умолчанию для пользователя default?

Читать полностью…

ClickHouse не тормозит

Не оно. Это мета-таблицы. Я говорил про содержимое индексов.

Читать полностью…

ClickHouse не тормозит

можете завести issue в котором обосновать, что типа min / max оптимизация по полю будет ок

но на самом деле такая оптимзиация возможна только если ваша колонка не в PK нет никаких условий WHERE
и нет никаких JOIN ...

то есть в 99,(9)% случаев, читать min max индекса бесполезно для подсчета max аггрегирующей функции потому что аггрегация используется ПОСЛЕ вычитки и фильтрации WHERE ... а не до...

в новых версиях кстати можно включить создание min max для всех полей
https://clickhouse.com/docs/operations/settings/merge-tree-settings#add_minmax_index_for_numeric_columns
https://clickhouse.com/docs/operations/settings/merge-tree-settings#add_minmax_index_for_string_columns

Читать полностью…

ClickHouse не тормозит

Алсо было бы круто вообще представить индексы такого толка в виде виртуальных таблиц может

Читать полностью…

ClickHouse не тормозит

я в курсе как он уже используется. У меня гипотеза как он устроен, и если она верна, я хочу предложить на его основе фичу для оптимизатора. Я вот объяснил ход моих мыслей.

Читать полностью…

ClickHouse не тормозит

и не должен
это скип индекс
он будет использоваться когда вы будете искать какие-то значения и часть партов не будут читаться потому что их там нет

Читать полностью…

ClickHouse не тормозит

я хочу сказать, А ПОЧЕМУ БЫ НЕ ЗАЮЗАТЬ ЕГО

Читать полностью…

ClickHouse не тормозит

потому что скип индекс компактнее хранится чем собственно данные, если я всё понимаю.. Вдобавок сбоку.

Читать полностью…

ClickHouse не тормозит

нет, максимум на группу записей.

Читать полностью…

ClickHouse не тормозит

skip index не только min max бывают

Читать полностью…

ClickHouse не тормозит

скип индекс - это его заявленная цель. Я понимаю, что его реализация - это просто min/max на колонку в _part или мельче (в группе записей), для того чтобы их целиком пропускать (skip). Но оно жеж ведь посчитано, не?

Читать полностью…

ClickHouse не тормозит

Коллеги, добрый день. У меня minmax индекс на колонку, а я делаю select max(col), а он делает фулл скан. ИИ в документации не особо помогает, говорит "делай проекцию", или даже allow_experimental_projection_optimization (не работает). Есть ли какой-то способ заюзать данные из minmax индекс в моих коварных целях?

Читать полностью…

ClickHouse не тормозит

Для начала такое https://disk.yandex.ru/i/f1kN0oYkE7G-Eg

Читать полностью…
Подписаться на канал