ClickHouse не тормозит

12 октября 2024 10:36

Запрос всегда один и тот же. Размеры партиций и кол-во строк примерно равны.

ClickHouse не тормозит

12 октября 2024 05:36

спасибо, полезный пример

ClickHouse не тормозит

11 октября 2024 22:44

https://fiddle.clickhouse.com/af93d0a6-d890-47d8-b447-c0610af89498

ClickHouse не тормозит

11 октября 2024 22:10

не будет ожидаемой ими производительности
dictGet(dictGet()) тоже может быть, но сути не меняет

ClickHouse не тормозит

11 октября 2024 22:07

многие любители звездных схем делают
dictGet as field
…
WHERE field IN (…)
и удивляются

ClickHouse не тормозит

11 октября 2024 22:05

И по ним ещё и фильтранули...

ClickHouse не тормозит

11 октября 2024 22:05

вы знаете что такое dictGet ?

ClickHouse не тормозит

11 октября 2024 21:56

вы это легко можете проверить через explain indexes=1

ClickHouse не тормозит

11 октября 2024 21:54

Таблица - 5 столбцов Int64
5 словарей, связанных с этими столбцами 1 к 1
VIEW над этим всем, чтоб проще было доставать данные

ClickHouse не тормозит

11 октября 2024 21:48

Добрый вечер. Можете подсказать по словарям? Есть View таблица из IDшников и несколько значений по словарям на основе этих же IDшников. Правильно ли я понимаю, что если делать сортировку или фильтрацию по полю словаря, то ему придется сделать а-ля JOIN (а то и что похуже) и потом по нему сортирануться/фильтрануться?

ClickHouse не тормозит

11 октября 2024 20:51

Я имею ввиду нечто отличное от "приклеить лицо на голое тело и выдать за оригинал". Подделка подписей так, что никакая почерковедческая экспертиза не определит подделку, печати на документах и т.д... Вплоть до видео в реальном времени, когда вместо тебя кто-то другой.
Когда это начнется, начнутся запреты, никуда от этого не деться.

ClickHouse не тормозит

11 октября 2024 20:46

гхм... у кожанки Хуана. личное состояние 103 ярда. какой пессимизм?

ClickHouse не тормозит

11 октября 2024 20:28

На этой позитивной ноте заканчиваем флудить в предметном чате в пятницу вечером :)

ClickHouse не тормозит

11 октября 2024 20:27

И кстати, генерация изображений и, соответственно, закупка тонны железа, еще будет процветать, до той поры, пока не научат ИИ генерировать изображения, неотличимые от оригинала. Ну а потом пойдут запреты, мол фейк не отличить от настоящего и т..д. )

ClickHouse не тормозит

11 октября 2024 20:22

Как раз в тему моего поста выше ) Те, кто работают на продвижение технологий, находятся позади тех, кто поднимается на "хайпе ИИ" )

ClickHouse не тормозит

12 октября 2024 10:34

Привет!

Может кто-нибудь подскажет, что можно проверить?

Кластер из 8 одинаковых серверов. На одном из них скорость чтения стабильно в 2 раза ниже: 50 млн строк в сек. против 100 на остальных.

При этом повторный запрос может показывать примерно одинаковую скорость на всех (думаю, что ключи уже в памяти).

Все вроде одинаковое: количество ядер, частота, память, диски.

ClickHouse не тормозит

12 октября 2024 05:35

а... вот вы про что... ну да... если фильтровать по результату dictGet то читать придется всю колонку которая в dict для словаря....

ClickHouse не тормозит

11 октября 2024 22:12

имеем ORDER BY (id,…
а фильтруем или группируем по dictGet(…id)

тот самый случай, когда в транзакционной таблице идентификаторы, а фильтрация по наименованиям, которые берутся из словаря

ClickHouse не тормозит

11 октября 2024 22:09

я тоже удивлюсь немного =) поясните что не так тут если IN (...) будет просто список констант?

или там типа на каждый элемент IN будет hash lookup из dictGet ? или что?

ClickHouse не тормозит

11 октября 2024 22:06

Ну в общем, понятно, что нецелевое использование

ClickHouse не тормозит

11 октября 2024 22:05

Как раз они во вьюхе и прописаны были

ClickHouse не тормозит

11 октября 2024 21:57

спасибо, что подтвердили...

ClickHouse не тормозит

11 октября 2024 21:54

Если у вас в транзакционной таблице нет поля и оно присоединяется из словаря и вы по этому полю фильруете, то да, эффективности фильтрации по полю из сортировки у вас не будет

ClickHouse не тормозит

11 октября 2024 21:52

боже, что может быть хуже джойнов в пятницу вечером!?

Что такое «View таблица из IDшников и несколько значений по словарям на основе этих же IDшников» ??

ClickHouse не тормозит

11 октября 2024 20:51

потому что с видео проблемы контекста

ClickHouse не тормозит

11 октября 2024 20:47

что такое "не отличимое от оригинала"

просто white label накинут...
диффузионки сейчас уже нормально дипфейки генерят... артефакты только на видео иногда видно...

ClickHouse не тормозит

11 октября 2024 20:28

Там проблема. Картинку справляется. А вот для мультика нужен контекст. Либо запихивать одну ИИ внутрь другой, чтобы старшая говорила «не та собачка, перерисовывай». А это кратное увеличение потребления электричества. А оно подорожало

ClickHouse не тормозит

11 октября 2024 20:27

Главная задача в повышении доходов и рекламодателей И площадок не решена. Расходимся.
А хайп иссяк. Дети быстро поняли что «эта дура разговаривать не умеет»

ClickHouse не тормозит

11 октября 2024 20:23

Вроде все логично.
Это же пустышка. Вот рвачи и зарабатывают.
У железячников тоже медовый месяц к концу подходит. Прибылей не приносят и инвесторы уходят в пессимизм

ClickHouse не тормозит

11 октября 2024 20:21

чето пока только железячники зарабатывают... и всякие попрошайки на всяких генерациях картинок...
ну Адобченко там с подписками своими...

а все ведущие конторы типа character.ai , openai, claude, mistral
весьма убыточны...