ClickHouse не тормозит

14 октября 2024 12:58

... ну и вам никто не мешает в любой момент вставить прямо в таблицу, над которой сделан MV, все, что захотите.

ClickHouse не тормозит

14 октября 2024 12:55

без опции populate не сделает + есть возможность потерять данные, пришедшие во время populate
так что стандартный подход, это создать мат вью, она начинает тригериться на новые вставки, а старые данные долить вручную

ClickHouse не тормозит

14 октября 2024 12:52

У меня просто следующая ситуация - строка таблицы изначально находится в состоянии A, через какое-то время изменяется на состояние B. Мне нужно при состоянии A сделать запись в матвью, и потом в состоянии B сделать другую запись. Но, если запустить такую логику на существующую таблицу, то просыпятся данные у строк, которые уже перешли в состояние B. Для этого и хочу сначала налить таблицу по другой логике, а потом изменить ее

ClickHouse не тормозит

14 октября 2024 12:47

зачем лезть в мат вью, если для изначальной заливки данных в destination можно просто запустить insert into... select?

ClickHouse не тормозит

14 октября 2024 12:46

Не оч понятно... Матвьюху нужно будет пересоздавать. К примеру у вас было в источнике А стринг, Б инт64. Вы добавили в источник(или сменили его) пересоздаете матвью А стринг, Б инт64, В стринг. Таргет таблица останется как и была только алтер добавить колонку "В стринг". Это для ReplicatedMergeTree или просто MergeTree

ClickHouse не тормозит

14 октября 2024 12:30

Как это тулза называется?

ClickHouse не тормозит

14 октября 2024 12:00

Окей, сейчас через код гляну.

ClickHouse не тормозит

14 октября 2024 11:34

наверное клиент такой , так-то все работает https://fiddle.clickhouse.com/c1206182-7839-4e8f-bd30-752fd3874203

ClickHouse не тормозит

13 октября 2024 14:36

О, попробую, отпишусь

ClickHouse не тормозит

13 октября 2024 14:21

Коллеги, приветствую. У меня таблица с ДОСТАТОЧНО БОЛЬШИМИ снапшотами (в колонках String). Я делаю ее копирование в другую таблицу (insert into tbl select * from oldtbl). Вылетает по памяти, потому что пытается прочитать столько-то строк по определению сразу, внутренним чтением по N строк, и оно не влазит в ОЗУ. Задача: уменьшить к-во строк читаемых за раз. Какой настройкой у запроса это настроить?

ClickHouse не тормозит

12 октября 2024 14:01

Там уже разобрались, insert_deduplicate=0 решил проблему. Часть инсертов в логах репортило сообщение дедупликации.

ClickHouse не тормозит

12 октября 2024 11:31

Попробуй сделать select * from mv. У меня с такими же симптомами оказалось неправильно названные столбцы (select xxx as yyy не совпадали с именами полей в целевой таблице). И запрос к mv показал эту ошибку, после пересоздания mv все заработало

ClickHouse не тормозит

12 октября 2024 11:21

ну так может на нем диски деградировали банально

ClickHouse не тормозит

12 октября 2024 11:17

Железные метрики в момент выполнения запросов смотрите и сравнивайте. Возможно диски всасывают на нем

ClickHouse не тормозит

12 октября 2024 10:55

ну как рабочая гипотеза... linux page cache вымывается другими запросами
из-за этого ваш конкретный запрос тормозит чуть больше...

или есть еще какие то запросы \ процессы которые отжирают диск

сравните нагрузку на диски по метрикам
сколько IOPS сколько байт в секунду...

ClickHouse не тормозит

14 октября 2024 12:56

Можете. Вы с помощью MV "наливаете" обычную таблицу.

Единственный момент, "старые данные будут затираться" не "при каждом обновлении", а асинхронно.

ClickHouse не тормозит

14 октября 2024 12:53

странное у вас). Для состояния добавить таймстам не?

ClickHouse не тормозит

14 октября 2024 12:52

Зачем? матвьюшка это сделает

ClickHouse не тормозит

14 октября 2024 12:47

Таргет Replacing будет же по ключам каким то, по идее матвю просто инсертит и то что там Replacing енжин ее не волнует

ClickHouse не тормозит

14 октября 2024 12:40

Всем привет! Есть вопрос по мат вьюхам. Я хочу сделать мат вью у ReplicatedReplacingMergeTree таблицы, в которой постоянно обновляются данные. Если я правильно понимаю, при каждом обновлении старые данные будут затираться, и вставляться новые -> новые будут прорастать в матвью (мне так и надо). Вопрос такой - могу ли я сначала сделать query для матвью, чтобы налить ее, а потом изменить QUERY, чтобы новые поступающие данные записывались по другой логике? (при этом не удаляя уже записанные по старой логике данные)

ClickHouse не тормозит

14 октября 2024 12:01

ну и
Danger
Not all functions that parse DateTime/DateTime64 respect session_timezone. This can lead to subtle errors.

ClickHouse не тормозит

14 октября 2024 11:39

потому что не надо проверять грипами и бобрами, у них много чудес с датами

ClickHouse не тормозит

13 октября 2024 14:37

Действительно, скорее всего инсерт задаёт работу а не селект

ClickHouse не тормозит

13 октября 2024 14:35

max_insert_block_size уменьшить и max_insert_threads=1

ClickHouse не тормозит

12 октября 2024 14:04

Ох уж эта вера в то что дубли будут сами исчезать

ClickHouse не тормозит

12 октября 2024 11:40

Так данные и должны быть в целевых таблицах.
А делать МВ над Replacing может быть чревато

ClickHouse не тормозит

12 октября 2024 11:27

Коллеги, спасибо за советы, буду смотреть. Если будет ясность, напишу )

ClickHouse не тормозит

12 октября 2024 11:18

Ну или можете сравнить ProfileEvents.IOWaitTimeMicroseconds в system.query_log одинаковых запросов на разных нодах

Имя метрики по памяти писал если что

ClickHouse не тормозит

12 октября 2024 11:14

Этот узел в целом тянет на дно весь кластер и всегда приходит последним (

ClickHouse не тормозит

12 октября 2024 10:49

Привет, тут очень много если