11016
Обсуждаем ClickHouse
В общем, да, правильно пишут, что сжатие происходит на стороне клиента (прозрачно), и многие клиенты его поддерживают, например у clickhouse-go и ch-go стоит галочка напротив Compression: https://clickhouse.com/docs/integrations/go
Читать полностью…
Коллеги, существует ли source коннектор clickhouse для Kafka connect?
Документацию для sink вижу, а для source не вижу ничего
А в чем проблема такое представить, стринга в клике спокойно позволяет произвольный набор байт хранить и возвращать.
При это я конечно полностью согласен что это нафиг не нужно, лучше уж на уровне http интерфейса, ну и для native там уже вшито
Rsync быстрее всего, но ddl таблиц должен быть одинаковым
Читать полностью…
быстрее всего rsync скопировать и на новом сервере сделать ATTACH
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/rsync/
как-то так
Команда INSERT INTO ... SELECT FROM remote() использует максимальную скорость? Например, у меня сеть на 1 ГБ/с — будет ли она использоваться по максимуму?
Читать полностью…
"Проблема такая: у меня повреждён cold storage на новом кластере, но данные ещё есть на старом. Как я могу перенести или скопировать их со старого кластера на новый? Объём cold storage — примерно 8 ТБ.
Читать полностью…
Как можно скопировать данные из одного клика в другой?
Читать полностью…
Это не баг, это фича, так и задумано. Все матвью должны быть корректными, в противном случае не сработает даже головная. Сделано для поддержания согласованности данных.
Читать полностью…
Посмотрите на количество Kafka таблиц и сравните с количеством ядер. 1 консьюмер на 1 ядро. У меня такое было, когда ядер было 16, а kafka-таблиц - 35.
Тут в чате обсуждали как-то этот вопрос - /channel/clickhouse_ru/417141
подскажите пожалуйста, у нас мемори лик в КХ и приходится часто ребутать поды чтобы сбросить память, версия КХ 24.11.1, используем таблицы с кафка енджин и матвьюшки, в чем может быть причина такого поведения?
Читать полностью…
разобрался, нужно было указывать https://ams3.digitaloceanspeces.com/BUCKET/DIR/
Читать полностью…
конечно не ответ на вопрос, но кликхаус сам неплохо может как читать из кафки, так и писать в нее через движок таблицы Kafka. Т.е. возможно вам для этого и не нужен kafka connect
Читать полностью…
ну смотря сколько у вас дисков на cold в старом и сколько в новом, может потребоваться потаскать не совсем 1 к 1, а в остальном да, создаете таблицу на новом кластере, тащите в детачед данные из под freeze-снапшота, аттачите их, всё должно быть нормально
Читать полностью…
Добрый день, коллеги! У меня есть два кластера ClickHouse. На старом кластере настроен cold storage, и на новом тоже. Как я могу перенести cold storage со старого кластера на новый? Если использовать подход из этой статьи https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/rsync/ , будет ли работать cold storage на новом кластере?
Просто инсерт не проходит
МВ - триггер на вставку. 1 сломанный триггер (мв) = все сломанные мв
Можно изменить это прведение
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#ignore_materialized_views_with_dropped_target_table
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#allow_materialized_view_with_bad_select
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#materialized_views_ignore_errors
к сожалению attach from remote сделать нельзя из коробки
Читать полностью…
Тогда выше я написал. Это один из способов
Читать полностью…
А смысл копировать в новый на поврежденный сторадж ? Я не понял
Читать полностью…
т.е. нижняя блокирует все подряд? а каким образом она блокирует? перестает работать самая первая? она начинает копить данные?
Читать полностью…
Добрый день! Не могли бы подсказать такой вопрос
У меня есть несколько материализованных представлений (МВ), которые цепляются к целевой таблице предыдущей. Получается такой водопад из МВ. При неправильном SELECT в МВ (например конецную таблицу не верно указал и пишет, что нет такой таблицы) Начинает лихорадить все МВ, которые находятся выше по иерархии. И даже аффектит на кластер Clickhouse, из которого я забираю данные по средство МВ в remote table. Быть может кто-то с таким сталкивался тоже.
Всем привет. Подскажите плиз, обновили дев кластер до 25.5, в коммуналке было использование экспериментальных фич. На таблицах использовали индекс usearch и теперь startup ddl worker не дает дропнуть эти таблицы, да и в целом теперь не дает DDL запускать и ссылаться на system таблицы. Можно ли как-то снести таблицы с экспериментальным индексом без даунгрейда? DB::Exception: Waited job failed: Code: 696. DB::Exception: Load job 'startup ddl worker' -> Code: 695. DB::Exception: Load job 'load table some_table' failed: Code: 80. DB::Exception: Unknown Index type 'usearch'.
Читать полностью…
Покажите схему таблицы, какая скорость записи данных, какими порциями пишете данные, сколько запросов в секунду выполняется на запись, сколько на чтение?
Какие запросы на чтение выполняются? Покажите все параметры.
Без этого невозможно сказать, в чем проблема.
Здравствуйте! Сделал TimeSeries c remote write в Clickhouse 25.4.1.2934 и начал туда писать данные. Все пишется отлично, но query данных работает очень медленно. БД перегружена постоянно и все 12gb памяти заняты. Подскажите пожалуйстак как правильно TimeSeries писать и читать в Clickhouse?
Читать полностью…
Всем привет! А кто-нибудь может подсказать, как можно провалидировать таблицы, помимо CHECK TABLE? CHECK TABLE очень долго работает на больших таблицах (терабайт+), у меня задача разворачивать во временном окружении бекап базы, и если он успешно залился, хочется еще удостовериться, что таблицы в порядке. Может есть какой-то пускай и менее надежный, но более быстрый способ?
Читать полностью…