11016
Обсуждаем ClickHouse
Просто инсерт не проходит
МВ - триггер на вставку. 1 сломанный триггер (мв) = все сломанные мв
Можно изменить это прведение
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#ignore_materialized_views_with_dropped_target_table
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#allow_materialized_view_with_bad_select
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#materialized_views_ignore_errors
к сожалению attach from remote сделать нельзя из коробки
Читать полностью…
Тогда выше я написал. Это один из способов
Читать полностью…
А смысл копировать в новый на поврежденный сторадж ? Я не понял
Читать полностью…
т.е. нижняя блокирует все подряд? а каким образом она блокирует? перестает работать самая первая? она начинает копить данные?
Читать полностью…
Добрый день! Не могли бы подсказать такой вопрос
У меня есть несколько материализованных представлений (МВ), которые цепляются к целевой таблице предыдущей. Получается такой водопад из МВ. При неправильном SELECT в МВ (например конецную таблицу не верно указал и пишет, что нет такой таблицы) Начинает лихорадить все МВ, которые находятся выше по иерархии. И даже аффектит на кластер Clickhouse, из которого я забираю данные по средство МВ в remote table. Быть может кто-то с таким сталкивался тоже.
Всем привет. Подскажите плиз, обновили дев кластер до 25.5, в коммуналке было использование экспериментальных фич. На таблицах использовали индекс usearch и теперь startup ddl worker не дает дропнуть эти таблицы, да и в целом теперь не дает DDL запускать и ссылаться на system таблицы. Можно ли как-то снести таблицы с экспериментальным индексом без даунгрейда? DB::Exception: Waited job failed: Code: 696. DB::Exception: Load job 'startup ddl worker' -> Code: 695. DB::Exception: Load job 'load table some_table' failed: Code: 80. DB::Exception: Unknown Index type 'usearch'.
Читать полностью…
Покажите схему таблицы, какая скорость записи данных, какими порциями пишете данные, сколько запросов в секунду выполняется на запись, сколько на чтение?
Какие запросы на чтение выполняются? Покажите все параметры.
Без этого невозможно сказать, в чем проблема.
Здравствуйте! Сделал TimeSeries c remote write в Clickhouse 25.4.1.2934 и начал туда писать данные. Все пишется отлично, но query данных работает очень медленно. БД перегружена постоянно и все 12gb памяти заняты. Подскажите пожалуйстак как правильно TimeSeries писать и читать в Clickhouse?
Читать полностью…
Всем привет! А кто-нибудь может подсказать, как можно провалидировать таблицы, помимо CHECK TABLE? CHECK TABLE очень долго работает на больших таблицах (терабайт+), у меня задача разворачивать во временном окружении бекап базы, и если он успешно залился, хочется еще удостовериться, что таблицы в порядке. Может есть какой-то пускай и менее надежный, но более быстрый способ?
Читать полностью…
с таймаутами что только не делали пока - все равно ошибка возникает. В чем может быть проблема?
Читать полностью…
так вы попробуйте просто на стенде каком нибудь поиграться...
Читать полностью…
либо молча не будет применять, либо будет срать в логи о том что Nullable нельзя возвращать в TTL потому что там надо для сравнения какой то тип относящийся ко времени вернуть...
Читать полностью…
Rsync быстрее всего, но ddl таблиц должен быть одинаковым
Читать полностью…
быстрее всего rsync скопировать и на новом сервере сделать ATTACH
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/rsync/
как-то так
Команда INSERT INTO ... SELECT FROM remote() использует максимальную скорость? Например, у меня сеть на 1 ГБ/с — будет ли она использоваться по максимуму?
Читать полностью…
"Проблема такая: у меня повреждён cold storage на новом кластере, но данные ещё есть на старом. Как я могу перенести или скопировать их со старого кластера на новый? Объём cold storage — примерно 8 ТБ.
Читать полностью…
Как можно скопировать данные из одного клика в другой?
Читать полностью…
Это не баг, это фича, так и задумано. Все матвью должны быть корректными, в противном случае не сработает даже головная. Сделано для поддержания согласованности данных.
Читать полностью…
Посмотрите на количество Kafka таблиц и сравните с количеством ядер. 1 консьюмер на 1 ядро. У меня такое было, когда ядер было 16, а kafka-таблиц - 35.
Тут в чате обсуждали как-то этот вопрос - /channel/clickhouse_ru/417141
подскажите пожалуйста, у нас мемори лик в КХ и приходится часто ребутать поды чтобы сбросить память, версия КХ 24.11.1, используем таблицы с кафка енджин и матвьюшки, в чем может быть причина такого поведения?
Читать полностью…
разобрался, нужно было указывать https://ams3.digitaloceanspeces.com/BUCKET/DIR/
Читать полностью…
господа, а кто-то сталкивался с такой штукой когда при
backup database default to S3('https://.....ams3.digitaloceanspaces.com/backups/', 'KEY','SECRET') ;
2025.06.03 09:22:10.250818 [ 18525 ] {} <Error> TCPHandler: Code: 499. DB::Exception. (S3_ERROR), Stack trace (when copying this message, always include the lines below):
0. DB::Exception::Exception(DB::Exception::MessageMasked&&, int, bool) @ 0x000000000dd109bb
1. DB::S3Exception::S3Exception(String const&, Aws::S3::S3Errors) @ 0x000000001129a94d
2. DB::(anonymous namespace)::listObjects(DB::S3::Client&, DB::S3::URI const&, String const&) @ 0x0000000011803d95
3. DB::BackupWriterS3::fileExists(String const&) @ 0x0000000011808084
4. DB::BackupImpl::open() @ 0x0000000011752ca7
5. DB::BackupImpl::BackupImpl(DB::BackupFactory::CreateParams, DB::BackupImpl::ArchiveParams const&, std::shared_ptr<DB::IBackupWriter>) @ 0x0000000011753e12
Привет! У меня коллега попытался вопрос задать с многабукаф, но его автоматом забанило. Попробую сам:
пытаемся подкрутить аппку на pyspark 3.5.0, которая работала со старыми CH драйверами по JDBC (com.github.housepower:clickhouse-native-jdbc-shaded:2.7.1) , встраиваю ей по гайду новые + каталог (clickhouse.spark:clickhouse-spark-runtime-3.5_2.12:0.8.0).
да вот проблема - при записи "плюётся" ошибкой:
Читать полностью…
py4j.protocol.Py4JJavaError: An error occurred while calling o1242.append.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 4 in stage 25.0 failed 4 times, most recent failure: Lost task 4.3 in stage 25.0 (TID 86) (10.216.46.212 executor 8): com.clickhouse.spark.exception.CHServerException: [HTTP]user@host:8123}/db [210] Broken pipe
at com.clickhouse.spark.client.NodeClient.syncInsert(NodeClient.scala:150)
Ну вот я тоже думаю об этом,
Тогда буду генерить наборы данных, чтобы проверить именно не совпадение
добрый день
обхожу where в TTL
через multiif
TTL toStartOfDay(t1UTC) + multiIf(
column_a='111' and column_b = '11', INTERVAL 3 MONTH,
column_a = '222' and column_b = '22', INTERVAL 1 YEAR,
column_a in ('333', '444', '555', '666') and column_b = '33' and column_c not in ('x', 'y'), INTERVAL 10 YEAR)