11016
Обсуждаем ClickHouse
Тогда выше я написал. Это один из способов
Читать полностью…
А смысл копировать в новый на поврежденный сторадж ? Я не понял
Читать полностью…
т.е. нижняя блокирует все подряд? а каким образом она блокирует? перестает работать самая первая? она начинает копить данные?
Читать полностью…
Добрый день! Не могли бы подсказать такой вопрос
У меня есть несколько материализованных представлений (МВ), которые цепляются к целевой таблице предыдущей. Получается такой водопад из МВ. При неправильном SELECT в МВ (например конецную таблицу не верно указал и пишет, что нет такой таблицы) Начинает лихорадить все МВ, которые находятся выше по иерархии. И даже аффектит на кластер Clickhouse, из которого я забираю данные по средство МВ в remote table. Быть может кто-то с таким сталкивался тоже.
Всем привет. Подскажите плиз, обновили дев кластер до 25.5, в коммуналке было использование экспериментальных фич. На таблицах использовали индекс usearch и теперь startup ddl worker не дает дропнуть эти таблицы, да и в целом теперь не дает DDL запускать и ссылаться на system таблицы. Можно ли как-то снести таблицы с экспериментальным индексом без даунгрейда? DB::Exception: Waited job failed: Code: 696. DB::Exception: Load job 'startup ddl worker' -> Code: 695. DB::Exception: Load job 'load table some_table' failed: Code: 80. DB::Exception: Unknown Index type 'usearch'.
Читать полностью…
Покажите схему таблицы, какая скорость записи данных, какими порциями пишете данные, сколько запросов в секунду выполняется на запись, сколько на чтение?
Какие запросы на чтение выполняются? Покажите все параметры.
Без этого невозможно сказать, в чем проблема.
Здравствуйте! Сделал TimeSeries c remote write в Clickhouse 25.4.1.2934 и начал туда писать данные. Все пишется отлично, но query данных работает очень медленно. БД перегружена постоянно и все 12gb памяти заняты. Подскажите пожалуйстак как правильно TimeSeries писать и читать в Clickhouse?
Читать полностью…
Всем привет! А кто-нибудь может подсказать, как можно провалидировать таблицы, помимо CHECK TABLE? CHECK TABLE очень долго работает на больших таблицах (терабайт+), у меня задача разворачивать во временном окружении бекап базы, и если он успешно залился, хочется еще удостовериться, что таблицы в порядке. Может есть какой-то пускай и менее надежный, но более быстрый способ?
Читать полностью…
с таймаутами что только не делали пока - все равно ошибка возникает. В чем может быть проблема?
Читать полностью…
так вы попробуйте просто на стенде каком нибудь поиграться...
Читать полностью…
либо молча не будет применять, либо будет срать в логи о том что Nullable нельзя возвращать в TTL потому что там надо для сравнения какой то тип относящийся ко времени вернуть...
Читать полностью…
если реплика была долго оффлайн то она помечается как is_lost
и тогда тупо с остальных реплик данные тащит...
если не долго, то тащит только новое (там длинна очереди репликации 1000 по умолчанию)...
не очень понятно что вы имеется ввиду под "нельзя посмотреть на реплике"
там при старте просто идет загрузка primary.idx в память для текущих данных...
таблица будет в readonly пока не синкнется...
Всем привет, вопрос вот такой. Когда реплика находится в режиме восстановления( выключали на тех работы ) то в этот момент посмотреть что либо на реплике не удается, так же в момент "проигрывания" утерянных записей за время, начинает копиться новый лаг - текущий. То есть реплика восстанавливает данные за время выключения, и так же лаг появляется на текущие данные - это нормальное поведение репликации или диск не вывозит ?
Читать полностью…
Я правильно понимаю, что в момент запуска команды BACKUP DATABASE ClickHouse фиксирует состав данных которые будет бэкапировать и любые изменения этих данных в процессе выполнения не войдут в бэкап?
Читать полностью…
"Проблема такая: у меня повреждён cold storage на новом кластере, но данные ещё есть на старом. Как я могу перенести или скопировать их со старого кластера на новый? Объём cold storage — примерно 8 ТБ.
Читать полностью…
Как можно скопировать данные из одного клика в другой?
Читать полностью…
Это не баг, это фича, так и задумано. Все матвью должны быть корректными, в противном случае не сработает даже головная. Сделано для поддержания согласованности данных.
Читать полностью…
Посмотрите на количество Kafka таблиц и сравните с количеством ядер. 1 консьюмер на 1 ядро. У меня такое было, когда ядер было 16, а kafka-таблиц - 35.
Тут в чате обсуждали как-то этот вопрос - /channel/clickhouse_ru/417141
подскажите пожалуйста, у нас мемори лик в КХ и приходится часто ребутать поды чтобы сбросить память, версия КХ 24.11.1, используем таблицы с кафка енджин и матвьюшки, в чем может быть причина такого поведения?
Читать полностью…
разобрался, нужно было указывать https://ams3.digitaloceanspeces.com/BUCKET/DIR/
Читать полностью…
господа, а кто-то сталкивался с такой штукой когда при
backup database default to S3('https://.....ams3.digitaloceanspaces.com/backups/', 'KEY','SECRET') ;
2025.06.03 09:22:10.250818 [ 18525 ] {} <Error> TCPHandler: Code: 499. DB::Exception. (S3_ERROR), Stack trace (when copying this message, always include the lines below):
0. DB::Exception::Exception(DB::Exception::MessageMasked&&, int, bool) @ 0x000000000dd109bb
1. DB::S3Exception::S3Exception(String const&, Aws::S3::S3Errors) @ 0x000000001129a94d
2. DB::(anonymous namespace)::listObjects(DB::S3::Client&, DB::S3::URI const&, String const&) @ 0x0000000011803d95
3. DB::BackupWriterS3::fileExists(String const&) @ 0x0000000011808084
4. DB::BackupImpl::open() @ 0x0000000011752ca7
5. DB::BackupImpl::BackupImpl(DB::BackupFactory::CreateParams, DB::BackupImpl::ArchiveParams const&, std::shared_ptr<DB::IBackupWriter>) @ 0x0000000011753e12
Привет! У меня коллега попытался вопрос задать с многабукаф, но его автоматом забанило. Попробую сам:
пытаемся подкрутить аппку на pyspark 3.5.0, которая работала со старыми CH драйверами по JDBC (com.github.housepower:clickhouse-native-jdbc-shaded:2.7.1) , встраиваю ей по гайду новые + каталог (clickhouse.spark:clickhouse-spark-runtime-3.5_2.12:0.8.0).
да вот проблема - при записи "плюётся" ошибкой:
Читать полностью…
py4j.protocol.Py4JJavaError: An error occurred while calling o1242.append.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 4 in stage 25.0 failed 4 times, most recent failure: Lost task 4.3 in stage 25.0 (TID 86) (10.216.46.212 executor 8): com.clickhouse.spark.exception.CHServerException: [HTTP]user@host:8123}/db [210] Broken pipe
at com.clickhouse.spark.client.NodeClient.syncInsert(NodeClient.scala:150)
Ну вот я тоже думаю об этом,
Тогда буду генерить наборы данных, чтобы проверить именно не совпадение
добрый день
обхожу where в TTL
через multiif
TTL toStartOfDay(t1UTC) + multiIf(
column_a='111' and column_b = '11', INTERVAL 3 MONTH,
column_a = '222' and column_b = '22', INTERVAL 1 YEAR,
column_a in ('333', '444', '555', '666') and column_b = '33' and column_c not in ('x', 'y'), INTERVAL 10 YEAR)
ПО моему опыту - нормальное. Сначала реплика разгребает старый лаг, и в это время копится новый. Потом разгребет и его
Читать полностью…
{uuid} это не автогенерация, это ид таблицы, ясно почему оно одинаковое
Читать полностью…
{uuid} резолвится по другому... и нигде не определен
{shard} вообще в <macros> потому что определен... и там опять нет никаких шардов
потому что тупо на каждом сервере читается и резолвится в рантайме...