11238
Обсуждаем ClickHouse
Привет. На КХ-инстансе был создан локальный бекап через clickhouse-backup, затем, при попытке удаления бекапа, по ошибке (вместо clickhouse-backup delete`) была вручную удалена директория бекапа из директории `backup, и теперь имеем ситуацию, когда где-то в файлах данных лежат, как я понимаю, файл зафриженных партишенов, но вручную "отделять котлеты от мух" выглядит задачей нетривиальной. Ну и clickhouse-backup list теперь пуст 🙂
Подскажите, пожалуйста, правильно ли я понимаю, что clickhouse-backup clean - это как раз про мой случай? И оно поможет удалить даже вот такие "поврежденные" бекапы?
В system.query_log запросы к удаленным кластерам шифруются и отображаются как remote(XXXXXX), скрывая потенциальные логины и пароли. Нет ли возможности как-то достать конкретные таблицы, к которым делается запрос внутри remote?
Читать полностью…
Да, это понятно. Почему не сработал max_execution_time?
Читать полностью…
Здравствуйте.
Начали борьбу с недобросовестными пользователями и выставили на уровне профиля max_execution_time = 1200 (20 минут) с запасом. После чего выявлен запрос на 22 минуты с такими настройками (из query_log)
{max_threads=10, receive_timeout=600, send_timeout=300000000, hedged_connection_timeout_ms=300, use_uncompressed_cache=1, distributed_foreground_insert=1, optimize_move_to_prewhere=0, alter_sync=2, log_queries=1, count_distinct_implementation=uniq, http_send_timeout=600, http_receive_timeout=600, joined_subquery_requires_alias=0, max_execution_time=1200, readonly=2, max_memory_usage=25000000000, allow_ddl=0, cancel_http_readonly_queries_on_client_close=1, materialize_ttl_after_modify=0, local_filesystem_read_method=pread}
понял, спасибо, а их можно как-то почистить вообще? чтоб хотя бы новые проходили?
Читать полностью…
в ошибке написано patch parts stream:
похоже что у вас есть неоптимизированные старые patch parts и с ними проблема, т.е. это в гитхаб, это экспериментальное все
блин ну ведь я вообще не об этом говорил, не про LW https://clickhouse.com/blog/updates-in-clickhouse-2-sql-style-updates
Читать полностью…
если это новый patch lightweight update , то заводите в гитхабе ишу.
Читать полностью…
а append только добавляет данные? получается могут быть дубли?
Читать полностью…
Всем привет, а никто не встречал такую ошибку мутаций?
2025.10.13 10:43:13.894395 [ 715 ] {} <Error> 9ae6e511-946c-4091-b84b-01861f809d99::20251010_7561_10628_5_12893 (MutateFromLogEntryTask): virtual bool DB::ReplicatedMergeMutateTaskBase::executeStep(): Code: 49. DB::Exception: Block structure mismatch in patch parts stream: different names of columns:
reason String String(size = 0)
score Float64 Float64(size = 0): While executing MergeTreeSequentialSource. (LOGICAL_ERROR), Stack trace (when copying this message, always include the lines below):
про какие мат. вью речь? refreshable ? обычные мат.вью только добавляют данные из инсерта, они не пересчитывают и не перезаписывают.
Читать полностью…
Вечер!
Code: 376. DB::Exception: Cannot parse uuid : Cannot parse UUID from FixedString(16): while converting column `
Это я пытаюсь прочитать айсберг (поле uuid). Подскажите пожалуйста , а есть ишью, когда в кх добавится поддержка uuid ?
ClickHouse Iceberg/Parquet reader не умеет автоматически парсить binary(16) в UUID?
from type Nullable(FixedString(16)) to type Nullable(UUID)
он не всегда работает, можно по запросу посмотреть логи стектрейсов чтобы понять где именно запрос чем занимался.
Читать полностью…
Здравствуйте. А как вообще оператор от altinity, есть кто его использует в бою? Я поменял размер pvc для keeper и под с оператором упал и орёт ошибками, под с кипером даже не пытается подняться. Шёл просто по доке с примерами. Или лучше не париться и разворачивать на ВМ?
Читать полностью…
Всем привет. Когда создаешь кластер кликхауса через altinity-operator, в кубере автоматически создается сервис с типом load-balancer, который создает в AWS полноценный LB.
Однако в нашем случае нам он не нужен. Как можно настроить конфиг кластера, чтобы оператор его не создавал?
Так я про них, возможно неправильно сократил, lightweight updates, да, у нас обычные сейчас, ALTER table ... UPDATE
Читать полностью…
ну тут такое дело, мы попробовали LW, он не подошел чутка, поехали обратно на ALTER, и сейчас в ALTER мутациях такое
Читать полностью…
нет. Да и зукипер тут вообще ни при чем.
Я до сих пор использую зукипер. В некоторых сетапах невозможно использовать кх-кипер, потому что у него все плохо с перформансом в этих сетапах и таблицы постоянно отваливаются в RO.
В других сетапах я использую кипер, и есть сетапы где кипер и кх на одной ноде и на одном диске.
Т.е. те, и я в том числе, которые использовали настоящий зукипер для кликзауса до появления кликхаус кипера имели несколько неоптимальную конфигурацию?
Читать полностью…
Речь про то что исходный код keeper-а был и есть часть кода КХ.
И с самого начала можно было использовать бинарник КХ для всего.
Был период когда код кипера собирали отдельно и был пакет с этим маленьким бинарником, затем это убрали.
Сейчас если хочется поставить кипер и кх на один сервер, надо ставить пакеты кх и самому настраивать конфиги кипера и systemd сервис
Про использование кипера и кх вместе или отдельно я ничего не говорил, потому что вопрос был про апгрейд кипера.
Точно? А то у меня явные вспоминания что зукипер отдельно разворачивали и у него были проблемы когда было слишком много партов - очень долго снепшот скидывал на диск. Сейчас то да, намного проще
Читать полностью…
Всем привет! помогите, пожалуйста, разобраться, можно ли настроить мат вью так, чтобы не все данные перезаписывались при обновлении, а только данные за последние например 2 месяца перезаписывались, а за более ранний период лежали в таблице статично
Читать полностью…
Просто на старых машинах clickhouse keeper
устанавливали отдельно и у него есть свой конфиг keeper_config.xml и когда я попытался установить его на новой машине ( после установки clickhouse-server 25 версии ), система уведомила меня, что keeper входит в пакет clickhouse server и предложила переустановить сам сервер либо отказаться от ненужной установки, это то меня и смутило, так как отдельной директории с файлов конфига keeper_config.xml я не нашел и поэтому запутался, что же мне тогда править для сохранения логов keeper по инструкции в отдельную директорию, например, /u01/keeper/log .
Правильно ли я понимаю, что если я изменю в конфиге clickhouse-server config.xml тег <logger> для ветки keeper ,то логи будут сохраняться по заданному мной пути /u01/keeper/log или эти изменения будут игнорироваться?