11238
Обсуждаем ClickHouse
Да, это понятно. Почему не сработал max_execution_time?
Читать полностью…
Здравствуйте.
Начали борьбу с недобросовестными пользователями и выставили на уровне профиля max_execution_time = 1200 (20 минут) с запасом. После чего выявлен запрос на 22 минуты с такими настройками (из query_log)
{max_threads=10, receive_timeout=600, send_timeout=300000000, hedged_connection_timeout_ms=300, use_uncompressed_cache=1, distributed_foreground_insert=1, optimize_move_to_prewhere=0, alter_sync=2, log_queries=1, count_distinct_implementation=uniq, http_send_timeout=600, http_receive_timeout=600, joined_subquery_requires_alias=0, max_execution_time=1200, readonly=2, max_memory_usage=25000000000, allow_ddl=0, cancel_http_readonly_queries_on_client_close=1, materialize_ttl_after_modify=0, local_filesystem_read_method=pread}
понял, спасибо, а их можно как-то почистить вообще? чтоб хотя бы новые проходили?
Читать полностью…
в ошибке написано patch parts stream:
похоже что у вас есть неоптимизированные старые patch parts и с ними проблема, т.е. это в гитхаб, это экспериментальное все
блин ну ведь я вообще не об этом говорил, не про LW https://clickhouse.com/blog/updates-in-clickhouse-2-sql-style-updates
Читать полностью…
если это новый patch lightweight update , то заводите в гитхабе ишу.
Читать полностью…
а append только добавляет данные? получается могут быть дубли?
Читать полностью…
Всем привет, а никто не встречал такую ошибку мутаций?
2025.10.13 10:43:13.894395 [ 715 ] {} <Error> 9ae6e511-946c-4091-b84b-01861f809d99::20251010_7561_10628_5_12893 (MutateFromLogEntryTask): virtual bool DB::ReplicatedMergeMutateTaskBase::executeStep(): Code: 49. DB::Exception: Block structure mismatch in patch parts stream: different names of columns:
reason String String(size = 0)
score Float64 Float64(size = 0): While executing MergeTreeSequentialSource. (LOGICAL_ERROR), Stack trace (when copying this message, always include the lines below):
про какие мат. вью речь? refreshable ? обычные мат.вью только добавляют данные из инсерта, они не пересчитывают и не перезаписывают.
Читать полностью…
Clickhouse-keeper всегда был встроен в clickhouse. Это один бинарник, который запускается по разному.
Вам clickhouse-keeper = zookeeper - то есть вам так же требуется его развернуть на отдельных машинах, чтобы они не боролись за ресурсы диска.
Добрый день. Недавно сменил место работы и на новом месте требуется мигрировать кластер clickhouse на новые ВМ. Выдали инструкцию для миграции, довольно подробную на первый взгляд.
Вопрос возник почти сразу, так как мигрируем с версии clickhouse 23 на версию 25. В инструкции нужно устанавливать отдельно clickhouse keeper и отдельно для него и самого кликхауса прописывать в конфиге, в теге <logger> путь к отдельно созданной директории, но в 25 версии keeper встроен в clickhouse и насколько я понял, если прописать в <logger> путь для keeper логов в отдельную директорию ,это работать не будет, так как логи будут сохраняться в обычный путь для логов самого clickhouse-server. Если я все же пропишу путь для логов keeper в конфиге clickhouse, не нарушит ли это работу сохранения логов. Я не админ БД и коллеги, которые писали инструкцию давно уже не работают, ищу, где бы найти людей, которые могут подсказать подводные камни в этом вопросе. Спасибо заранее и извиняюсь за длинный сумбур.
Здравствуйте. А как вообще оператор от altinity, есть кто его использует в бою? Я поменял размер pvc для keeper и под с оператором упал и орёт ошибками, под с кипером даже не пытается подняться. Шёл просто по доке с примерами. Или лучше не париться и разворачивать на ВМ?
Читать полностью…
Всем привет. Когда создаешь кластер кликхауса через altinity-operator, в кубере автоматически создается сервис с типом load-balancer, который создает в AWS полноценный LB.
Однако в нашем случае нам он не нужен. Как можно настроить конфиг кластера, чтобы оператор его не создавал?
Так я про них, возможно неправильно сократил, lightweight updates, да, у нас обычные сейчас, ALTER table ... UPDATE
Читать полностью…
ну тут такое дело, мы попробовали LW, он не подошел чутка, поехали обратно на ALTER, и сейчас в ALTER мутациях такое
Читать полностью…
нет. Да и зукипер тут вообще ни при чем.
Я до сих пор использую зукипер. В некоторых сетапах невозможно использовать кх-кипер, потому что у него все плохо с перформансом в этих сетапах и таблицы постоянно отваливаются в RO.
В других сетапах я использую кипер, и есть сетапы где кипер и кх на одной ноде и на одном диске.
Т.е. те, и я в том числе, которые использовали настоящий зукипер для кликзауса до появления кликхаус кипера имели несколько неоптимальную конфигурацию?
Читать полностью…
Речь про то что исходный код keeper-а был и есть часть кода КХ.
И с самого начала можно было использовать бинарник КХ для всего.
Был период когда код кипера собирали отдельно и был пакет с этим маленьким бинарником, затем это убрали.
Сейчас если хочется поставить кипер и кх на один сервер, надо ставить пакеты кх и самому настраивать конфиги кипера и systemd сервис
Про использование кипера и кх вместе или отдельно я ничего не говорил, потому что вопрос был про апгрейд кипера.
Точно? А то у меня явные вспоминания что зукипер отдельно разворачивали и у него были проблемы когда было слишком много партов - очень долго снепшот скидывал на диск. Сейчас то да, намного проще
Читать полностью…
Всем привет! помогите, пожалуйста, разобраться, можно ли настроить мат вью так, чтобы не все данные перезаписывались при обновлении, а только данные за последние например 2 месяца перезаписывались, а за более ранний период лежали в таблице статично
Читать полностью…
Просто на старых машинах clickhouse keeper
устанавливали отдельно и у него есть свой конфиг keeper_config.xml и когда я попытался установить его на новой машине ( после установки clickhouse-server 25 версии ), система уведомила меня, что keeper входит в пакет clickhouse server и предложила переустановить сам сервер либо отказаться от ненужной установки, это то меня и смутило, так как отдельной директории с файлов конфига keeper_config.xml я не нашел и поэтому запутался, что же мне тогда править для сохранения логов keeper по инструкции в отдельную директорию, например, /u01/keeper/log .
Правильно ли я понимаю, что если я изменю в конфиге clickhouse-server config.xml тег <logger> для ветки keeper ,то логи будут сохраняться по заданному мной пути /u01/keeper/log или эти изменения будут игнорироваться?
Нет. Ничего по сути не изменилось. Просто deb пакет один. Кипер всегда был частью кх. Это один бинарник
Читать полностью…