11238
Обсуждаем ClickHouse
Это же не поможет, у меня не пробельные символы, мне надо как-то эффективно сделать чтобы \n и \t не мешали
Читать полностью…
Всем привет. Подскажите как можно лучше сделать парсинг json-строки, в которой не экранированы символы переводы строки и табуляции?
Не придумал ничего лучше, чем делать replaceRegexpAll, но не хотелось бы так оставлять, хочется избежать лишних трат CPU на парсинг. Входная строка будет длиннее гораздо, не как в этом примере.
https://fiddle.clickhouse.com/4c6e8841-6782-4a15-b6bc-1c67cac4336f
Спасибо большое. Похоже взлетит. Сейчас гоняю на тестовом окружении - все ок. Всех благ!
Читать полностью…
изменить параметр <path> в конфигурационном файле /etc/clickhouse-server/config.xml или файл в директории config.d
<path>/opt/clickhouse/</path>
если данных нет то и переносить ничего не надо
Вечер!
Code: 376. DB::Exception: Cannot parse uuid : Cannot parse UUID from FixedString(16): while converting column `
Это я пытаюсь прочитать айсберг (поле uuid). Подскажите пожалуйста , а есть ишью, когда в кх добавится поддержка uuid ?
ClickHouse Iceberg/Parquet reader не умеет автоматически парсить binary(16) в UUID?
from type Nullable(FixedString(16)) to type Nullable(UUID)
он не всегда работает, можно по запросу посмотреть логи стектрейсов чтобы понять где именно запрос чем занимался.
Читать полностью…
Здравствуйте. А как вообще оператор от altinity, есть кто его использует в бою? Я поменял размер pvc для keeper и под с оператором упал и орёт ошибками, под с кипером даже не пытается подняться. Шёл просто по доке с примерами. Или лучше не париться и разворачивать на ВМ?
Читать полностью…
Всем привет. Когда создаешь кластер кликхауса через altinity-operator, в кубере автоматически создается сервис с типом load-balancer, который создает в AWS полноценный LB.
Однако в нашем случае нам он не нужен. Как можно настроить конфиг кластера, чтобы оператор его не создавал?
Так я про них, возможно неправильно сократил, lightweight updates, да, у нас обычные сейчас, ALTER table ... UPDATE
Читать полностью…
ну тут такое дело, мы попробовали LW, он не подошел чутка, поехали обратно на ALTER, и сейчас в ALTER мутациях такое
Читать полностью…
нет. Да и зукипер тут вообще ни при чем.
Я до сих пор использую зукипер. В некоторых сетапах невозможно использовать кх-кипер, потому что у него все плохо с перформансом в этих сетапах и таблицы постоянно отваливаются в RO.
В других сетапах я использую кипер, и есть сетапы где кипер и кх на одной ноде и на одном диске.
trim(BOTH)
https://clickhouse.com/docs/sql-reference/functions/string-functions#trimboth
Можно объявить storage_policy с именем default, с диском который вам дали, остальное оставить на дефолтах. Метаданные будут по привычному пути /var/lib/clickhouse, но они весят копье. Данные будут на вашем диске. Это удобно, если вы хотите перевытянуть например реплику через флажок force_restore_data, или перевытянуть данные одного диска, чтобы не пересоздавать таблицы. Ну и в принципе в много-дисковых сетапах, если вдруг вам ещё дадут диск плюсом вместо расширения текущего.
Если всё таки будет сильно засирать корень какими то external data или другой времянкой, можно ещё докунуть в конфиг <tmp_policy>default</tmp_policy> вместо <tmp_path>.
Я сделал policies, так всё родное в /var/lib/clickhouse, а нужная база на нужном диске
/etc/clickhouse-server/config.d/storage.xml
<clickhouse>
<storage_configuration>
<disks>
<netflow>
<path>/netflow/</path>
</netflow>
</disks>
<policies>
<netflow>
<volumes>
<netflow>
<disk>netflow</disk>
</netflow>
</volumes>
</netflow>
</policies>
</storage_configuration>
</clickhouse>
Это я думал, но там уже есть что-то после запуска клика. Не упадет ничего?
Читать полностью…
Привет. На КХ-инстансе был создан локальный бекап через clickhouse-backup, затем, при попытке удаления бекапа, по ошибке (вместо clickhouse-backup delete`) была вручную удалена директория бекапа из директории `backup, и теперь имеем ситуацию, когда где-то в файлах данных лежат, как я понимаю, файл зафриженных партишенов, но вручную "отделять котлеты от мух" выглядит задачей нетривиальной. Ну и clickhouse-backup list теперь пуст 🙂
Подскажите, пожалуйста, правильно ли я понимаю, что clickhouse-backup clean - это как раз про мой случай? И оно поможет удалить даже вот такие "поврежденные" бекапы?
В system.query_log запросы к удаленным кластерам шифруются и отображаются как remote(XXXXXX), скрывая потенциальные логины и пароли. Нет ли возможности как-то достать конкретные таблицы, к которым делается запрос внутри remote?
Читать полностью…
Да, это понятно. Почему не сработал max_execution_time?
Читать полностью…
Здравствуйте.
Начали борьбу с недобросовестными пользователями и выставили на уровне профиля max_execution_time = 1200 (20 минут) с запасом. После чего выявлен запрос на 22 минуты с такими настройками (из query_log)
{max_threads=10, receive_timeout=600, send_timeout=300000000, hedged_connection_timeout_ms=300, use_uncompressed_cache=1, distributed_foreground_insert=1, optimize_move_to_prewhere=0, alter_sync=2, log_queries=1, count_distinct_implementation=uniq, http_send_timeout=600, http_receive_timeout=600, joined_subquery_requires_alias=0, max_execution_time=1200, readonly=2, max_memory_usage=25000000000, allow_ddl=0, cancel_http_readonly_queries_on_client_close=1, materialize_ttl_after_modify=0, local_filesystem_read_method=pread}
понял, спасибо, а их можно как-то почистить вообще? чтоб хотя бы новые проходили?
Читать полностью…
в ошибке написано patch parts stream:
похоже что у вас есть неоптимизированные старые patch parts и с ними проблема, т.е. это в гитхаб, это экспериментальное все
блин ну ведь я вообще не об этом говорил, не про LW https://clickhouse.com/blog/updates-in-clickhouse-2-sql-style-updates
Читать полностью…
если это новый patch lightweight update , то заводите в гитхабе ишу.
Читать полностью…
а append только добавляет данные? получается могут быть дубли?
Читать полностью…