clickhouse_ru | Неотсортированное

Telegram-канал clickhouse_ru - ClickHouse не тормозит

11238

Обсуждаем ClickHouse

Подписаться на канал

ClickHouse не тормозит

а смысл дублировать. если в паркетах тоже самое будет рядом, и сливается в s3 раз в сутки/
делать реплики ещё на 80 тб. при условии, что данные сливаем в s3 - дорого выходит

Читать полностью…

ClickHouse не тормозит

зачем? у нас нет репликации. у нас только шарды

Читать полностью…

ClickHouse не тормозит

Я вот опытным путем выяснил что на 25.4.13 еще работает, а на 25.5.0 уже нет. Причем если not empty() заменить на arrayExists(x -> true, tags) то все работает. Как будто похоже на баг.

Читать полностью…

ClickHouse не тормозит

v24.8.9.95-lts.md:* Backported in [#73225](https://github.com/ClickHouse/ClickHouse/issues/73225): fix finalize/cancel write buffers. [#72386](https://github.com/ClickHouse/ClickHouse/pull/72386) ([Sema Checherinda](https://github.com/CheSema)).

Читать полностью…

ClickHouse не тормозит

если с 24.8.14.39 все тоже самое, то это баг в коде этой Octonica библиотеки
что-то знакомое, попробую найти

Читать полностью…

ClickHouse не тормозит

а на маке разве работает network_mode: host ?

вообще это довольно странно использовать network_mode и 3 контейнера. Зачем это?

намного провославнее использовать networks:

https://pastila.nl/?00d19d08/0cae4c6f12f732a8d6882de294871001#wjK/I3B6UTxj1kwBl4Jh9A==

Читать полностью…

ClickHouse не тормозит

это баг из-за того что включили по умолчанию в кх 24.8 оптимизацию optimize_functions_to_subcolumns

https://github.com/ClickHouse/ClickHouse/issues/85633

Читать полностью…

ClickHouse не тормозит

а этот конфиг точно отдельный файл в users.d ?
или вы правили users.xml в корне 7

Читать полностью…

ClickHouse не тормозит

да, сорян, кинуть забыл. Там файл default-user

<clickhouse>
<!-- Docs: <https://clickhouse.com/docs/operations/settings/settings_users/&gt; -->
<users>
<!-- Remove default user -->
<default remove="remove">
</default>

<admin>
<profile>default</profile>
<networks>
<ip>::/0</ip>
</networks>
<password><![CDATA[qwerty]]></password>
<quota>default</quota>
<access_management>0</access_management>
</admin>
</users>
</clickhouse>

Читать полностью…

ClickHouse не тормозит

А в users.d что то лежит ?

Читать полностью…

ClickHouse не тормозит

такая же фигня. Каждый запуск клика - танец с бубном :)))))))))) что б у него все хорошо было

Читать полностью…

ClickHouse не тормозит

Всем привет, не могу побороть ошибку


Code: 180. DB::Exception: Received from localhost:9000. DB::Exception: There is no settings profile `default` in `user directories`: , while trying to set settings profile default. (THERE_IS_NO_PROFILE)


Соответственно конфиг

<clickhouse>
<users>
<default>
<networks>
<ip>::1</ip>
<ip>127.0.0.1</ip>
</networks>
<password></password>
<profile>default</profile>
<access_management>1</access_management>
<named_collection_control>1</named_collection_control>
<show_named_collections>1</show_named_collections>
<show_named_collections_secrets>1</show_named_collections_secrets>
<readonly>1</readonly>
</default>
</users>
</clickhouse>

Читать полностью…

ClickHouse не тормозит

Добрый день. Столкнулся с проблемой по использованию ALIAS. После обновления с версии 24.4.4.113 до версии 25.6.7.23. Вот фидл с примером который работает на версии старой и не работает на новой без параметра asterisk_include_alias_columns = 1 - https://fiddle.clickhouse.com/d161b05b-3730-42ac-ac7d-225fc5607394. Подскажите это я что-то делаю не так или это поломали что-то?

Читать полностью…

ClickHouse не тормозит

ну и размер пула поменяйте да, как тут Денис сказал
/channel/clickhouse_ru/428295

Читать полностью…

ClickHouse не тормозит

подскажите пожалуйста, в конфиге, в секции <remote_servers> пароль пользователя можно только в открытом виде указывать?

Читать полностью…

ClickHouse не тормозит

У вас шаржированный, но нереплицированный клик?

Читать полностью…

ClickHouse не тормозит

Лучше сразу использовать ReplicatedReplacingMergeTree.

Читать полностью…

ClickHouse не тормозит

а есть дока для "самых маленьких" по cityhash64, intHash64
и как правильно писать в staging таблицы на 6 шардов равномерно. а потом переливать в обычные ReplacingMergeTree. поверх которых дистрибьютед таблица?
сейчас по старинке разрабы пишут в дистрибьют. это адище. очередь иногда в пол тб получается

Читать полностью…

ClickHouse не тормозит

В 24.8.14.39 версии какой то фикс накатили?

Читать полностью…

ClickHouse не тормозит

Бывает 0xE4, 0xE3, 0xDB, 0xF1, 0xDD. Их замечал.

Читать полностью…

ClickHouse не тормозит

всегда 0x30 ? или и другие числа тоже?

проверьте на 24.8.14.39

Читать полностью…

ClickHouse не тормозит

Благодарю, создал такой конфиг и все четко стало


<yandex>
<!-- Profiles of settings -->
<profiles>
<!-- Default profile -->
<default>
<max_memory_usage>1073741824</max_memory_usage> <!-- 1 GiB -->
<max_threads>4</max_threads>
</default>

<!-- Profile that allows only read queries -->
<readonly>
<readonly>1</readonly>
</readonly>
</profiles>

<!-- Users -->
<users>
<default>
<no_password/> <!-- or <password>...</password> if you want -->
<networks>
<ip>::1</ip>
<ip>127.0.0.1</ip>
</networks>
<profile>default</profile>
<quota>default</quota>

<!-- Privileges -->
<access_management>1</access_management>
<named_collection_control>1</named_collection_control>
<show_named_collections>1</show_named_collections>
<show_named_collections_secrets>1</show_named_collections_secrets>
<readonly>0</readonly> <!-- 0 here means not read-only -->
</default>
</users>
</yandex>

Читать полностью…

ClickHouse не тормозит

Вот это исправь на ipv4

Читать полностью…

ClickHouse не тормозит

Вам нужен clickhouse/profiles/default.

Что-то такое
==
<clickhouse>
<!-- See also the files in users.d directory where the settings can be overridden. -->

<!-- Profiles of settings. -->
<profiles>
<!-- Default settings. -->
<default>
<query_profiler_cpu_time_period_ns>0</query_profiler_cpu_time_period_ns>
<query_profiler_real_time_period_ns>0</query_profiler_real_time_period_ns>
</default>

<!-- Profile that allows only read queries. -->
<readonly>
<readonly>1</readonly>
</readonly>
</profiles>

==

Читать полностью…

ClickHouse не тормозит

я спрашивал у нейронки, отвечали, что юзер для 9000 (tcp) и для 8123 (http) разные. Попробуй подключится этими же кредами, только по порту 8123 (если ты не менял дефолтные порты)

Читать полностью…

ClickHouse не тормозит

Подскажите пж, как настроить работу клика в контейнере и чтобы подключаться к нему можно было по tcp. Я так понял вот эти креды, которые указываются в композе, они только для http. Если пытаться подключиться по порту 9000, то пишет, что неверные креды

Читать полностью…

ClickHouse не тормозит

Ребята, получаю ошибку стандартную в запросе:

memory limit (for query) exceeded would use.

Но почему запрос иногда проходит успешно, а иногда падает? Смотрю в system.query_log запрос с идентичным query_hash может выдавать совершенно разные значения memory_usage (от 1 до 8 гигов). Количество записей в таблице за заданные фильтрами даты неизменно. Как будто при условии неизменности данных память на выполнение запроса не должна так сильно меняться

Заметил, что нагрузка на БД ВРОДЕ КАК влияет)

upd: оказывается query_hash может быть одинаковым на запросы, которые отличаются параметрами.....

p.s. кликхаус 24.3.2.23

Читать полностью…

ClickHouse не тормозит

network_mode: host уже указан

Я уже поднимал похожий кластер в docker-compose на 8 нод, но физического и удалённого доступа увы нет. Там архитектура правда была amd64.

Читать полностью…

ClickHouse не тормозит

сначала настройки keeper покажите

grep -A 20 zookeeper -r /etc/clickhouse-server/

Читать полностью…

ClickHouse не тормозит

Выборка пустая.
Версию как глянуть можно?

Читать полностью…
Подписаться на канал