11016
Обсуждаем ClickHouse
https://clickhouse.com/docs/en/operations/settings/query-complexity
Читать полностью…
варя тут. я вот жду когда приедет железо и всё на железо уедет
Читать полностью…
ну смотрите что там с tcp.rst в eBPF тогда
Читать полностью…
нет. клик сейчас на вм, ничего нет. в одной подсети
Читать полностью…
User-Agent: Go-, message in bytes: 0x48 0x45 0x41 0x44 0x20 0x2f 0x20 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x31 0xd 0xa 0x48 0x6f 0x73 0x74 0x3a 0x20 0x6c 0x6f 0x63 0x61 0x6c 0x68 0x6f 0x73 0x74 0x3a 0x39 0x32 0x33 0x34 0xd 0xa 0x55 0x73 0x65 0x72 0x2d 0x41 0x67 0x65 0x6e 0x74 0x3a 0x20 0x47 0x6f 0x2d : received from socket ::ffff:127.0.0.1:12998
2025.05.12 13:52:10.463896 [ 608445 ] {} <Warning> ConnectionPoolWithFailover: Connection failed at try №1, reason: Code: 210. DB::NetException: Connection refused (10.177.118:9440, 10.177.118.24, local address: 10.177.118.25:41410). (NETWORK_ERROR) (version 25.3.2.39 (official build))
2025.05.12 13:52:10.464912 [ 608445 ] {} <Warning> ConnectionPoolWithFailover: Connection failed at try №2, reason: Code: 210. DB::NetException: Connection refused (10.177.118:9440, 10.177.118.24, local address: 10.177.118.25:41410). (NETWORK_ERROR) (version 25.3.2.39 (official build))
2025.05.12 13:52:10.465911 [ 608445 ] {} <Warning> ConnectionPoolWithFailover: Connection failed at try №3, reason: Code: 210. DB::NetException: Connection refused (10.177.118:9440, 10.177.118.24, local address: 10.177.118.25:41410). (NETWORK_ERROR) (version 25.3.2.39 (official build))
по статусу шард живой, записи в него идут в сервер логе
Читать полностью…
да. ставили до меня, пока вот жду железо чтобы раздельно сделать
Читать полностью…
причем тут raft
вы шарите стектрейс от Distributed таблицы когда она пытается записать клиентский INSERT и к ноде другой соедениться не может
у вас там чтоли кипер вместе к clickhouse-server одним бинарем запущен?
только смотреть какие именно запросы сдеградировали по среднему/максимальному времени выполнения и править их. Особенно если есть проекции на таблицах - планировщик часто меняется и не угадывает куда идти в проекцию или в ПК. Иногда просто стадия планнинга может десятки секунд занимать. В любому случае у вас скорее всего больше данных читаться стало с диска
Читать полностью…
прув здесь https://github.com/clickhouse/clickhouse-java/issues/1584
Читать полностью…
код выхода 11 судя по всему, а это SIGSEGV, что ещё страннее
Читать полностью…
пользователей и роли создавали через sql (create user и create role), пользователей привязывали к ролям
Читать полностью…
Так же после обновления начали получать такие ошибки:
Code: 492. DB::Exception: ID(884e49aa-518d-82b8-1026-08ee65168eb2) not found in user directories: While executing Remote. (ACCESS_ENTITY_NOT_FOUND) (version 25.3.3.42 (official build))
https://kb.altinity.com/engines/mergetree-table-engine-family/pick-keys/
Читать полностью…
всем привет!
подскажите пожалуйста что почитать по дизайну CH?
пытаюсь понять как лучше реализовать хранение кликов с сопряженной статистикой и какие best practiсe по количеству колонок в complex key как primary key или order by
istio или еще что нибудь есть в сети между clickhouse нодами?
Читать полностью…
ну там где то выше по логу... 8.bin поищите, может будет более понятная ошибка...
Читать полностью…
в ноде экспортер ошибок нет, ретрансмитов 4 шт за час и всё
Читать полностью…
ну короче ошибка к raft отношения не имеет никакого...
что у вас с сетью?
экспериментальный аналайзер отключать уже смысла нет
Читать полностью…
самое интересное у меня их нет.... то есть tcp дамп не видит этого обращения. оно как будто выдуманное
а теперь рафт опять скрутило и в результате
: While sending /var/lib/clickhouse/store/75a/75a8db55-ac73-4179-8fda-d6dac7fd50d1/shard2_replica1/8.bin. (ALL_CONNECTION_TRIES_FAILED), Stack trace (when copying this message, always include the lines below):Читать полностью…
0. DB::Exception::Exception(DB::Exception::MessageMasked&&, int, bool) @ 0x000000000f48dcdb
1. DB::NetException::NetException<String&>(int, FormatStringHelperImpl<std::type_identity<String&>::type>, String&) @ 0x000000001425c044
2. PoolWithFailoverBase<DB::IConnectionPool>::getMany(unsigned long, unsigned long, unsigned long, unsigned long, bool, bool, std::function<PoolWithFailoverBase<DB::IConnectionPool>::TryResult (std::shared_ptr<DB::IConnectionPool> const&, String&)> const&, std::function<Priority (unsigned long)> const&) @ 0x0000000014b123be
3. DB::ConnectionPoolWithFailover::getManyImpl(DB::Settings const&, DB::PoolMode, std::function<PoolWithFailoverBase<DB::IConnectionPool>::TryResult (std::shared_ptr<DB::IConnectionPool> const&, String&)> const&, std::optional<bool>, std::function<Priority (unsigned long)>, bool) @ 0x0000000014b1099c
4. DB::ConnectionPoolWithFailover::getManyCheckedForInsert(DB::ConnectionTimeouts const&, DB::Settings const&, DB::PoolMode, DB::QualifiedTableName const&) @ 0x0000000014b10daf
5. DB::DistributedAsyncInsertDirectoryQueue::processFile(String&, DB::SettingsChanges const&) @ 0x000000001440ca7b
6. DB::DistributedAsyncInsertDirectoryQueue::processFiles(bool, DB::SettingsChanges const&) @ 0x0000000014406295
7. void std::__function::__policy_invoker<void ()>::__call_impl[abi:ne190107]<std::__function::__default_alloc_func<DB::DistributedAsyncInsertDirectoryQueue::DistributedAsyncInsertDirectoryQueue(DB::StorageDistributed&, std::shared_ptr<DB::IDisk> const&, String const&, std::shared_ptr<DB::ConnectionPoolWithFailover>, DB::ActionBlocker&, DB::BackgroundSchedulePool&)::$_0, void ()>>(std::__function::__policy_storage const*) @ 0x0000000014410999
8. DB::BackgroundSchedulePool::threadFunction() @ 0x0000000012537ec3
9. void std::__function::__policy_invoker<void ()>::__call_impl[abi:ne190107]<std::__function::__default_alloc_func<ThreadFromGlobalPoolImpl<false, true>::ThreadFromGlobalPoolImpl<DB::BackgroundSchedulePool::BackgroundSchedulePool(unsigned long, StrongTypedef<unsigned long, CurrentMetrics::MetricTag>, StrongTypedef<unsigned long, CurrentMetrics::MetricTag>, char const*)::$_1>(DB::BackgroundSchedulePool::BackgroundSchedulePool(unsigned long, StrongTypedef<unsigned long, CurrentMetrics::MetricTag>, StrongTypedef<unsigned long, CurrentMetrics::MetricTag>, char const*)::$_1&&)::'lambda'(), void ()>>(std::__function::__policy_storage const*) @ 0x00000000125394a7
10. ThreadPoolImpl<std::thread>::ThreadFromThreadPool::worker() @ 0x000000000f5c114f
11. void* std::__thread_proxy[abi:ne190107]<std::tuple<std::unique_ptr<std::__thread_struct, std::default_delete<std::__thread_struct>>, void (ThreadPoolImpl<std::thread>::ThreadFromThreadPool::*)(), ThreadPoolImpl<std::thread>::ThreadFromThreadPool*>>(void*) @ 0x000000000f5c841a
12. ? @ 0x00007a0433a9caa4
13. ? @ 0x00007a0433b29c3c
(version 25.3.2.39 (official build))
Всем привет.
После обновления clickhouse 23.8.11.28 -> 25.3
- Стало заметно больше потребляться памяти и начали падать запросы, из-за этого.
- Пробовал отключать эксперементальный анализатор (allow_experimental_analyzer)
- Пробовал менять настройки max_bytes_before_external_group_by или вообще убрать, но как только начинается работа на диске, все сильно тормозит, раньше было шустрее
Сталкивался кто-нибудь с подобным? Есть идеи куда копать?
clickhouse keeper сам по себе внезапно упал и не поднимается, падая вот с такой ошибкой - https://pastebin.com/snFSh0aJ
какие у меня варианты есть ? 🤔
Ну как сказать. Если творчески применить .....
https://kb.altinity.com/altinity-kb-queries-and-syntax/projections-examples/#emulation-of-an-inverted-index-using-orderby-projection
Прокеция - это ДРУГАЯ таблица. Она не имеет почти никакого отношения к основной, и там ДРУГАЯ ENGINE. Не ReplacingMergeTree
Читать полностью…
prewhere - final - where - group by - having - order by - limit
колонка, по которой фильтрую не входит в ключ схлопывания