clickhouse_ru | Unsorted

Telegram-канал clickhouse_ru - ClickHouse не тормозит

11238

Обсуждаем ClickHouse

Subscribe to a channel

ClickHouse не тормозит

Попросил убрать мои данные у gemini с запроса))

Читать полностью…

ClickHouse не тормозит

ага получилось

INSERT INTO ИМЯ БАЗЫ.ИМЯ_ЦЕЛЕВОЙ_ТАБЛИЦЫ_С_ТОЧКОЙ
SELECT * FROM remoteSecure(
'ХОСТ_ИСТОЧНИКА:9440',
'ИМЯ_БАЗЫ_ДАННЫХ_НА_ИСТОЧНИКЕ',
'ИМЯ_ИСХОДНОЙ_ТАБЛИЦЫ',
'ИМЯ_ПОЛЬЗОВАТЕЛЯ_НА_ИСТОЧНИКЕ',
'<ПАРОЛЬ_ПОЛЬЗОВАТЕЛЯ>'

Читать полностью…

ClickHouse не тормозит

я вам сразу написал что делать

Читать полностью…

ClickHouse не тормозит

увеличить socket_timeout в настройках подключения

Читать полностью…

ClickHouse не тормозит

Нет. Только в 25.7+
Лейбла pr-must-backport тупо во все поддерживаемые версии пытается приложить

Читать полностью…

ClickHouse не тормозит

было выше
известные - пофикшены
если вас беспокоит, то есть вот это
https://github.com/ClickHouse/ClickHouse/pull/88668

Читать полностью…

ClickHouse не тормозит

Специфика работы с бд не перестает поражать 😅

Читать полностью…

ClickHouse не тормозит

У Яндекса Yandex object storage есть
И как раз с него можно будет выгружать новые поступления данных в таблицы в csv

Читать полностью…

ClickHouse не тормозит

нативный клиент и есть нативный клиент
обычный бинарник клика можете взять

бобер не подходит вообще
он режет загрузку, у него пагинация

Читать полностью…

ClickHouse не тормозит

Что имеется ввиду под нативным клиентом? 😅 через бобра раза с 5 экспортировал таблицы, но еще не подключал для проверки
Мне все это нужно выводить для аналитики в datalens

Читать полностью…

ClickHouse не тормозит

Используйте нативный backup restore через s3

Читать полностью…

ClickHouse не тормозит

Точно не бобер.
Берёте нативного клиента и insert select remote

Читать полностью…

ClickHouse не тормозит

А чем плох клауд? Или политика?

Читать полностью…

ClickHouse не тормозит

судя по объёму на графике (мегабайты?) относительно общего объёма оперативки - можно забить как будто

Читать полностью…

ClickHouse не тормозит

https://www.linuxatemyram.com/

Читать полностью…

ClickHouse не тормозит

1C флешбеки. мои глаза..

Читать полностью…

ClickHouse не тормозит

клик сервер может сам подключаться к чему попало включая другой клик сервер, см. "table functions", "remote table function".
если таргетный сервер может достучаться до сервера-источника, на нём можно выполнить например select * from remote('src-server.xxx:9000', default.mytable); — таргетный сервер сходит на источник, высосет с него таблицу целиком и отдаст вам. супер. нам вся таблица в клиенте не нужна, а нужна на таргетном сервере, поэтому: insert into default.mytable select * from remote('src-server.xxx:9000', default.mytable).

то, о чём писал ↑

Читать полностью…

ClickHouse не тормозит

Бэкап в s3 яндекса сделать не удалось, не доволен правами
права не дают
бэкапы у них делаются на свои хранилища
доступ к другим можно только при подписке на другой "план" если все правильно понял

Читать полностью…

ClickHouse не тормозит

запрос выполняется более 30 секунд, на 30й секунде в jetbrains вываливается read timeout, в логах кликзауса исключение. запрос 100% рабочий. как это можно исправить?

2025.10.25 13:18:08.019849 [ 114478 ] {0567b730-6dcb-45e4-9443-30fd142184a5} <Debug> executeQuery: Read 988283918 rows, 22.45 GiB in 30.470803 sec., 32433799.594976213 rows/sec., 754.62 MiB/sec.
2025.10.25 13:18:08.019975 [ 114478 ] {0567b730-6dcb-45e4-9443-30fd142184a5} <Debug> DynamicQueryHandler: Done processing query
2025.10.25 13:18:08.019983 [ 114478 ] {0567b730-6dcb-45e4-9443-30fd142184a5} <Debug> MemoryTracker: Query peak memory usage: 1.57 GiB.
2025.10.25 13:18:08.019991 [ 114478 ] {} <Debug> HTTP-Session-e04de25d-4c7a-483a-bf6c-49e276e17778: e04de25d-4c7a-483a-bf6c-49e276e17778 Logout, user_id: 94309d50-4f52-5250-31bd-74fecac179db
2025.10.25 13:18:08.062161 [ 114478 ] {} <Error> ServerErrorHandler: Poco::Exception. Code: 1000, e.code() = 22, Invalid argument: Invalid argument, Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(String const&, String const&, int) @ 0x0000000114eb26c0
1. Poco::InvalidArgumentException::InvalidArgumentException(String const&, String const&, int) @ 0x0000000114eb670c
2. Poco::Net::SocketImpl::error(int, String const&) @ 0x0000000114f78714
3. Poco::Net::SocketImpl::peerAddress() @ 0x0000000114f7b560
4. DB::HTTPServerRequest::HTTPServerRequest(std::shared_ptr<DB::IHTTPContext>, DB::HTTPServerResponse&, Poco::Net::HTTPServerSession&, StrongTypedef<unsigned long, ProfileEvents::EventTag> const&) @ 0x00000001115bfd98
5. DB::HTTPServerConnection::run() @ 0x00000001115bdf70
6. Poco::Net::TCPServerConnection::start() @ 0x0000000114f81518
7. Poco::Net::TCPServerDispatcher::run() @ 0x0000000114f81bf8
8. Poco::PooledThread::run() @ 0x0000000114f21fc8
9. Poco::ThreadImpl::runnableEntry(void*) @ 0x0000000114f1f128
10. _pthread_start @ 0x0000000195796c0c
11. thread_start @ 0x0000000195791b80
(version 25.9.4.58 (official build))

Читать полностью…

ClickHouse не тормозит

Судя по ссылкам в пул реквесте, это проблема не только в 25.8, но и в 25.3

Читать полностью…

ClickHouse не тормозит

Подскажите какие известные баги есть в 25.8. Безопасно ли на проде обновлятся с 25.3 ?

Читать полностью…

ClickHouse не тормозит

Спасибо всем за помощь 🙏

Читать полностью…

ClickHouse не тормозит

Сделать бэкап с клика в облако Яндекса с него же потом выгрузить в Яндекс вб с кластером 🤔
Оно?

Читать полностью…

ClickHouse не тормозит

зависит от объемов
точнее количества таблиц
и там и там облака, то есть свои звездолеты с бекапами

вариант с insert select remote делается быстро и работает как лом
если объектов много - просто скриптом сделать и команды create и select insert

Читать полностью…

ClickHouse не тормозит

Еще же backup database / table в s3 есть, может помочь

Читать полностью…

ClickHouse не тормозит

Он как раз был не плох, но способы оплаты не все подходят)

Читать полностью…

ClickHouse не тормозит

Да вот да у меня есть штука которач это делает через селект фром ремоут с разбивкой по партициям
Но хотелось бы какое то более общее решение найти)

Читать полностью…

ClickHouse не тормозит

Точняк, и пора заканчивать с параноей. Спасибо!

Читать полностью…

ClickHouse не тормозит

Спасибо, понял. Только зачем клик показывает это в дашборде, не понятно)

Читать полностью…

ClickHouse не тормозит

Смущает вот такая картина. На сервере 32 GB, не совсем понимаю, что будет, когда in-Memory Caches приблизится к объему RAM (такими темпами - через 2 часа).

Сейчас идет ворклоад только на вставку данных. С увеличением кеша нет никакого прироста производительности, так что этот кеш в любом случае бессмысленный.

На какие настройки посмотреть?

Читать полностью…
Subscribe to a channel