11238
Обсуждаем ClickHouse
But in MacOS filenames are case-insensitive so these 2 files are considered identical and only 1 is created.
https://github.com/ClickHouse/ClickHouse/issues/82851#issuecomment-3245378292
Ещё не смержено
https://github.com/ClickHouse/ClickHouse/pull/86559
Решается настройкой The relevant setting is replace_long_file_name_to_hash. When enabled (default is 1), if a file name for a column exceeds the length specified by max_file_name_length, ClickHouse replaces it with a SipHash128 hash of the name. This helps avoid issues with file systems that have limits on file name length or are case-insensitive, which can cause problems with similarly named columns
Вот такие ошибки при селекте вылезают:
Code: 271. DB::Exception: Data compressed with different methods, given method byte 0x81, previous method byte 0x90: While reading or decompressing ./store/498/4988072d-fcbd-4fb3-b9d9-4d1f7350bd19/384b1b2875f4c4f658dd4981a304c1f8_6_6_1/payload.A.String.cmrk2 (position: 214, typename: DB::AsynchronousReadBufferFromFileWithDescriptorsCache, compressed data header: <uninitialized>): (while reading column payload): (while reading from part ./store/498/4988072d-fcbd-4fb3-b9d9-4d1f7350bd19/384b1b2875f4c4f658dd4981a304c1f8_6_6_1/ in table default.raw_v04 (4988072d-fcbd-4fb3-b9d9-4d1f7350bd19) located on disk default of type local, from mark 61 with max_rows_to_read = 8192, offset = 0): While executing MergeTreeSelect(pool: ReadPoolInOrder, algorithm: InOrder). (CANNOT_DECOMPRESS) (version 25.9.4.58 (official build))
Code: 33. DB::Exception: Cannot read all data. Bytes read: 5. Bytes expected: 25: While reading or decompressing ./store/498/4988072d-fcbd-4fb3-b9d9-4d1f7350bd19/384b1b2875f4c4f658dd4981a304c1f8_17_17_1/payload.A.String.cmrk2 (position: 228, typename: DB::AsynchronousReadBufferFromFileWithDescriptorsCache, compressed data header: <uninitialized>): (while reading column payload): (while reading from part ./store/498/4988072d-fcbd-4fb3-b9d9-4d1f7350bd19/384b1b2875f4c4f658dd4981a304c1f8_17_17_1/ in table default.raw_v04 (4988072d-fcbd-4fb3-b9d9-4d1f7350bd19) located on disk default of type local, from mark 0 with max_rows_to_read = 8192, offset = 0): While executing MergeTreeSelect(pool: ReadPool, algorithm: Thread). (CANNOT_READ_ALL_DATA) (version 25.9.4.58 (official build))
Поле payload имеет тип JSON. На другом сервере работает то же самое, пока таких ошибок не видел.
Работает на Ubuntu 24.04.3 LTS, ClickHouse: 25.8.2.29
Не работает на маке M4 15.6.1 . ClickHouse 25.9.4.58
На более ранней версии на Mac также не работает, сейчас, к сожалению, уже не знаю, на какой пробовал до этого.
Связано-ли это с тем, что на Mac ненадежная сборка, код не отлажен под Mac Os, архитектуру arm64, или такие приколюхи могут быть и на linux x64?
Попросил убрать мои данные у gemini с запроса))
Читать полностью…
ага получилось
INSERT INTO ИМЯ БАЗЫ.ИМЯ_ЦЕЛЕВОЙ_ТАБЛИЦЫ_С_ТОЧКОЙ
SELECT * FROM remoteSecure(
'ХОСТ_ИСТОЧНИКА:9440',
'ИМЯ_БАЗЫ_ДАННЫХ_НА_ИСТОЧНИКЕ',
'ИМЯ_ИСХОДНОЙ_ТАБЛИЦЫ',
'ИМЯ_ПОЛЬЗОВАТЕЛЯ_НА_ИСТОЧНИКЕ',
'<ПАРОЛЬ_ПОЛЬЗОВАТЕЛЯ>'
увеличить socket_timeout в настройках подключения
Читать полностью…
Нет. Только в 25.7+
Лейбла pr-must-backport тупо во все поддерживаемые версии пытается приложить
было выше
известные - пофикшены
если вас беспокоит, то есть вот это
https://github.com/ClickHouse/ClickHouse/pull/88668
Специфика работы с бд не перестает поражать 😅
Читать полностью…
У Яндекса Yandex object storage есть
И как раз с него можно будет выгружать новые поступления данных в таблицы в csv
нативный клиент и есть нативный клиент
обычный бинарник клика можете взять
бобер не подходит вообще
он режет загрузку, у него пагинация
Что имеется ввиду под нативным клиентом? 😅 через бобра раза с 5 экспортировал таблицы, но еще не подключал для проверки
Мне все это нужно выводить для аналитики в datalens
Используйте нативный backup restore через s3
Читать полностью…
Точно не бобер.
Берёте нативного клиента и insert select remote
Этим способом можно по https подключиться, или только нейтив?
Читать полностью…
Балдежное все такие облако у клика
Дали мы нормально оплачивать, был бы на нем
клик сервер может сам подключаться к чему попало включая другой клик сервер, см. "table functions", "remote table function".
если таргетный сервер может достучаться до сервера-источника, на нём можно выполнить например select * from remote('src-server.xxx:9000', default.mytable); — таргетный сервер сходит на источник, высосет с него таблицу целиком и отдаст вам. супер. нам вся таблица в клиенте не нужна, а нужна на таргетном сервере, поэтому: insert into default.mytable select * from remote('src-server.xxx:9000', default.mytable).
то, о чём писал ↑
Бэкап в s3 яндекса сделать не удалось, не доволен правами
права не дают
бэкапы у них делаются на свои хранилища
доступ к другим можно только при подписке на другой "план" если все правильно понял
запрос выполняется более 30 секунд, на 30й секунде в jetbrains вываливается read timeout, в логах кликзауса исключение. запрос 100% рабочий. как это можно исправить?
2025.10.25 13:18:08.019849 [ 114478 ] {0567b730-6dcb-45e4-9443-30fd142184a5} <Debug> executeQuery: Read 988283918 rows, 22.45 GiB in 30.470803 sec., 32433799.594976213 rows/sec., 754.62 MiB/sec.
2025.10.25 13:18:08.019975 [ 114478 ] {0567b730-6dcb-45e4-9443-30fd142184a5} <Debug> DynamicQueryHandler: Done processing query
2025.10.25 13:18:08.019983 [ 114478 ] {0567b730-6dcb-45e4-9443-30fd142184a5} <Debug> MemoryTracker: Query peak memory usage: 1.57 GiB.
2025.10.25 13:18:08.019991 [ 114478 ] {} <Debug> HTTP-Session-e04de25d-4c7a-483a-bf6c-49e276e17778: e04de25d-4c7a-483a-bf6c-49e276e17778 Logout, user_id: 94309d50-4f52-5250-31bd-74fecac179db
2025.10.25 13:18:08.062161 [ 114478 ] {} <Error> ServerErrorHandler: Poco::Exception. Code: 1000, e.code() = 22, Invalid argument: Invalid argument, Stack trace (when copying this message, always include the lines below):
0. Poco::Exception::Exception(String const&, String const&, int) @ 0x0000000114eb26c0
1. Poco::InvalidArgumentException::InvalidArgumentException(String const&, String const&, int) @ 0x0000000114eb670c
2. Poco::Net::SocketImpl::error(int, String const&) @ 0x0000000114f78714
3. Poco::Net::SocketImpl::peerAddress() @ 0x0000000114f7b560
4. DB::HTTPServerRequest::HTTPServerRequest(std::shared_ptr<DB::IHTTPContext>, DB::HTTPServerResponse&, Poco::Net::HTTPServerSession&, StrongTypedef<unsigned long, ProfileEvents::EventTag> const&) @ 0x00000001115bfd98
5. DB::HTTPServerConnection::run() @ 0x00000001115bdf70
6. Poco::Net::TCPServerConnection::start() @ 0x0000000114f81518
7. Poco::Net::TCPServerDispatcher::run() @ 0x0000000114f81bf8
8. Poco::PooledThread::run() @ 0x0000000114f21fc8
9. Poco::ThreadImpl::runnableEntry(void*) @ 0x0000000114f1f128
10. _pthread_start @ 0x0000000195796c0c
11. thread_start @ 0x0000000195791b80
(version 25.9.4.58 (official build))
Судя по ссылкам в пул реквесте, это проблема не только в 25.8, но и в 25.3
Читать полностью…
Подскажите какие известные баги есть в 25.8. Безопасно ли на проде обновлятся с 25.3 ?
Читать полностью…
Сделать бэкап с клика в облако Яндекса с него же потом выгрузить в Яндекс вб с кластером 🤔
Оно?
зависит от объемов
точнее количества таблиц
и там и там облака, то есть свои звездолеты с бекапами
вариант с insert select remote делается быстро и работает как лом
если объектов много - просто скриптом сделать и команды create и select insert
Еще же backup database / table в s3 есть, может помочь
Читать полностью…
Он как раз был не плох, но способы оплаты не все подходят)
Читать полностью…
Да вот да у меня есть штука которач это делает через селект фром ремоут с разбивкой по партициям
Но хотелось бы какое то более общее решение найти)
Точняк, и пора заканчивать с параноей. Спасибо!
Читать полностью…