11016
Обсуждаем ClickHouse
Не выдерживает нагрузки, хотя всего 30-35к партов, оч часто read-only, отваливаются mutations (в основном delete)
Примерно схожая ситуация: https://github.com/ClickHouse/ClickHouse/issues/69056
Граждане выручайте, мигрирую с clickhouse-keeper'a на Zookeeper.
Таблицы восстановились, но есть проблема - чать БД - replicated, есть какой-то гуманный способ восстановить их?
Ошибка: Database is in readonly mode, because it cannot connect to Zookeeper
Соединение есть и даже в самом ЗК есть информация по БД
Версия CH: 24.7.6.8
В смысле а что за http application тогда ?
Читать полностью…
ну from url(
я сгущаю конечно, oracle работает через odbc-bridge, просто это безумное мучение, каждый раз часы расходуются на подбор параметров, и раскидывание so по всем каталогам
всем привет! подскажите пожалуйста, какая разница при вставке в mergetree таблицу между селектом из postgresql engine таблицы и использованием postgresql() функции
Читать полностью…
Сохраняем сообщение строкой и потом парсим, у нас еще старый клик без поддержки json
Читать полностью…
жесть какая-та если честно
Не понимаю что делать
вот тут https://github.com/ClickHouse/ClickHouse/issues/41266#issuecomment-1248975103
плюс https://github.com/ClickHouse/ClickHouse/issues/64041
И как конец месяца может быть связан с партицией по месяцу?
Бобер не корректно выполняет insert as select
кх очень старается чтобы не работал LD_LIBRARY_PATH
Читать полностью…
>через isql с хоста проверял подключение идет нормально
isql использует переменные окружения из текущего env
чтобы эти переменные окружения передать systemd clickhouse-server.service надо читать гитхаб, и копать как это сделать имеенно для instantclient, потому что КХ параноик и не разрешает LD_PRELOAD.
в гитхаб есть ишью где я показывал пример как скопировать все оракловые библиотеки в каталог КХ, чтобы работало без LD_PRELOAD.
вы путаете: pushdown, индексы, prewhere
predicate pushdown это передача предиката ниже, кому КХ будет передавать предикат? Кто у вас позади КХ будет фильтровать?
теоритически если есть minmax индекс у field, то КХ может читать не все роугруппы для field > 1000
prewhere не сделан, КХ не умеет вычитать одну колонку из parquet , отфильтровать роугруппы для field > 1000 и прочитать отфильтрованные роугруппы для остальных колонок, есть PR который все это умеет (включая такую филтрацию для блумфильтра по field), но там еще долгииий путь.
Я не настаиваю. Я просто привёл аналогию случаю))
Читать полностью…
оффтоповый вопрос исключительно из любопытства: а почему с ch keeper обратно на zookeeper?
Читать полностью…
ну берете java/go/nodejs и пишете сервис, который принимает get запросы ходит в oracle и возвращает tsv по http
затем из КХ ходите через select from url (myapp
ну или можно odbc-bridge исправить, только там c++
У меня даже с ним не получается
Через url хороший вариант, но доступа на сервер у меня нету так что не подойдет
вообще никакой.
когда используются table functions типа postgresql(), url(), remote() под капотом (в контексте запроса) создается временная таблица Engine = postgresql, запрос выполняется против нее.
не ну так то да, а из клика как-то можешь вызвать?
Читать полностью…
писать http application для доступа в оракл, у меня типа так, написан очень простой http сервис который можно запросить http://gate/?table=xxx&col=a,b,c&where=a=5, он ходит в mysql и возвращает результат select a,b,c from xxx where a=5 в виде tsv
Читать полностью…
1. создаем clickhouse-odbс-bridge чтобы harmful библиотеки работали в отдельном процессе и не могли уронить КХ процесс
2. запрещаем harmful LD_LIBRARY_PATH/LD_LIBRARY_PRELOAD для всего включая clickhouse-odbс-bridge
3. total win - нихрена не работает.
https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aissue%20state%3Aclosed%20instantclient
Читать полностью…
У меня партицирование по месяца, и основные куски данных которые небыли перенесены, это конец месяца. Очень похоже на что-то с партициями. А как Бобёр может влиять на это? добавлять к SQL?
Читать полностью…
sudo systemctl show clickhouse-server | grep Environment
Environment=CLICKHOUSE_WATCHDOG_NO_FORWARD=1 LD_LIBRARY_PATH=/opt/oracle/instantclient-basic_23_8:/opt/oracle/instantclient-odbc_23_8
EnvironmentFiles=/etc/default/clickhouse-server (ignore_errors=yes)
EnvironmentFiles=/etc/default/clickhouse (ignore_errors=yes)
SetLoginEnvironment=no
Всем привет
помогите пожалуйста,
создаю таблицу - дает ок
CREATE TABLE oracle_remote
(
`column1` UInt64,
`column2` String,
`column3` String,
`column4` UInt32
)
ENGINE = ODBC('Driver=/opt/oracle/instantclient-odbc_23_8/libsqora.so.23.1;ServerName=//host/service_name;Uid=user;Pwd=pwd', 'TESTUSER', 'EMPLOYEES')
Code: 302. DB::Exception: Received from localhost:9000. DB::Exception: Child process was exited with return code 88. (CHILD_WAS_NOT_EXITED_NORMALLY)
Привет! Подскажите, пожалуйста, работает ли predicate pushdown для Parquet-файлов в ClickHouse(25.3)?
У меня есть Parquet с ~500 млн записей. Пробую фильтровать по условию field > 1000, но при этом нагрузка на сеть остаётся такой же, как и при полном сканировании (без фильтра). Даже при точном фильтре (field = 55) картина та же.
Возможно, я что-то упускаю?
Вот статья, на которую ориентировался:
https://clickhouse.com/blog/clickhouse-and-parquet-a-foundation-for-fast-lakehouse-analytics
а кстати КХ умеет клонировать таблицы хардлинками
CREATE TABLE xxx_c CLONE AS xxx;
https://github.com/ClickHouse/ClickHouse/issues/65015