11016
Обсуждаем ClickHouse
Спасибо) Это существенно помогло ускорить запрос, но разница между началом выполнения на инициаторе и шардах так и осталась (на скрине один запрос с вкл и откл настройкой)
Читать полностью…
Всем привет👋
Столкнулся с проблемой при выполнении запросов, которые считают данные локально на шардах и потом агрегирует/объединяет данные на инициаторе. Сами запросы схематично:
SELECT
field_1,
...
SUM(field_100)
FROM cluster('...', view(
WITH cte1 AS (SELECT * FROM distr_table INNER JOIN replicated_table),
...
cte777 AS (SELECT * FROM cte1)
SELECT * from cte777
)) a
GROUP BY
field_1,
...
оффтоповый вопрос исключительно из любопытства: а почему с ch keeper обратно на zookeeper?
Читать полностью…
ну берете java/go/nodejs и пишете сервис, который принимает get запросы ходит в oracle и возвращает tsv по http
затем из КХ ходите через select from url (myapp
ну или можно odbc-bridge исправить, только там c++
У меня даже с ним не получается
Через url хороший вариант, но доступа на сервер у меня нету так что не подойдет
вообще никакой.
когда используются table functions типа postgresql(), url(), remote() под капотом (в контексте запроса) создается временная таблица Engine = postgresql, запрос выполняется против нее.
не ну так то да, а из клика как-то можешь вызвать?
Читать полностью…
писать http application для доступа в оракл, у меня типа так, написан очень простой http сервис который можно запросить http://gate/?table=xxx&col=a,b,c&where=a=5, он ходит в mysql и возвращает результат select a,b,c from xxx where a=5 в виде tsv
Читать полностью…
1. создаем clickhouse-odbс-bridge чтобы harmful библиотеки работали в отдельном процессе и не могли уронить КХ процесс
2. запрещаем harmful LD_LIBRARY_PATH/LD_LIBRARY_PRELOAD для всего включая clickhouse-odbс-bridge
3. total win - нихрена не работает.
https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aissue%20state%3Aclosed%20instantclient
Читать полностью…
У меня партицирование по месяца, и основные куски данных которые небыли перенесены, это конец месяца. Очень похоже на что-то с партициями. А как Бобёр может влиять на это? добавлять к SQL?
Читать полностью…
sudo systemctl show clickhouse-server | grep Environment
Environment=CLICKHOUSE_WATCHDOG_NO_FORWARD=1 LD_LIBRARY_PATH=/opt/oracle/instantclient-basic_23_8:/opt/oracle/instantclient-odbc_23_8
EnvironmentFiles=/etc/default/clickhouse-server (ignore_errors=yes)
EnvironmentFiles=/etc/default/clickhouse (ignore_errors=yes)
SetLoginEnvironment=no
settings prefer_localhost_replica=0
https://github.com/ClickHouse/ClickHouse/issues/53561
meanwhile 3 days ago
https://github.com/ClickHouse/ClickHouse/pull/73100
Не выдерживает нагрузки, хотя всего 30-35к партов, оч часто read-only, отваливаются mutations (в основном delete)
Примерно схожая ситуация: https://github.com/ClickHouse/ClickHouse/issues/69056
Граждане выручайте, мигрирую с clickhouse-keeper'a на Zookeeper.
Таблицы восстановились, но есть проблема - чать БД - replicated, есть какой-то гуманный способ восстановить их?
Ошибка: Database is in readonly mode, because it cannot connect to Zookeeper
Соединение есть и даже в самом ЗК есть информация по БД
Версия CH: 24.7.6.8
В смысле а что за http application тогда ?
Читать полностью…
ну from url(
я сгущаю конечно, oracle работает через odbc-bridge, просто это безумное мучение, каждый раз часы расходуются на подбор параметров, и раскидывание so по всем каталогам
всем привет! подскажите пожалуйста, какая разница при вставке в mergetree таблицу между селектом из postgresql engine таблицы и использованием postgresql() функции
Читать полностью…
Сохраняем сообщение строкой и потом парсим, у нас еще старый клик без поддержки json
Читать полностью…
жесть какая-та если честно
Не понимаю что делать
вот тут https://github.com/ClickHouse/ClickHouse/issues/41266#issuecomment-1248975103
плюс https://github.com/ClickHouse/ClickHouse/issues/64041
И как конец месяца может быть связан с партицией по месяцу?
Бобер не корректно выполняет insert as select
кх очень старается чтобы не работал LD_LIBRARY_PATH
Читать полностью…
>через isql с хоста проверял подключение идет нормально
isql использует переменные окружения из текущего env
чтобы эти переменные окружения передать systemd clickhouse-server.service надо читать гитхаб, и копать как это сделать имеенно для instantclient, потому что КХ параноик и не разрешает LD_PRELOAD.
в гитхаб есть ишью где я показывал пример как скопировать все оракловые библиотеки в каталог КХ, чтобы работало без LD_PRELOAD.