11238
Обсуждаем ClickHouse
зачем вам вообще с одного бакета на другой переезжать... чем старый не угодил? не в том aws аккаунте создан или что?
Читать полностью…
игры с таймзонами - они такие
Клик по умолчанию все хранит в UTC и не нужно ему мешать
Клиент клика по умолчанию распаршивает все в/из локальной ТЗ клиента. И тут тоже не нужно ничего менять.
Если нужно отображать данные во времени другого клиента, то лучше отдельно хранить таймзону клиента, записавшего данные.
а вы реально используете session_timezone ? или это только для репро?
Читать полностью…
мы 3 года переводили всех старательно с toYYYYMMDD на toStartOfxxx, а оно сломалось...
https://github.com/ClickHouse/ClickHouse/issues/86654
@den_crane вы не встречались с такой проблемой? если да, не знаете какой experimental можно выключить или включить чтобы оно опять заработало?
Что-то подсказывает, что там еще много койчего хранится для каждой гранулы, хотя бы какая-то ссылка, как найти парт, в котором данные по этому ключу.
Читать полностью…
А парт, который мувится, доедет или нет.
Следующие ттл сработают ?
Я и сделать ничего не могу, так как мувится еще парт
Ну в индексе лежит ключ от первой строки гранулы
если ключ datetime - 4 байта и в таблице 60млрд. строк, то индекс в памяти будет 60млрд./8192*4
avgSizeof(name)+avgSizeOf(datatype)+avgSizeOf(timestamp)* 100 000 000 *50/8192
Читать полностью…
Это нормально. Это крохотные размеры для кх.
Читать полностью…
array хранит массивы атрибутов, как и hashed, в памяти, но за счёт сжатия получается выигрыш по памяти?
Читать полностью…
скажем dictGet для arrray медленее на 5%
но array использует сильно меньше памяти (2-50 раз) если атрибутов много.
Суть -array экономия памяти за счет компьюта.
Всем привет, подскажите пожалуйста, чем отличается complex_key_hashed от complex_key_hashed_array. По картинке из https://clickhouse.com/blog/faster-queries-dictionaries-clickhouse#choosing-a-layout я думал, что первый отличается от второго ограничением на хранение только одного атрибута, но решил проверить и получил оба запрошенных атрибута.
CREATE OR REPLACE TABLE map_sourceЧитать полностью…
(
`key1` String,
`key2` String,
`name` String,
`login` String
)
ENGINE = MergeTree
ORDER BY (key1, key2)
insert into map_source values ('key1', 'key2', 'key1 key2 name1', 'key1 key2 login1')
CREATE DICTIONARY map
(
`key1` String,
`key2` String,
`name` String,
`login` String
)
PRIMARY KEY key1, key2
SOURCE(CLICKHOUSE(TABLE 'map_source'))
LIFETIME(MIN 0 MAX 0)
LAYOUT(COMPLEX_KEY_HASHED(SHARDS 2))
SELECT dictGet('map', ('login', 'name'), ('key1', 'key2'))
┌─dictGet('map', ('l⋯ ('key1', 'key2'))───────┐
1. │ ('key1 key2 login1','key1 key2 name1') │
└─────────────────────────────────────────────┘
То есть сейчас получится около 13 000 гранул это нормально?
Читать полностью…
А как вы считаете, для миграции нужно добавить в конфиг новую policy, включающую старые + новые диски, и для всех существующих таблиц прописать новую policy; или можно в старую policy просто добавить новые диски?
Читать полностью…
просто session_timezone это сплошной баг, я бы его удалил из КХ
Читать полностью…
еще вот это завезли недавно на уровень mergetree setting, при условии что в холодные данные ходят редко - самое то
https://clickhouse.com/docs/operations/settings/merge-tree-settings#use_primary_key_cache
Нет.
Там наоборот структура. Для каждого парта - все гранулы. Там оверхед скороее на выравние на размер слова. Я бы переживал только о длине name, типа если name 500 байт в среднем.
Ну и кто вам мешает взять текущий размер для 100млн и умножить на 50?
а если нет, не он продолжает висеть в system.moves
Читать полностью…
В system.replicas есть колонка last_exception
Читать полностью…
На самом деле для композитного ключа меньше, потому что современный кх, не хранит в памяти колонки следующие за грунулярной колонкой.
Читать полностью…
Не так выразился - сколько оперативной памяти потребляет одна гранула в индексе? Я так понимаю, клик весь первичный индекс держит в аамяти всегда.
Читать полностью…
Да понятно, но их через два года станет в 50 раз больше.
Сколько ожидать потребление памяти на гранулу?
https://github.com/ClickHouse/ClickHouse/issues/30236
Читать полностью…
Если таблица RO то никаких действий не будет, пока из ro не выйдет
Читать полностью…
А можете приблизительно подсказать поведение таблицы / клика, если
1. Таблица восстанавливалась из реплики.
2. Таблица, согласно ТТЛ скидывала парт на диск
3. Таблица перешла в режим РО.
Будет ли она дальше скачивать парты с реплики, перекладывать на другой диск (согласно ТТЛ) ну и делать мерджи ?
зы - все три пункта произошли разом )
Напомните, пожалуйста на какой версии доступна Refreshable Materialized View? или я не то делаю
Читать полностью…
Друзья, как мне сделать оптимальный первичный ключ для таблицы, в которой будут храниться сырые JSON документы, индексированные по ключу (name,datatype,timestamp), чтобы гранулярность индекса была правильная? 100 миллионов JSON документов сейчас, подозреваю, что с дефолтной гранулярностью индекс будет занимать много памяти?
Читать полностью…