«Идея создания данной публикации крутилась в моей голове уже давно. Дело в том, что одно из моих хобби связано с распределёнными вычислениями, а другое хобби связано с нейросетями, и мне давно не давала покоя идея запустить инференс LLM на нескольких компьютерах, но так, чтобы все они выполняли работу над одной и той же моделью параллельно»
Распределённый инференс llama.cpp через RPC
Портируем декодер AV1 с С на Rust для повышения быстродействия и безопасности
AV1 становится всё более значимым видеоформатом, которому требуется безопасный и производительный декодер. Исходя из этой идеи был создан rav1d — путём портирования на Rust написанного на С декодера dav1d.
PGCONF.ACADEMY 2024 — первая конференция для преподавателей PostgreSQL в России
9 октября в Москве пройдёт конференция для преподавателей системного программирования и дисциплин, связанных с системами управления базами данных (СУБД).
Организатор — компания Postgres Professional, ведущий российский СУБД-разработчик.
Темы встречи:
☑️ Внедрение PostgreSQL и Postgres Pro в учебный процесс
☑️ Обучение базам данных и системному программированию, автоматизация и использование интерактивных систем в учёбе
☑️ Научно-исследовательская и проектная работа студентов по теме СУБД
☑️ Профессиональная сертификация специалистов по PostgreSQL и др.
Для кого? Специалисты в сфере ИТ-образования: преподаватели, методисты, сотрудники администрации вузов, колледжей и учебных центров.
Онлайн и офлайн: Москва, ИНТЦ МГУ «Воробьёвы горы», кластер «Ломоносов», Раменский бульвар, д. 1.
Регистрация — до 6 октября 2024.
🆓 Участие для преподавателей, сотрудников администраций вузов и колледжей — бесплатное.
👉 ЗАРЕГИСТРИРОВАТЬСЯErid: 2VSb5yjuFda
Реклама. ООО «АКСЕЛЕРАТОР ВОЗМОЖНОСТЕЙ»
ИНН 9704005146
Делаем правильный анаглиф своими руками
Сегодня мы познакомимся с методом создания высококачественных анаглифических изображений с минимальными трудозатратами. Динозавров делать не будем — возьмём любую фотографию из семейного архива и получим полноценное трёхмерное изображение.
«Привет, Хабр! Меня зовут Евгений Сергеев, я работаю инженером-программистом в АСКОН, а в свободное время увлекаюсь астрофотографией. Именно ей будет посвящена статья. Я расскажу о своём опыте: как познакомился с этим увлекательным хобби и как можно начать самому без траты целого состояния»
Астрофотография: от советского объектива до автоматизированного управления телескопом
Работа с хорошими зарплатами.
Cloud security engineer в Wanted. Можно удаленно. Берлин, Амстердам, Белград. До 9000 €.
Account/project manager в Evil Martians. Можно удаленно. 6000 — 8580 $.
Business applications developer в ID Universe. Москва, Люксембург. 500 000 — 700 000 ₽.
Senior backend engineer в Ditto. Можно удаленно. 3000 — 7000 $.
Senior Golang developer в Geekfactor. Санкт-Петербург, Будапешт. 400 000 — 550 000 ₽.
Больше вакансий
#highest_salary
Как недостаток сна влияет на здоровье
Многие не запариваются насчёт сна, пренебрегают им, особенно по молодости, ничего же страшного, если посижу до 2-3 ночи, отосплюсь утром или на выходных. Ведь тут интересный сериал, игра, книга. Кто себя узнал? Но всё это имеет последствия для организма. Проблемы копятся, просто если молодой, особо не обращаешь внимания на это и организм пока вывозит.
Раскрываем секреты роя: оптимизация на Python с помощью PSO
Знаете ли вы, что до изобретения часов людям приходилось активно ходить повсюду и спрашивать время?
Этот незамысловатый анекдот иллюстрирует важную концепцию: информация, доступная одному члену группы, может распространяться среди остальных. Эта идея имеет глубокий смысл и находит применение во многих областях.
Какой роутер для OpenWrt купить в 2025 году?
Роутер, как и любой другой девайс, нужно покупать под запрос. Например, линуксоиды привыкли покупать ноутбуки именно под Linux, а не первый попавшийся. Также и тут: если нужен OpenWrt, то роутер тоже надо выбирать с умом, а не надеяться на то, что кастомная прошивка сделает конфетку из роутера за 700 рублей.
В 2023 и 2024 появились интересные роутеры, которые уже поддерживаются проектом OpenWrt. Эти роутеры сделаны на базе ARM-процессоров. Такие роутеры появились у нескольких компаний, и дальше их количество будет только увеличиваться.
Демиурги: потрясающий эксперимент Nival на пути к «Героям 5»
Когда услышите слово «Демиурги», у вас на лице, скорее всего, мелькнёт ностальгическая улыбка, особенно если вы застали конец 90-х и начало нулевых, ведь тогда каждая игра от Nival Interactive считалась настоящей находкой. Это был период, когда студии чаще полагались на творческий запал и энтузиазм, нежели чем на солидные бюджеты, и благодаря горящим глазам разработчиков очень часто создавались настоящие шедевры. Именно в такой атмосфере в 2003 году на свет появились «Демиурги» — уникальный микс пошаговой стратегии, RPG и коллекционной карточной игры, словно смешение «Героев Меча и Магии» с «Magic: The Gathering». Игра выделялась на фоне конкурентов не только в СНГ, но и на мировом рынке, удивляя своей оригинальностью даже самых искушённых игроков. Это было время, когда начали зарождаться надежды на то, что отечественные студии могут конкурировать с западными, и «Демиурги» стали ярким подтверждением этой веры — стильная, качественная, с характерной изюминкой.
Поговорим об этом необычном проекте и выясним, устоял ли он перед испытанием временем и интересно ли играть в него в 2024 году
ПО Capsule для считывания, анализа и записи физиологических сигналов мозга и тела: особенности интерфейса и API Neiry
Capsule ориентирован на широкий круг пользователей. Научные коллективы могут использовать сырые потоковые или записанные мультимодальные данные для исследований. Те, кто не обладает глубокими знаниями в нейрофизиологии и смежных областях, запросто интегрируют готовые метрики на основе ЭЭГ и ФПГ в продукты.
Энтузиаст представил проект деревянного стола Carpentopod, который способен приносить вещи хозяину.
Киберпанк или гиперкринж?
Удивительная история развития сортировки в JDK
Зачем нам второй алгоритм сортировки, если есть Timsort? Почему не использовать один и для объектов, и для примитивов? Сегодня поговорим про историю Dual-Pivot Quicksort — как он начинался, как развивался и как продолжает развиваться сейчас.
«Эта история произошла после того, как я вернулся из США в 2008 году, где благополучно потратил все свои деньги, полученные от разграбления советских заводов бандой прихватизаторов во главе с Кахой Бендукидзе. В США я пытался запустить свой стартап, но не преуспел, но это история для мамкиных стартаперов с сайта VC. Здесь же расскажу, что было потом, поскольку это касается разработки и продвижения ПО. И бесплатно дам несколько бизнес-советов, которые за большие деньги можно получить только на курсах Тони Робинсона»
Как мы французскому ПО ценности добавляли, но нас не оценили
«А можно быстрее?»: разбираем методы ускорения обучения нейронных сетей
Современные нейросетевые архитектуры достигают впечатляющих результатов в сложных задачах ИИ благодаря росту объёмов данных и вычислительных мощностей. Однако обратной стороной медали стала высокая ресурсоёмкость обучения.
Например, последняя версия GPT-4 от OpenAI обучалась на большом GPU-кластере. По некоторым данным, она содержит около 1,8 триллиона параметров, а её обучение обошлось более чем в 100 млн долларов. А модель Llama 3.1 405B, вроде бы оптимизированная под ограниченные ресурсы, всё равно требовала более 15 триллионов токенов и свыше 16 тысяч GPU NVIDIA H100.
И хотя нынешнее качество работы LLM уже можно действительно назвать выдающимся, на практике они подкидывают разработчикам широкий ряд проблем производительности: от запредельных объёмов данных до оптимизации гиперпараметров. Всё это приводит к потребности в ускорении обучения.
Ребята из Magnus Tech подготовили серию материалов, которые помогут разобраться в ускорении обучения нейросетей. В этой статье рассмотрим различные теоретические аспекты — от аппаратного ускорения до правильной организации самого обучения.
⚡️ Новости к этому часу
🛴 Пользователям самокатов предлагают ограничить скорость до 10 км/ч при движении рядом с пешеходами
🌳 МТС разработала систему для поиска потерявшихся в лесу людей
👽 Новое моделирование позволяет предположить, что Девятая планета может вовсе не быть планетой
🛰 НАСА заявило о рекорде по числу людей на орбите
🧑🚀 Спускаемая капсула Crew Dragon SpaceX успешно вернулась на Землю с экипажем туристической миссии Polaris Dawn (ФОТО)
🐧 Релиз Linux 6.11
❌ 20% HDD для долгосрочного хранения музыки в 90-х годах вышли из строя
🤔 Выбросы дата-центров, вероятно, на 662% выше, чем заявляют крупные технологические компании
#новости
Как делать чистые градиенты
Представьте: пришло пожелание от дизайн-директора или художественного руководителя, и дизайнер задумался о градиентах. Задача кажется простой: открыть Фигму, заменить сплошную заливку линейным градиентом и выбрать два цвета. Дизайнер чувствует себя уверенно, у него всё быстро получается, но он замечает — что-то не то.
«Для тех, кто просто хочет получить позывной, привожу последовательность действий, актуальную на октябрь 2024 года. И детально рассказываю, как прошёл этот путь, с какими трудностями столкнулся»
Как получить радиолюбительский позывной в 2024 году
Резистивный ключ для оптического домофона
Поговорим о том, как работали домофоны «Цифрал» с резистивным ключом. Узнаем, какие вообще девайсы с ними совместимы и как оно устроено, попутно посмотрим на несколько неожиданных решений по части схемотехники таких домофонов.
Советская электрогитара «Форманта» в 2024 году
Перед нами одна из самых качественных и продвинутых советских электрогитар с оригинальными схемотехническими решениями темброблока и фузза. Да, именно так: в этой гитаре имеется встроенный эффект перегруза!
Посмотрим, какие звучания позволяют получить 3 звукоснимателя, 4 переключателя и 4 переменных резистора электрогитары Форманта 241-БЛ, а также поговорим о том, в чём состоят недооценённые особенности данного шедевра мастеров Борисовской фабрики.
Топ опасных уязвимости августа: под угрозой Microsoft Windows и сайты на WordPress
Поговорим про самые опасные уязвимости августа. Всего их было шесть, и большая их часть была обнаружена (surprise!) в продуктах Microsoft.
«В детстве у нас с сестрой была гора VHS-кассет, которые мы бесконечно пересматривали. Современная видеоколлекция моих детей сильно от них отличается. Она полностью цифровая и разбросана по разным сервисам. Я хотел поделиться с ними магией осязаемости носителя из моего детства»
NFC-видеотека для детей
Решаем загадку Джиндоша из Dishonored 2 на SQL перебором с возвратом
SQL — язык сверхвысокого уровня, а SQL-движки очень высоко оптимизированы. И поэтому во многих случаях с помощью него можно просто и быстро решать сложные задачи. Вы удивитесь, но существует даже шахматный движок на SQL.
Сегодня мы рассмотрим решение непростой загадки Джиндоша из замечательной игры Dishonored 2 с помощью SQL
Установка Microsoft Office 2024 на Mac или обновление до последнего, поддерживаемого версией MacOS
Эта статья не является технической, в ней много картинок и рассуждений о том, когда, что и как устанавливать. Автор не пропагандирует ни решения Microsoft, ни пиратство, просто рассказывает, как установить последний Microsoft Office без всяких торрентов.
🥳 Хабр и коммуникационное агентство iTrend приглашают на открытый вебинар, где эксперты поделятся опытом в привлечении внимания IT-специалистов!
Будет интересно эйчарам, деврелам и даже представителям неайтишных компаний.
📆 Начало — 24 сентября в 16:00 МСК.
Участие бесплатное, но требуется предварительная регистрация 👈
«Некоторое время назад я перешёл в отдел продуктового развития и получил в качестве подшефного продукта внутренний сервис — Паспорт переговорных. Между собой мы называем его Room Passport, или просто — RP. Его основная задача — позволить нашей компактной команде видеоконференцсвязи легко и эффективно управлять огромным парком переговорных: от больших залов до кабин, рассчитанных на пару человек. Чтобы у яндексоидов всегда была связь, оборудование работало без перебоя, а забронировать переговорку было быстро и удобно»
Как в Яндексе 16 человек управляют 1800 переговорками по всему миру
Нейронные оптимизаторы запросов в реляционных БД
В последние годы в связи с активным развитием ML начали развиваться и нейронные оптимизаторы запросов, особенность которых в том, что они самостоятельно, без участия человека, находят необходимые закономерности в выполнении сложных планов исходя из обучения на огромном количестве данных. Тенденция началась приблизительно в 2017 году и продолжается до сих пор. Давайте посмотрим, что уже появилось в этой области в хронологическом порядке и какие перспективы нас ждут.
Хранение данных в Postgresql
Рассмотрим хранение данных в PostgreSQL на физическом уровне. Данные хранятся в таблицах, таблицы находятся в схемах, схемы, в свою очередь, в базах данных. Под данными мы подразумеваем одну или несколько строк. В качестве примера будем рассматривать эталон критики — цитаты Линуса Торвальдса.
Удавка на собесе
Поговорим о собесах и о том, насколько они испортились при найме в ИТ. Ну и попытаемся ответить на главный вопрос — как часто нужны знания, спрашиваемые на собесах, в реальной работе.
Особенности движения Земли и Луны
Всего лишь несколько столетий назад считалось, что Земля неподвижна, а Солнце и планеты вращаются вокруг неё. Теперь мы знаем, что именно планеты движутся вокруг Солнца. Про нашу планету обычно говорят, что вокруг неё вращается Луна, а сама Земля движется вокруг Солнца. Однако правильнее говорить, что вокруг Солнца движется центр масс системы Земля-Луна, при этом и Земля, и Луна вращаются вокруг их общего центра масс.