Обнаружение «шумных соседей» с помощью eBPF
Обнаружение эффекта «шумного соседа» — задача непростая. Обычные инструменты для анализа производительности, такие как perf, могут создать серьёзную нагрузку на систему, подвергнув её риску дальнейшего падения производительности. Кроме того, подобные инструменты часто разворачивают после того, как что-то случится, то есть — слишком поздно, что мешает эффективному анализу проблем. Ещё одна трудность заключается в том, что отладка ошибок, связанных с «шумными соседями», требует специализированных инструментов и большого опыта работы с низкоуровневыми механизмами систем. В этом материале мы поговорим о том, как использовать eBPF для того, чтобы на постоянной основе инструментировать планировщик Linux, обеспечив мониторинг интересующих нас показателей и создав при этом лишь небольшую дополнительную нагрузку на систему.
Исландский спортсмен Хафтор Юлиус Бьёрнссон поставил рекорд по тяге штанги весом 452 кг из почти 2300 штук SSD (Phison Pascari D205V PCIe Gen5 122,88 ТБ) общим объёмом 282 ПБ.
Спонсорами спортивного мероприятия были производитель систем хранения Phison и компания Vdura, которая занимается производством решений для IT-инфраструктуры на базе решений с применением ИИ.
Устройство хранения Phison Pascari D205V PCIe Gen5 — это SSD корпоративного класса с параметром MTBF на уровне 2,5 млн часов. Накопитель работает со скоростью последовательного чтения до 14 600 МБ/с, а скорость последовательной записи достигает 3 200 МБ/с.
В Индии мошенники некоторое время могли снимать деньги из банкоматов банка SBI с помощью бага при отработке ошибки Timeout Error (клиент не забрал деньги из выдачи спустя выделенное время, система забирает их обратно). Причём они делали эти операции скрытно и без списывания со счетов клиентов, что позволило мошенникам использовать этот метод до тех пор, пока в ходе ревизии банка и последующего за ней расследования кражи денег не выявилась проблема в работе банкоматов.
Согласно пояснению банка, двое мошенников смогли в общем получить наличными 2,52 лакха рупий (252 тыс. рупий) из банкомата SBI. Они использовали несколько украденных или утерянных карт банкомата, чтобы неоднократно снимать деньги. Снятие денег проходило небольшими суммами и продолжалось в период с июня 2022 года по июль 2023 года.
После снятия наличных мошенники обычно оставляли одну купюру в отсеке выдачи наличных в банкомате. Это действие заставило банкомат зарегистрировать транзакцию как незавершённую. Вот только из-за этой ситуации в алгоритме работы банкомата возникала ошибка Timeout Error, система забирала деньги обратно, но не проверяла, что там есть все купюры. Поскольку банкомат помечал транзакцию как незавёршенную, то деньги не списывались с балансов владельцев счетов. Этот трюк гарантировал отсутствие жалоб со стороны клиентов, и мошенничество оставалось скрытым в течение нескольких месяцев.
Афера раскрылась, когда в банке обнаружили незначительные расхождения между общей суммой наличных, внесённых в банкоматы, и снятыми суммами. Первоначально банковский комитет финансовой организации расследовал нарушения, но не смог выявить проблему. При отсутствии зацепок или доказательств даже сотрудники банка попали под подозрение.
Прорыв в расследовании произошёл в тот момент, когда специалисты банка просматривали записи видеонаблюдения с банкоматов. Они обнаружили, что одни и те же лица часто посещали определённые банкоматы, используя различные украденные карты клиентов. На кадрах были запечатлены действия подозреваемых, включая оставление одной купюры в ячейке для приёма и выдачи денег. В SBI передали материалы по этому мошенничеству в полицию, где возбудили дело по разделам 406 (уголовное злоупотребление доверием) и 420 (мошенничество) Уголовного кодекса Индии. Полиция продолжает искать мошенников. Пока что никому обвинения по этому инциденту не предъявлены.
После этого случая в SBI усилили защиту банкоматов и переписали алгоритм работы системы для предотвращения подобных мошенничеств в будущем.
⚡ Новости к этому часу
🪙 MIT отменит плату за обучение для студентов из семей с доходом менее $200 тысяч
💎 Компания Q.ANT представила первый коммерческий фотонный процессор
🎚 Представлен сенсорный регулятор громкости с ручной прокруткой для ноутбуков
💰 НАСА выделило $11,5 млн на помощь в разработке самолёта будущего
⚖️ В США суд вынес решение в пользу школы, которая поставила ученику плохую оценку за использование ИИ
🆕 Релиз Files 3.8 — открытой альтернативы стандартному проводнику Windows 10/11
📱 Huawei пообещала в течение года запустить 100 тысяч приложений для HarmonyOS
📱 В Google рассказали о будущем WebGPU (ФОТО)
#новости
Не нужно становиться тимлидом
Последнее время вышло много статей на тему тимлидства. Где-то спорили о написании кода тимлидами, где-то говорили о найме, где-то обсуждали пипл-менеджмент. Но давайте подумаем, есть ли вообще смысл становиться тимлидом.
На прошедшей неделе мы разбирали неочевидные тонкости Postgres, мастерили радиолампы, боролись с плёнкой на чае и выясняли, почему при установке Windows 95 использовались три операционные системы.
Лучшие публикации недели (18-22 ноября 2024)
Мы постоянно окружены огромным количеством электроники. Эти маленькие платы с электронными мозгами есть практически везде. Некоторые из них даже подключены к Интернету. Но как они создаются?
Эта статья для тех, кто не имеет опыта разработки электроники, но хочет получить представление о процессе
Одноплатный компьютер Next SBC с Ryzen 7840HS: мал да удал. Игры, офис и всё остальное. Что за девайс?
Крошечный компьютер с большими амбициями — так можно описать NexT-SBC, новый одноплатный ПК, разработанный известным пользователем YouTube под псевдонимом ETA Prime. Этот мини-ПК умещается на ладони, но по характеристикам не уступает полноценным настольным системам.
Созданный на базе 4-нм процессора AMD, NexT-SBC позиционируется как универсальное решение для дома и офиса. Цена устройства составляет $329, что делает его в три раза дешевле флагманского смартфона iPhone 16 Pro.
Практический опыт реверс-инжиниринга печатной платы: зачем, как и когда это нужно
В этой публикации автор делится собственным опытом создания аналога имеющегося у него образца печатной платы с использованием реверс-инжиниринга. Узнаем на примерах, как разобраться в работе устройства, составить его принципиальную электрическую схему и воспроизвести в материале.
Топология Dragonfly для дата-центровых сетей
В основе топологии Dragonfly очень простая идея — разбивать сеть на группы и соединять их между собой напрямую, без использования дополнительных слоёв коммутации.
«У нас есть система регистрации простоев оборудования. В ней рабочему нужно ввести комментарий о причине простоя вручную. А нам потом надо собирать статистику по этим данным для анализа, как работал цех и что приводило к простоям.
Рабочие вводят причины простоя разными словами, от души. «Шланг порвался», «они не успевают дать продукцию», «безобразно обрезана кромка» — это ещё цветочки. Одно только слово «железнодорожный» можно написать десятками способов — жд, Жд, ЖД, ж/д, ж\д, ж /д, ж д, Ж д, ЖД!!! — и так далее. С вывернутыми слешами, двойными пробелами и другими творческими формулировками.
В базе 13 миллионов записей, из них 700 тысяч уникальных, из которых остаётся примерно 500 тысяч после нормализации по регистру, слешам, пробелам и т. п. А нам нужно как-то разобраться, что не так и с кем.
Если вы сейчас думаете про ML, LLM и прочие модные слова, я вас огорчу. Оказалось, что есть простой кондовый способ, если применить немного ТРИЗа. В итоге получилось, что мы умудрились и рабочим сделать намного удобнее (что вообще-то редкость в реалиях производства), и дико помочь аналитикам»
Я угадаю, что рабочий цеха хочет ввести, с трёх букв
Библиография киберпанка
Если вас всё ещё преследует вопрос о том, что бы почитать в жанрах протокиберпанк, киберпанк и посткиберпанк, гляньте одним глазком в этот библиографический обзор. Здесь наверняка есть книги, которые вы ещё не прочли. Не верите? Проверьте!
Unity OS: импортозамещение с восточным колоритом
В 2019 году правительство поручило государственным учреждениям в течение трёх лет полностью избавиться от зарубежного оборудования и программного обеспечения, включая операционные системы производства Microsoft, и перейти на отечественное ПО. Речь идёт, конечно же, о Китае. Разработкой ОС, которая должна заменить на китайских госпредприятиях Windows, занялась компания из Ухани UnionTech, а сама операционка получила название Unity Operating System или UOS. В основе UOS лежит Linux, а дистрибутив доступен для загрузки с официального сайта разработчика. Посмотрим на эту китайскую платформу поближе.
Google и его операционки: забыть ChromeOS и выпускать ноутбуки с Android? Что происходит?
Google готовится к крупным изменениям в своей экосистеме гаджетов и софта. Спустя 15 лет после запуска ChromeOS компания может отказаться от этой платформы и интегрировать её ключевые функции в Android. Зачем? Чтобы создать некий гибрид, который сможет охватить как мобильные устройства, так и ноутбуки и ПК. Узнаем, что там за нововведения.
Удовлетворяя потребность в вычислениях
В 1965 году Патрик Хаггерти, президент компании Texas Instruments, захотел сделать новую ставку на будущее электроники. Он считал, что в этом будущем, как он часто говорил, использование электроники станет «повсеместным». За десять лет до этого он добился разработки карманного радио на транзисторах, чтобы продемонстрировать потенциал твердотельной электроники, основанной на маленьких кусочках полупроводникового материала, вырезанных из пластины, вместо пухлых электронных ламп. На очереди была новая форма электронных компонентов: интегральные схемы, в которых на одном полупроводниковом чипе размещались десятки и даже сотни компонентов. Вместе с Джеком Килби, пионером интегральных схем, а ныне одним из ведущих научных руководителей TI, Хаггерти задумал новый потребительский продукт, достойный этой новой эпохи: калькулятор, который «мог бы поместиться в кармане пальто и продаваться менее чем за 100 долларов». В то время типичный калькулятор по размеру, форме и весу напоминал печатную машинку и стоил более 1000 долларов (более 10000 долларов в ценах 2024 года).
В общем, история карманного калькулятора — идеальная преамбула к истории персонального компьютера
Заточка кухонных ножей мусатом
Автор этой статьи — инженер, «переболел» заточкой ножей. Теперь делится наименее очевидными элементами теории и простейшей техникой поддержания кухонного ножа острым за одну минуту в неделю.
Дело раскрыто: как солнечные панели соседа превратились в проблему для радиолюбителя
В век растущей популярности альтернативных источников энергии солнечные панели стали уже чем-то само собой разумеющимся. К сожалению, широкое распространение солнечных панелей привело к неожиданной проблеме для радиолюбителей-коротковолновиков. Оказалось, что электронная начинка инверторов способна существенно влиять на качество приёма и передачи сигналов в КВ-диапазоне. Поговорим о помехах в контексте опыта радиолюбителя, столкнувшегося с такой проблемой.
Что там с ноутбуками: будущее за ARM-процессорами
Компания Qualcomm готовится к выпуску нового ARM-чипа, который может серьёзно изменить рынок ноутбуков среднего сегмента. Ориентируясь на устройства стоимостью до $600 (примерно 60 тысяч рублей), Qualcomm нацелена стать конкурентом производителям чипов на x86, которые вот уже десятилетиями удерживают лидирующие позиции на рынке.
State of DevOps 2024. Часть первая: DORA-метрики и элитность
Вот и вышел свеженький State of DevOps. Это уже 10-й юбилейный выпуск, теперь ещё вкуснее и интереснее. Давайте поразбираем, что же там внутри. Будут факты, сюрпризы, важные мысли, на что обратить внимание, немножко набросов и, конечно, мемасики, куда ж без них.
«Привет, Хабр! Своим первым постом на площадке я хочу привлечь внимание к катастрофе, сложившейся на данный момент в RU-зоне проекта NTPPool.org. Я думаю, что проект в представлении не нуждается, тем не менее, для тех, кто никогда о нём не слышал — во многом благодаря ему все ваши компьютеры, смартфоны, серверы и прочие гаджеты имеют точное время»
Катастрофа в российской зоне проекта NTPPool.org
«Меня зовут Юра, я — разработчик, фаундер и временами ML-энтузиаст. Решил разобраться и понять, как устроена Diffusion-модель внутри, понять её математику и постараться объяснить и разложить её на пальцах. Ну и конечно пописать код, который (спойлер) заработал»
Пишем свою Diffusion модель с нуля
Хотите узнать, сколько реально вам будут платить после IT-курсов? Есть место, где работающие айтишники сами рассказывают про свои зарплаты.
Читать полностью…«В этой статье я хочу дать точку входа для джун/мидл системных аналитиков, которые хотят разобраться в межсервисной интеграции. Мы пройдёмся по HTTP, REST, RPC и gRPC, разберёмся в их значениях. Выясним, почему эти аббревиатуры появляются, когда происходит проектирование API, и попробуем понять, когда и что следует применять»
REST vs. gRPC: межсервисная интеграция для начинающих
SDR-приёмник в FPGA-плате Марсоход3GW2 (Gowin)
Для связи FPGA-платы с компьютером будем использовать последовательный порт. На плате Марсоход3GW2 стоит микросхема FTDI FT2232H и она позволяет соединение виртуального последовательного порта на скорости 12 Мбит/сек. Это более чем достаточно для наших нужд.
[ХАБРААРХИВ]
Девушкам: пять причин выйти замуж за айтишника и пять причин как следует подумать перед этим
Эта статья адресована девушкам, которым довелось встречаться или даже выйти замуж за айтишника, и рассказывает кое-что о сильных и слабых сторонах ваших избранцев. Кроме того, её не помешает прочесть и парням. Быть может, она поможет понять причину негодования вашей любимой.
#хабраархив
«Хочется написать программу и собрать её компилятором. Подразумевается, что все вычисления будут сделаны на этапе компиляции. Запускать программу не хочется. Но код должен работать. Взаимоисключающие параграфы? Возможно. Но сделать надо»
constexpr Game of Life
Неполученная Нобелевская премия: лечение катаракты путём имплантации интраокулярной линзы
В Лондоне 8 февраля 1950 года в обстановке секретности прошла первая успешная операция имплантации искусственного хрусталика глаза. Это стало возможно после того, как хирург Гарольд Ридли увидел сбитого лётчика, который отправился на боевое задание, забыв надеть защитные очки.
Дипломированный бухгалтер Дункан МакКейб из Торонто целый год выходил на пробежки, чтобы нарисовать из своих GPS-маршрутов анимацию с человечком в кепке на улицах города.
Всего ради шедевра МакКейб совершил 121 пробежку. В ходе этих тренировок он смог покрыть общую дистанцию в 1105 километров за 102 часа.
Защищаем контейнеры от киберрисков: опыт и рекомендации Cloud.ru
Вера Орлова из Cloud.ru, отвечающая за безопасность контейнеров и маркетплейс аддонов в Kubernetes, рассказывает, какие основные проблемы при работе с контейнерами существуют и какие вызовы встают перед разработчиками платформ контейнерной безопасности. Узнаем, на что стоит обращать внимание в первую очередь и какой подход к профилактике потенциальных уязвимостей и реальных проблем безопасности предлагают в компании.
Apple Intelligence на Андроид: обзор ИИ, портированных на мобильные устройства с локальным запуском
Мир мобильных технологий не стоит на месте, и сегодня на смартфонах можно запускать нейросети, которые совсем недавно требовали мощных компьютеров. Stable Diffusion, языковые модели, такие как LLaMa, и другие ресурсоёмкие ИИ теперь работают прямо у вас в кармане. В этой статье мы рассмотрим несколько таких приложений и как некоторые современные программные решения позволяют использовать смартфоны для работы с искусственным интеллектом.