66438
НЛО с вами! Хабр Новости → https://t.me/habr_com_news Хабр Карьера → https://t.me/habr_career Реклама (продвигаем только статьи с Хабра) → adv@habr.team Вопросы → @shelsneg Админ → @vololoshin
База, которую нужно знать про JSON Schema
Рассмотрим одну из тем, которая, как ни странно, остаётся недооценённой — JSON Schema. Если вы аналитик (или хотите им быть) и в вашей работе часто мелькают JSON-файлы, то вы наверняка знаете, как сложно порой бывает держать всё это под контролем. В этой статье мы разберём всё, что нужно знать про JSON Schema.
AMD и Intel собираются конкурировать с архитектурами ARM и RISC-V. Что ожидает индустрию?
Два крупнейших игрока на рынке процессоров с архитектурой х86 и одновременно конкуренты, AMD и Intel, на время решили стать союзниками. Почему? Чтобы успешно конкурировать с производителями чипов на архитектурах ARM и RISC-V. В рамках программы сотрудничества уже создана консультативная группа, в которую вошёл, например, Линус Торвальдс. Так что всё серьёзно, это вам не шутки.
Raptor 3: ключевое звено марсианской гонки
После удачного тестового полета IFT-5 следующее прорывное изменение от SpaceX — принципиально новые двигатели Raptor 3. Это будет не тестовый экземпляр для одного полета, а настоящая основа космической экспансии: их планируют выпускать по 500 штук в год — больше всех остальных двигателей для космических ракет во всех остальных странах мира вместе взятых.
Узнаем, почему параметры новых двигателей могут обеспечить настоящую революцию в освоении космоса и сможет ли Илон Маск реализовать их потенциал
«Я пишу эту статью в 30 лет, успев побывать на собеседованиях по обе стороны стола. В течение последнего года я проводил технические интервью и видел, как моложавых выпускников, едва достигших возраста, позволяющего арендовать авто, так и бывалых специалистов, проработавших в IT больше лет, чем мне отроду. И этот опыт прекрасно прояснил для меня общую картину»
Так ли важен возраст в IT?
Последовательное A/B-тестирование в Netflix. Часть вторая. Процессы подсчёта
В Netflix наблюдают за множеством метрик, многие из которых можно отнести к классу «счётных». В их число входят такие показатели, как количество входов в систему, ошибок, успешных запусков воспроизведения видео и даже количество обращений пользователя в колл-центр. В этой части описывается методология последовательного статистического анализа, применяемая в компании для исследования счётных метрик.
Энтузиасты прогнали из дома компьютерных ломастеров-«домушников» и нашли на забытом переносном HDD рабочую информацию, включая прайсы, зловредные инструкции и архивы со скриптами и вирусами.
Оказалось, что ломастера не брезгуют скрытым обманом клиентов и практикуют запуск различных деструктивных скриптов (включая сборки вирусов и троянов) в рабочей системе, чтобы выбить из пользователей побольше денег за ремонт ПК, который в итоге может стоить больше, чем новый ноутбук или компьютер среднего уровня. В случае отказа клиента от дополнительных услуг, ломастера могут оставить в системе зловред, который активируется через несколько часов или дней, чтобы клиент созрел на новую выплату за ремонт ПК.
⚡ Новости к этому часу
👍 Создатель онлайн-библиотеки Flibusta Stiver сообщил, что серверы проекта оплачены, сайт поддерживается и работает в стабильном режиме
🥳 Одному из отцов ИИ и создателю «Каиссы» Владимиру Арлазарову — 85 лет
🔌 Tesla продемонстрировала беспроводную зарядку для электромобиля-роботакси Cybercab (ВИДЕО)
🚀 НАСА заморозило миссии Starliner к МКС до нахождения лучшего пути Boeing к сертификации своей космической системы
🐈⬛ Учёные доказали, что коты — это жидкость
🛡 Cloudflare активировала ECH на своих серверах
😱 Исследование подтвердило наличие простого способа общаться с вашей кошкой
📱 Открытый проект kv4p HT позволяет превратить смартфон на Android в современный любительский радиопередатчик
🎉 Проекту Ubuntu Linux исполнилось 20 лет
👮♂️ Полиция Ирландии изъяла контрафактные AirPods и аксесcуары для iPhone на $174 тысячи
#новости
Устраняем ошибки USB-Blaster
Поговорим о способе перепрошивки китайского программатора, который избавит вас от вечно выскакивающих ошибок, синего экрана смерти, невозможности прошить FPGA и т. д. Эта заметка для вас, если вы купили самый дешёвый программатор USB Blaster с алиэкспресса, и он упорно отказывается работать в вашей ОС.
Дизайн и реализация виртуальной машины CPython
Наиболее интересной частью каждого языка, компилируемого в байт‑код является виртуальная машина (также известная как интерпретатор байт‑кода), в которой происходит исполнение байт‑кода. Поскольку это наиболее важная часть реализации языка, она должна быть крайне производительной. Даже если вы не занимаетесь разработкой компиляторов, знание внутреннего устройства её реализации может дать вам возможность найти новые способы оптимизации вашего кода, что может быть полезно в других областях вашей работы. А если вы занимаетесь разработкой компиляторов, вам всегда стоит исследовать реализации в других языках, чтобы найти для себя новые трюки и потенциально упущенные детали.
В этой статье мы обсудим формат инструкций байт‑кода CPython, а также реализацию цикла обработки байт‑кода в интерпретаторе, где он и исполняется
Этот парень был из тех, кто просто любит связь
Однажды в 1957 году советский инженер подал заявку на выдачу патента на устройство вызова и коммутации каналов радиотелефонной связи. По сути, это был мобильный телефон, по форме — трёхкилограммовая коробка с диском для набора номера, по содержанию — система с приёмником, преобразователем, передатчиком, коммутатором и дешифратором.
Инженера звали Леонид Куприянович, а устройство — ЛК-1
Техническая история Kubernetes: секреты создателя
Однажды Брайан Грант, первый lead architect Kubernetes, написал в Twitter серию тредов о технической истории проекта. Он рассказал о появлении разных фичей в K8s и логике, которая стояла за принятием отдельных решений. В этом году в честь очередного юбилея оркестратора Брайан собрал все твиты в одну статью. Это её перевод, из которого вы узнаете, как появились контроллеры рабочих нагрузок, декларативная модель ресурсов, descheduler и многое другое.
«Нечасто нам доводится изучать код, который до нас видели только считанное количество людей; код, который был важной частью разрушения системы апартеида в ЮАР; код, который использовался для защищённых коммуникаций с одноразовыми шифрами, контрабандой передававшихся в ЮАР на дискетах бортпроводником. Но мне довелось испытать это одним утром вскоре после того, как я расшифровал тридцатилетний файл PKZIP, пароль к которому давно забыли»
Взлом старого ZIP-файла с криптопрограммами подпольщиков ЮАР
Внедряем решение сорокалетней давности из советской «Форманты» в современную электрогитару
В большинстве выпускаемых сегодня электрогитар катушки звукоснимателей подключены к регуляторам громкости и тембра напрямую. Однако пара дополнительных конденсаторов даёт возможность значительно расширить палитру звучаний.
Лишние тумблеры не понадобятся, и эстетика инструмента не пострадает. Сегодня узнаем, как модифицировать гитару с простейшим трёхпозиционным переключателем путём установки потенциометров с функцией «пуш-пул».
Потянув ручку громкости или тона вверх, можно включить добавочный режим. Причём речь пойдёт не о банальной «отсечке» катушек хамбакеров, позволяющей получить звучание сингла, а о гораздо более интересных вещах.
«Чтобы повторить chatGPT, нужно собрать огромный массив данных (весь Интернет) и обучить на большом количестве видеокарт. Так как у меня нет возможности процессить эти данные, я повторю GPT на небольшом датасете всех произведений Шекспира»
Строим GPT с нуля и шаг за шагом
Сорок мегабайт простоты
Спустя шесть лет после предыдущего, найдено 52-ое известное простое число Мерсенна!
Числа Мерсенна — это двойки, возведённые в степень, минус единица. Было доказано, что такие числа иногда, весьма редко, бывают простые — и в этом случае экспонента непременно тоже представляет собой простое число. До середины прошлого века поиск таких чисел был довольно вялым, но с появлением ЭВМ, понятное дело, рванул вперёд — в первую очередь, конечно же, благодаря наличию алгоритма поиска с полиномиальной сложностью.
С тех пор простые числа Мерсенна удерживают практически весь пьедестал почёта самых больших известных простых чисел
Рождение GTA: как появились симуляторы гангстеров. Часть вторая. Двухмерные ад, угар и резня первого Grand Theft Auto
В середине 90-х годов в одной точке в лондонском офисе ВМС Interactive сошлись две идеи: несостоявшийся гангстер из богемной семьи Сэм Хаузер искал свежие идеи игр для молодёжи и попутно грезил о возможности творить беспредел хотя бы на экране, а гик из шотландского городка Дейв Джонс из DMA написал и предложил игру-песочницу Race 'N' Chase про большой живой город с кучей транспорта и пешеходов. Поначалу натерпевшийся от гопоты Джонс подразумевал игру за полисмена и нахлобучивание преступников, строго соблюдая при этом ПДД и законы — но по мере взаимодействия с ВМС и Хаузером родилась идея перевернуть всё с ног на голову и учинять бардак за криминальный элемент. Именно с первого билда Race 'N' Chase, где коп-протагонист был заменён на гангстера, и началась разработка первой игры в серии GTA.
Пацанский английский. Ленивый способ наконец выучить английский язык: без курсов, без зубрёжки, бесплатно
В этой статье автор делится подробным планом и ссылками на материалы и каналы, которые помогут вам прошить себя английским языком, полюбить его, полюбить себя в нём и получить трамплин для дальнейшего совершенствования.
На кой джуну пет-проекты: отзывы тех, кому они действительно помогли
Поговорим о том, как командная работа повлияла на каждого члена команды Collabry (в прошлом Sapphire, победитель Битвы пет-проектов 2023 от Хабр Карьеры), и узнаем, помогают ли пет-проекты в карьерном продвижении начинающего специалиста (спойлер: да, если правильно их готовить).
Программист Кейю Тянь устроился в компанию ByteDance стажёром и изнутри два месяца саботировал выполнение проекта по разработке нейросетей, добавляя ошибки в код. Из-за действий Кейю команда из трёх десятков разработчиков круглосуточно искала и устраняла постоянно появляющиеся баги в проекте.
Расследование показало, что стажёр:
— методично и последовательно загружал специальные Pickle-файлы со скрытым кодом, который был полон вирусов и вредоносных компонентов. Код в таких скриптах выполняется рандомно и автоматически, поэтому никто не мог понять, почему все усилия команды не приносят должной стабилизации;
— получил доступ и полностью изменил версию библиотеки PyTorch, на которой держались проекты. Он вносил туда маленькие изменения каждый день, а они обрушивали программы. При этом никто из разработчиков команды даже не подумал посмотреть в исходный код — задачи продолжали падать с ошибками и тонной багов, а все эксперименты приносили только неверные результаты;
— внёс настоящий хаос в чекпоинты — это файлы, которые помогают обучать нейронки и сохранять их промежуточные состояния. Он жонглировал параметрами моделей, менял данные обучения или просто удалял многие чекпоинты, а наработки команды пропадали, удалялись, их не было возможности повторить;
— не скрывался от встреч. Его не могли поймать быстро, потому что он ходил на каждый митинг и собирал решения команды по фиксу проблем. После созвонов стажёр знал, как собираются фиксить баги, и придумывал новые. Команда каждый раз не понимала, что происходит.
В итоге стажёра выловили по логам. Также в ByteDance пояснили, что команда из тридцати программистов целых два месяца работала впустую из-за деструктивных действий одного разработчика. У проекта команды сгорели все сроки, деньги заказчиков были потрачены зря.
«Апгрейды и софт — это хорошо, но надо позаботиться о сохранности данных при внештатных ситуациях, например, при отключении света. ИБП у меня уже стоит, но хватает его буквально до получаса, после чего он отрубает выход. Хотелось бы, чтобы сервера заранее выключались без потери данных»
Собираем бюджетный домашний NAS на 14 ТБ. Часть вторая. Софт, железо и всё такое
Postal 2: антигерой мира видеоигр
В начале 2000-х индустрия видеоигр делала большие шаги к мейнстриму, и жанр шутеров от первого лица бурно развивался. Это было время, когда игроки могли погрузиться в миры, нарушающие все возможные моральные и социальные нормы. Одним из таких проектов, что в первую очередь вспомнится большинству олдфагов, является Postal 2, вышедший в 2003 году. Он стал воплощением бунтарского духа того периода и своего рода символом той эпохи, ведь обещал игрокам беспрецедентную для FPS тех лет свободу и море чёрного юмора, будучи не столь сильно закован в рамки политкорректности. Всё это позволило ему взбудоражить игровое сообщество своей противоречивостью, заставляло задуматься, где грань между весёлой игрой и моральным вызовом. И пусть Postal 2 был далеко не первым проектом, стремившимся шокировать жестокостью, но он хорошо запомнился аудитории свой индивидуальностью, необычным подходом к геймплею и свободой, позволяющей творить настоящий беспредел!
Вспомним, чем он был так хорош, и действительно ли это обычный шутерок, обёрнутый в кровавую упаковку, или всё-таки в нём есть нечто большее
Пишем алгоритмы на самом ненужном языке в мире и страдаем
То, что будет происходить ниже — сущий ад. Мы будем писать простейшие программы на языке Whitespace. Этот язык настолько ненужный, что оригинальный сайт с интерпретатором для этого языка уже давно мёртв, все ссылки на оригинальные гайды соответственно тоже.
Мы с головой запрыгнем в язык, состоящий из пробелов, чёрт побери, что вам ещё нужно? А потом этим пробельным кодом отформатируем отрывок из книги «Война и Мир», и он будет прекрасно компилироваться.
На прошедшей неделе мы учились читать QR-коды без компьютера, разбирались, как устроены серийники для Windows, ускоряли генерацию BlurHash и выясняли, почему Space Launch System по-прежнему является бомбой с часовым механизмом.
Лучшие публикации недели (14-20 октября 2024)
Это база: алгоритмы сортировки для начинающих
Поговорим о двух алгоритмах сортировки: Quick Sort и Merge Sort. Узнаем, как они работают, как выглядят примеры кода на Python и Java, а также — как выбрать подходящий алгоритм под ваши задачи.
«Делюсь лайфхаком по уменьшению размеров Docker-образов. Как-то нам попалась на поддержку и развитие CRM-система, написанная на Ruby...
Обновили Ruby-пакеты и под них код, написали Dockerfile. Первая сборка была удручающей: образ в 2Гб. Это нормальный размер, если ты собираешь образ с Torch и другой ML-штуковиной, но CRM — нет. В результате дальнейших действий, удалось сократить размер образа до 200 Мб»
Mount — ещё один способ уменьшения размера Docker-образа
Как нарисовать завод на мнемосхеме
Допустим, надо отследить позиционирование ковша. Оператор может посмотреть детали, кликнув на нужный ковш, чтобы сразу увидеть его начальное, конечное и текущее положения в производственной цепочке. Или он может быстро просмотреть весь процесс в большом цехе размером с пару стадионов, и сразу отреагировать, если что-то пойдёт не так.
Ещё лет пять назад было бы трудно поверить, что такое возможно. У нас был Oracle, для отображения состояния оборудования и процессов применялись таблицы, графики, диаграммы, были даже текстовые описания. Это было низкоэффективно, требовало изрядно времени и усилий для обработки. Потом пришёл MES и понемногу всё закрутилось. Для MES-интерфейсов потребовался новый подход, так как в мире нет унифицированных решений для их разработки.
Чтобы внедрить мнемосхемы на производстве, пришлось изрядно поработать. Но задача была вдохновляющая, и оно того стоило.
[ХАБРААРХИВ]
Почему плохо быть слишком умным
Трудность в том, чтобы заставить людей признать свои слабости. Если вы всю жизнь почивали на лаврах своего интеллекта, довольно трудно признать, что он может искажать ваши суждения. Как говорил Сократ, мудрейший из всех людей тот, кто может признать, что он ничего не знает.
#хабраархив
Как собрать и запитать радиопередатчик из хлама для передачи сигнала SOS
Предположим, что вы каким-то образом попали на необитаемый остров — потерпев крушение или иным способом — например, вас удерживают там «злые дядьки-мафиозники».
Или же, допустим невероятное — произошёл конец цивилизации тем или иным способом, и вам необходимо связаться с другими разрозненными группами людей.
Одним из наиболее сложных (так как требует определённых технологических приспособлений) и в то же время одним из наиболее перспективных, ввиду своей дальности действия, является радиосвязь. Попробуем прикинуть, как нам это реализовать, не имея под рукой в буквальном смысле почти ничего.
Искусство аугментации: как улучшить модели компьютерного зрения без сбора новых данных
Представьте, что вы разрабатываете модель компьютерного зрения для распознавания кошек на фотографиях. Чем больше разных фото кошек вы покажете модели, тем лучше она будет справляться с задачей. Но что делать, если у вас не хватает фотографий? Вы же не пойдёте делать 10000 фотографий вашего питомца? На такой случай существует решение — метод аугментации данных.
Разберёмся в том, как работает аугментация — рассмотрим её влияние на точность моделей, разберём основные методы и инструменты для её реализации, обсудим лучшие практики и типичные ошибки при работе с этим методом.
Продуктивность и почему «сделать много всего» — это не про неё
Продуктивность сотрудника — один из важных показателей его успеха в работе. И люди, и компании могут понимать продуктивность по-своему: например, как способность выполнять задачи быстрее или как способность каждый день работать на пике своих возможностей, а может быть, как способность выдавать отличный результат по каждой задаче. Но важно одно: от продуктивности сотрудника нередко зависят его показатели, а с ними и зарплата.
Советов, как повысить продуктивность, ещё больше, чем интерпретаций этого понятия. Различные ресурсы в Сети рекомендуют сотни приёмов от организации рабочего пространства до биохакинга.
Узнаем у экспертов Хабр Карьеры, как они понимают продуктивность, что рекомендуют для её повышения, а от каких практик советуют воздержаться