Выгрузка HDFS FSImage в Hive для мониторинга и аналитики: руководство к действию
Сколько места на диске используют таблицы Hive в HDFS? В каких из них много мелких файлов? Какая динамика у этих цифр? Что происходит в домашних каталогах пользователей? Кто прямо сейчас создаёт таблицу с партиционированием по timestamp и скоро «уложит» нэймноду по GC pause?
Системный архитектор развития платформы больших данных в Х5 Tech Борис Мурашин делится опытом работы с кластером Hadoop
⚡️ IT-новости к этому часу
💰 Google выплатит $391,5 млн по иску о слежке за американцами
🤦🏻♂️ Маск уволил разработчика приложения Twitter для Android с шестилетним стажем в компании из-за критики
⚙️ СУБД Postgres Pro Standard заработала на «Эльбрусах» и лишилась поддержки Windows
🥉 Две российские команды стали бронзовыми призёрами Финала студенческого чемпионата мира по программированию ICPC
🩺 Amazon запустила сервис текстовых консультаций с медиками
🆕 Seagate представила новые скоростные жёсткие диски Exos 2X18
📎 Microsoft выпустила рождественский свитер, который в этом году посвящён скрепке Clippy (ФОТО)
🛒 Уоррен Баффет купил долю в TSMC за $5 млрд
#новости
«Я решил реализовать обёртку на Golang, что оказалось чрезвычайно быстро и удобно. В итоге я выполнил эту задачу за один вечер, а получившуюся Golang-обёртку с базовыми функциями загрузил на GitHub.
В этой статье я вкратце расскажу о процессе написания API и моих шагах по реализации проекта»
Пишем обёртку для API Токийской фондовой биржи на Golang
«Программа покусилась на самое святое в работе резчика — его тридцатилетний опыт, позволяющий делать то, что не могут простые смертные. Мастера решили доказать бездушной машине, что она ещё сосунок»
Когда люди с трудом выиграли соревнование с алгоритмом — оптимальный раскрой листа металла
АНБ США порекомендовало IT-компаниям отказаться от языков C и C++.
Агентство национальной безопасности США выпустило отчет, в котором указало на то, что широко используемые языки программирования C и C++ дают хакерам больше возможностей для использования эксплойтов. В связи с этим эксперты АНБ рекомендуют переходить на более безопасные языки: C#, Go, Java, Ruby, Rust и Swift.
В отчете сказано, что C и C++ обеспечивают большую свободу программистам для выполнения необходимых проверок. При этом простые ошибки могут привести к эксплойтам. Благодаря таким уязвимостям хакерам удается получать доступ к конфиденциальной информации, выполнять произвольный код и нарушать цепочки поставок ПО, отмечают авторы документа.
Подробнее.
⚡️ IT-новости к этому часу
🚗 «АвтоВАЗ» переходит на отечественное программное обеспечение
🇺🇸 США ужесточают санкции против российских производителей и разработчиков микроэлектроники
🙅🏻♂️ Visa отказалась от партнёрства с криптобиржей FTX из-за её банкротства
⌨️ MelGeek собрала $690 тысяч на Kickstarter на производство клавиатуры из Lego (ФОТО)
🤖 Mundfish показала четырёх роботов-помощников в Atomic Heart, ставшими после сбоя серьёзными противниками
🌏 Численность населения Земли превысила 8 млрд
📱 Российские продавцы начали закрывать фирменные витрины Apple
👎 Пользователи жалуются, что браузер Safari на iOS прекращает работу после определённых запросов
💰 Эксперты оценили суверенитет РФ в сфере микроэлектроники в полтриллиона рублей
🩴 Старые сандалии Стива Джобса ушли с аукциона за $218 тысяч
#новости
Путь к сердцу полупроводниковой фабрики: какие литографы доступны России?
В этом обзоре рассмотрим текущую ситуацию с доступностью литографического оборудования в России — что имеется/разрабатывается у нас и что потенциально возможно купить на стороне.
«Мне надоело, что на работе меня постоянно отвлекают, сбивая фокус с задачи, так что техника помидора становится бесполезна. Я не нашёл удобных способов быстро сообщить всем вокруг, что в ближайшие 20 минут я в режиме гиперфокуса. При этом я не хочу выглядеть занудой, к которому все боятся подойти. Мне нужен был инструмент, который точно скажет всем окружающим, что именно в данный момент я занят и через сколько времени я освобожусь и буду готов пообщаться»
Опенсорсная статусная панель «Я занят»
7 килограммов портативности, или Ноутбук Amstrad ALT-386SX из 1988 года. Часть первая
Вряд ли можно представить кого-то, кто берёт с собой аппарат весом в 7 кг для того, чтобы поработать в аэропорте во время пересадки. Но в качестве переносного десктопа — это отличный вариант.
79 лет Питеру Нортону
Тот, кто застал эпоху «до Microsoft Windows», прекрасно помнит эти «синенькие панельки». Файловый менеджер Norton Commander безраздельно царствовал на персоналках конца восьмидесятых и начала девяностых. Любопытно, но факт: эту легендарную программу написал не Питер Нортон, как многие считают, а совершенно другой разработчик — Джон Соча. К слову, Norton Commander никогда не был флагманским продуктом компании Peter Norton Computing.
«Научная фантастика наводнена размышлениями о влиянии на человеческое общество открытия жизни или разума в других мирах и, тем более, встречи с ними. Но нам пора выйти за рамки теоретических размышлений об их потенциальном воздействии на человечество»
Учёные разрабатывают новый протокол контакта с инопланетянами в рамках SETI
⚡️ IT-новости к этому часу
💸 Российская дочка Game Insight признана банкротом
🇺🇸 АНБ США порекомендовало IT-компаниям отказаться от языков C и C++
🛰 Спутник Capstone вышел на лунную орбиту
🏦 В РФ вырос спрос на услуги по установке заблокированных сервисов банков
👎 Илон Маск раскритиковал основателя биржи FTX
🔙 Основная часть команда Apple по созданию поисковой системы перешла обратно в Google
⚙️ Инженеры установили семь GeForce RTX 4090 в один ПК и протестировали его (ФОТО)
#новости
В Китае электромобиль Tesla Model Y после штатного торможения и съезда на обочину резко ускорился, разогнался до максимальной скорости, сбивая на пути велосипедистов и мотоциклистов, а через полминуты всё это закончилось фатальной аварией. Водитель не смог остановить машину.
В результате инцидента два человека погибли, ещё трое серьёзно пострадали.
«При проектировании системы знание анти-паттернов и подвохов зачастую оказывается более полезным, чем знание самих паттернов. Отталкиваясь от этой идеи, я решил написать данную статью, чтобы рассказать о факторах, которые, на мой взгляд, приведут к созданию ненадёжных систем»
Как НЕ надо строить надёжные системы
«Я очень рад, что этот баг устранили. Это была самая серьёзная уязвимость из найденных мною, настолько крупная, что я начал по-настоящему переживать о сроках её устранения и о том, чтобы самому сохранять её в тайне»
Как случайно обойти блокировку Google Pixel и получить за это $70 тысяч
Как портят софт ради обратной совместимости
«Ожирение софта» — известная беда современной разработки. Повышение производительности железа зачастую воспринимается менеджерами как возможность игнорировать рефакторинг, всё равно никто не заметит тормозов. Проще докупить железа, чем тратить время на оптимизацию.
Но есть ещё одна серьёзная причина, по которой ожирение софта и тормоза увеличиваются с каждой версией — это легаси. Накопление старого балласта ради сохранения обратной совместимости. Хуже того, иногда происходят поистине вопиющие случаи, когда баги умышленно вводят в кодовую базу, чтобы сохранить совместимость со старыми программами.
Вскоре после публикации новости про обвинительный приговор в Томске, вынесенный за использование защищённого мессенджера VIPole, стало известно об ещё одном «свежем» деле с обвинением по ч.2 ст. 273 УК РФ. Житель Ахтубинска Сосин П.В. был осуждён за производство и распространение некой вредоносной программы WASP 1.0.
Информационная служба Хабра нашла родственников осуждённого, которые согласились предоставить все документы и подробности по этому делу. Как выяснилось, программа состоит из трёх опенсорсных элементов: SQLmap, Apache HTTP-сервер и сканер Arachni. Как рассказали родственники, Сосина приговорили к штрафу и реальному заключению именно за использование SQLmap, поскольку утилита считается вредоносной на территории РФ, что в суде подтвердили представители ФСБ России.
Подробности дела в материале Хабра.
#кибербезопасность #законодательство #OpenSource
🥳 С днём рождения, ICQ!
Наверное, среди тех, кто пользовался компьютером и Интернетом в девяностые, нет ни одного человека, который не слышал бы об этом мессенджере. Сколько пар познакомилось благодаря ICQ, сколько романтических историй и разбитых сердец на счету этой программы — не счесть. Фраза «стукнись мне в аську» прочно вошла в обиход на рубеже тысячелетий, а само приложение стало поистине легендарным.
Сегодня ICQ отмечает свой 26-й день рождения
Пишем приложение на Mi Band 7 с сервисной частью
Автор углубился в байткод приложения и документации по ZeppOS, чтобы найти способ создавать приложения, взаимодействующие с Интернетом, и в этой статье опишет свой путь.
Укрощаем одноглазого змея: разбираемся с WireGuard и делаем свой «умный» VPN
Забавная ситуация: сайтов и сервисов, доступных только через VPN, всё больше, но при этом многие российские компании закрывают доступ из-за границы. В результате приходится целыми днями теребить ползунки «вкл-выкл», что утомительно. Поговорим о том, как с помощью магии маршрутов и WireGuard решить эту проблему и сделать «умный» VPN, который не надо отключать.
«Информации не хватает. Очень не хватает. Ни в каких газетах и журналах её нет, а она нужна. <…> Я уверен, что автоматизация этого процесса и его менеджмент помогут многим людям, оказавшимся в СИЗО и колониях, и что-то мне подсказывает, что их количество будет расти»
Боевой ИТ-листок, или Как побороть информационный голод в заключении
Звуковая карта USB на STM32. Часть вторая. Используем встроенный АЦП
Разберём несколько неочевидных нюансов подобной реализации, а в финале сравним характеристики линейного входа на встроенном АЦП с характеристиками линейного входа на кодеке TLV320AIC3104IRHB.
⚡️ IT-новости к этому часу
👽 В НАСА объяснили, почему мы не встретились с внеземными цивилизациями
🎮 EA запатентовала систему, призванную отслеживать поведение геймеров в онлайн-играх для борьбы с читерами
🔭 «Хаббл» запечатлел плотное скопление газа и пыли CB 130-3
🐀 Учёные создали шлем виртуальной реальности для мышей на базе Raspberry Pi (ФОТО)
💰 Джефф Безос впервые заявил, что готов раздать большую часть своего состояния
📈 В России в два раза выросли продажи дисков DVD и Blu-ray с фильмами и музыкой
⚠️ Фирма 1С выпустила срочное объявление. Обновите платформу «1С: Предприятие 8»!
☄️ Российский орбитальный детектор TUS зарегистрировал 13 новых метеоров
🕶 Huawei рассказала о своих новых умных очках Vision Glass
#новости
А как у них? Культурные различия IT-гигантов: МЯСО vs FAANG
Даже при смене компании есть множество подводных камней и рисков. Если же к этому добавить смену страны/культуры, то всё становится ещё более весёлым. Но чего же, всё-таки, стоит ожидать? Разберём разные аспекты рабочих процессов «у нас» и «у них».
Ищем дизайнеров для участия в публичном собеседовании!
Онлайн-собеседование с эйчаром — отличная возможность потренировать навыки самопрезентации и получить обратную связь в спокойной обстановке.
👉 Подать заявку
Сейчас мы собираем заявки от дизайнеров, но вы можете оставить заявку любой специализации — возможно, мы выберем вас для следующего собеседования.
Дэвид Кроненберг — психолог ужасов
Каково это — на протяжении уже пятидесяти лет завораживать зрителя бесконечным насилием, оставаясь на своём пути тонким философом и предвестником новых тревог и страхов? Канадец Дэвид Кроненберг, а точнее его разношёрстная фильмография, попытается дать ответ на этот вопрос.
«Как получить root-доступ к Tesla? Как разобрать компьютер? Как подключиться? Чем отличаются компьютеры Тесла? Что делать, если экран черный, а машина едет? Эти и многие другие вопросы мне задают регулярно.
На текущий момент прошлую статью о ремонте Тесла прочитали более 56000 раз. Я получаю огромное количество вопросов, постараюсь ответить на самые распространённые из них»
Чини опять свою Теслу сам, тыжпрограммист
«У меня возникла идея, что используя только расширение браузера возможно реализовать трекер с фактически любой функциональностью.
В качестве Proof-of-Concept я попробовал самую простую идею, добавить старую версию трекера в правый сайдбар. Всё получилось даже проще, чем казалось»
Пятничный трекер
Flipper Zero помог хозяевам вернуть потерянного два года назад кота
Один из обладателей Flipper Zero нашёл в своём саду бездомного кота. У животного был установлен имплант — RFID-бирка для животных. С помощью Flipper Zero оказалось очень просто считать ID чипа кота, но перед этим его нужно было поймать и погладить. Потом обладатель Flipper Zero обратился в ветеринарную службу для проверки здоровья кота и по открытой базе Animal-ID нашёл хозяев. В итоге кот вернулся домой. Животное пропало 2 года назад, но сейчас с ним всё в порядке.
⚡️ IT-новости к этому часу
💰 Криптобиржа FTX сообщила о взломе, хакеры вывели более $380 млн
⚖️ Правообладатель бренда «В лавке» подал иск к «Яндексу» на 100 млн рублей
🇹🇷 Российским пользователям заблокировали возможность создавать аккаунты в турецком PlayStation Store
🚘 Tesla сокращает подразделение солнечных панелей и набирает инженеров на проект Cybertruck
🛩 В новой версии Microsoft Flight Simulator можно поиграть в старые версии Microsoft Flight Simulator
💕 Сервис «VK Знакомства» запустил рандомный чат, где собеседника подбирает алгоритм
🎮 В Госдуме раскритиковали запрет на видеоигры серий Assassin's Creed, The Last Of Us, Dragon Age и Fallout
👨💻 В Twitter начали сокращать сотрудников, работающих по договору подряда
🏆 Outsiders (Virtus.pro) победила на чемпионате мира IEM Rio Major 2022 по CS:GO (ФОТО)
#новости