Организация инфраструктуры на Kubernetes.
Наступила весна, у нас закончился Сезон Kubernetes и мы отобрали пять кейсов с описанием установки Kubernetes для разных задач. Мы попросили эксперта #CloudMTS рассказать про грабли и подводные камни этой установки:
«Разворачивание кластера Kubernetes уже мало кого может испугать. Взяв про запас инструменты вроде kubespray и хитрые Helm-чарты на любой случай в жизни, крепкий специалист может подготовить готовое к работе окружение с нуля за считанные минуты.
Кажется, что всё просто — однако самое сложное начинается уже после развёртывания инфраструктуры. Работающий кластер придётся постоянно обслуживать и мониторить показатели. Архитектурно кластер состоит из множества слоев: физические машины, диски и сеть, операционные системы, компоненты самого кластера, множество вспомогательных программ. И все это должно работать, стабильно отвечать на команды и быть устойчивым ко взлому.
Такая многослойная структура усложняет и администрирование собственной инстраструктуры: если что-то вдруг начинает работать не так, этому может быть в 20 раз больше причин, чем у Игоря Николаева. И все в вашей зоне ответственности. В облачных managed-решениях, как правило, вопросы администрирования закрываются проще: основная часть игорей николаевых отсекается благодаря вложенным в разработку тысячам человеко-часов команды провайдера».
Статьи-участники сезона
🤌 Создание Kubernetes-кластера на пальцах, или почему это не сложно
🎲 Не куб, а кубик: Kubernetes для не-highload
🖥 Создаём стенд для бэкенд-разработки на Bare Metal (и не только)
⛅ Как переехать в облака и не остаться без штанов
🦖 Не только работой едины — ARK+K3S+MetalLB
🏅 Итоги Сезона
5 классных сервисов на основе ИИ.
За последний год появилось огромное число новых сервисов, которые работают на нейронных сетях. Сегодня посмотрим на сервисы на основе нейронных сетей, которые не связаны с chatGPT, Midjorney или Stable Diffusion. Эти сервисы помогают обрабатывать аудио, преобразовывать текст в речь и удалять ненужные вещи с картинок.
⚡ Новости к этому часу
🙌Marvell представила новый сетевой чип Teralynx 10 с каналом 51,2 Тбит/с и оптическую платформу Nova
💻Ноутбук с Lisp, годами работающий от батареи (ФОТО)
📲СМИ — с февраля почти прекратились поставки в Россию смартфонов по серым схемам
🔋Для телеграма вышло обновление с режимом энергосбережения
👥Греф рассказал о двух волнах оттока IT-сотрудников Сбера в 2022 году
💶Binance закрыла для россиян покупку и продажу долларов и евро через свой P2P-сервис
#новости
«Еще умнее — еще проще для пользователя»: CEO Postgres Pro Олег Бартунов о будущем СУБД, open source и астрономии.
«Мы были очень рады, когда генеральный директор Postgres Professional, ведущий разработчик PostgreSQL Олег Бартунов согласился поговорить с нами об открытом ПО и новых вызовах, которые сейчас стоят перед разработчиками и пользователями, а еще о том, как большие данные помогают науке и в космических одиссеях. Передаем ему слово».
Как разработать канбан-доску на Django, DRF и Alpine.js.
Для структурирования и мониторинга рабочих процессов используют канбан-доски — например, Jira и Trello. Они особенно полезны, когда задачи состоят из множества этапов — согласования, выполнения, ревью и продакшена.
В статье рассказываем, как разработать собственную канбан-доску и развернуть ее на облачном сервере.
Исходников нет, но мы не сдадимся: портируем Android без каких-либо исходников от производителя.
Несмотря на то, что ядро Linux предоставляется под лицензией GPL, китайские производители зачастую не хотят публиковать исходный код ядер своих устройств. Но даже отсутствие исходного кода ядра не помешает нам подарить вторую жизнь герою нашей сегодняшней статьи — поддельной реплике Huawei P20 Pro на базе чипсета MT6580.
Сегодня мы узнаем подробнее про новые смартфоны за 7-8 тысяч рублей из онлайн-магазинов, портируем прошивку crDroid простым копированием файлов и посмотрим, как работает такой девайс в 2023.
«Недавно я снова отправился в поисках интересных гаджетов на барахолку под Валенсией. Напомню, это одна из самых больших барахолок, что я видел, она тянется по одной из улиц на несколько километров. Соответственно, интересных вещей там тоже море, от антиквариата до более-менее новых устройств».
КПК HP iPaq, Дюма 1870 года и PCMCIA факс-модем: новые находки на испанской барахолке.
В этой одежде системы распознавания будут считать вас животным.
У Рэйчел Дидеро интересный набор навыков: несколько степеней в области дизайна одежды и докторская степень в области машинного обучения Миланского политехнического университета.
Эти знания позволили ей выпустить коллекции одежды Manifesto. Она неказистая, зато в ней вы становитесь нераспознаваемые для ML-алгоритма детектирования Yolo, активно используемого для работы с уличными камерами.
⚡ Новости к этому часу
🔟В первую десятку мартовского рейтинга языков программирования TIOBE попал Go (ФОТО)
🔸Небольшой стартап выпустил Wist, видеоприложение «с поддержкой ностальгии»
🗂Минцифры не подтвердило утечку данных пользователей из баз данных НИИ «Восход», где в сети была аномальная активность
🔹Reuters — Китаю не хватит господдержки, чтобы преодолеть отставание в производстве чипов
👀США подозревают разведку Китая в попытке шпионажа при помощи китайских портовых кранов ZPMC
💳Amazon запустила ипотечную программу для сотрудников, которая позволит оплатить первоначальный взнос акциями компании
#новости
Эволюция стереотипов об айтишниках, программистах и одминах: не только кот, борода и бубен.
Образ айтишника — один из ключевых в интернет-культуре с момента ее появления. Со временем образ менялся и порой довольно сильно. Попробуем проследить за его изменением за прошедшие годы и десятилетия.
Готофобия — боязнь использовать инструкции goto. Обычно возникает из-за непонимания и незнания контекста этой проблемы, а также из-за историй о незапамятных временах в истории программировании. Разработчики, страдающие готофобией, готовы жертвовать удобочитаемостью своего кода, только бы не прибегать к goto.
О вреде GOTO-фобии (с примерами на C).
Эволюция нейросетей от Т9 до ChatGPT: объясняем на простом русском, как работают языковые модели.
В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас без работы. При этом мало кто понимает — а как вообще нейросети вроде ChatGPT работают внутри?
Мы объясним всё так, чтобы понял даже шестилетний гуманитарий.
Как известно, большинство UPS подключаются между розеткой 220В и NAS. При этом ничто не мешает разместить UPS внутри корпуса NAS или хотя бы позаботиться об этом заранее.
Рассмотрим вариант дизайна такого UPS, который можно разместить внутри корпуса для тех NAS, которые для работы требуют только одного напряжения питания 12В.
Как сделать простой UPS для NAS.
Как так получилось, что техподдержка занялась самопиаром внутри компании.
«Мы как-то сели и решили автоматизировать то, что легко автоматизируется. Плюс была гипотеза, что если начать разговаривать с пользователями как-то более системно, то они расскажут что-то интересное.
Выяснилось, что если рассказывать внутри компании о работе поддержки, то её начинают больше любить и понимать. И есть прямая связь между силами, потраченными на хорошие отношения с публикой, и количеством и качеством тикетов».
Вакансии для джунов на Хабр Карьере:
Data Engineer в VK. Москва, Санкт-Петербург. Можно удаленно. Полный рабочий день.
https://bit.ly/3kPN9UB
Дежурный администратор группы эксплуатации в ЛАНИТ. Можно удаленно. Полный рабочий день.
https://bit.ly/3kSMyl5
Junior C# разработчик в Московский Кредитный Банк. Москва. Можно удаленно. Полный рабочий день.
https://bit.ly/3EUH7cb
Администратор баз данных в КОРУС Консалтинг. Санкт-Петербург. Полный рабочий день.
https://bit.ly/3F18hy9
DevOps Engineer в МТС. Москва. Полный рабочий день.
https://bit.ly/3KYNS0c
Больше вакансий: https://bit.ly/3yfgjiY
#junior
Решили вспомнить прошлое и окунуться в атмосферу одного сайта с анонимными вопросами. Хотим поговорить о деньгах: спросите про них всё, что угодно — как выгоднее уволиться, куда можно вложиться и пр., — а мы найдем ответы.
Читать полностью…Кем работать в IT: scrum-мастер.
Сегодня о своем опыте работы нам расскажет Елена, скрам-мастер в Банке России. Поговорим о плюсах и минусах должности, подводных камнях и заработной плате.
Елена и команда Банка России также помогли нам составить карьерный трек скрам-мастера.
«Эту статью я задумал в первую очередь для неопытных пользователей, кто не знаком или не хочет разбираться в вёрстке и cms-системах, но при этом хотел бы иметь собственный небольшой сайт. Мы пошагово рассмотрим этапы, начиная с создания сайта и заканчивая его размещением на VDS сервере».
Будни техпода. Разворачиваем сайт из конструктора на vds за 130 рублей.
Уже совсем скоро, 13 марта, стартует Неделя фронтенда.
Участвующие компании расскажут о себе в формате коротких видеопитчей, а также поделятся горячими вакансиями по фронтенду. В конце недели встретимся с ребятами из компаний на IT-митапе. На встрече обсудим проекты компаний, технологии, тренды и ответим на ваши вопросы.
Подробности и регистрация
Слава роботам и искусственному интеллекту, а также всем, кто приближает его (ИскИна) светлое будущее. Вместе с ВТБ мы объявили на Хабре Сезон машинного обучения: если у вас есть интересный опыт в этой сфере, которым вы хотите поделиться, ждём ваших статей на Хабре.
А вот и наши первые участники:
• 10 первых ошибок в карьере ML-инженера
• Разработка кроссплатформенного приложения на Qt с использованием нейросетей, обученных на TensorFlow
• Как решать реальные задачи при помощи ChatGPT
• Как я делаю OCR
• Обработка естественного языка (NLP). Личный опыт — мой первый запуск BERT
• Как спрогнозировать спрос на самокаты и не захламить город, версия Whoosh
• Всё, что вы хотели знать о задаче определения остаточного ресурса оборудования
• NORUAS — домашний Саурон, но это не точно…
Если вам интересны последние достижениях в области ИИ и работы с данными, то можете зарегистрироваться и посмотреть конференцию Data Fusion от ВТБ
«У меня и моей команды накопилось много опыта по запуску MVP-проектов, и им хотелось бы поделиться. В этой статье рассказываю, как не допускать ошибок на этапе MVP и какие практики полезно внедрять сразу».
Как избежать проблем при запуске MVP.
Издательский пост.
«В редакции Хабра я работаю с конца 2020 года, а с февраля 2021 вернулся к издательской деятельности и с большим удовольствием тружусь в издательстве „БХВ“ из Санкт‑Петербурга. В этой статье я хотел бы рассказать о наиболее интересных переводных и авторских книгах, которые мне удалось выпустить за прошлый год и начало текущего года».
Сегодня посмотрим, как работает интернет. Ответим на вопросы: «Как браузер находит файл HTML для запрошенной веб-страницы?», «Как файл HTML превращается в интерфейс пользователя?», «Что можно сделать, чтобы ускорить этот процесс?», «Как устанавливается и поддерживается связь с сервером?»
Основы веба, которые должен знать начинающий разработчик.
Обычно PostgreSQL хорошо показывает себя под нагрузкой и оправдывает ожидания в отношении производительности — она остается высокой. Но при определенных профилях нагрузки СУБД может вести себя не так, как мы ожидаем. Это и есть аномалии, на которых мы сегодня сосредоточимся.
Аномалии под нагрузкой в PostgreSQL: о чем стоит помнить и с чем надо бороться.
Активность найма на IT-рынке в феврале 2023.
Ежемесячно мы смотрим, какие компании публикуют больше всего вакансий и изучаем активность найма в разрезе специализаций и квалификаций. А ещё собираем эффективные вакансии за месяц: те, которые привлекли больше всего внимания специалистов.
Собрали рейтинг активности найма в феврале — приглашаем посмотреть на лидеров прошлого месяца.
Недавно на Хабр Карьере появились Хабр Эксперты. Мы решили провести несколько карьерных консультаций в онлайне, чтобы показать, с какими вопросами можно приходить к ментору и как выглядит консультация изнутри.
Сегодня в 17:00 по мск пройдет встреча двух эйчаров: Дарьи (со стороны ментора) и Лилии (со стороны менти).
Задавайте вопросы в комментариях, если останется время — в конце консультации на них ответим.
Сложности оптимизации и администрирования Kubernetes.
В этом посте мы собрали четыре статьи по оптимизации и администрированию Kubernetes из нашего Сезона Kubernetes. Оптимизация и администрирование k8s — чуть ли не самая сложная часть работы, поэтому мы попросили рассказать о них эксперта #CloudMTS:
«Оптимизация Kubernetes идёт по пяти направлениям: производительность, масштабируемость, безопасность, управляемость и доступность. Часть требований к этим составляющим надо закладывать на этапе планирования архитектуры, а часть задач решать уже после развертывания кластера. Оптимизация после установки обычно требует повышенного внимания и отъедает кучу времени и ресурсов.
Частично эти трудозатраты снимают готовые платформы — на них удобно разворачивать инфраструктуру и проще её эксплуатировать. Например, с ними гораздо легче перевести кластер на новую версию, гарантируя его SLA. Работая с платформой, можно больше думать о конечном продукте и меньше — об инфраструктуре. Однако даже такая «простота» требует сильную внутреннюю команду. Есть у платформ и существенный минус — заметно снижается гибкость решения на самом низком уровне».
1. Настройка LDAP-аутентификации в кластере Kubernetes под управлением Deckhouse
2. Мониторинг межсервисного взаимодействия Kubernetes с помощью протокола NetFlow
3. Вжух и собралось, или как я ускорял сборку UI на базе kubernetes + jenkins и yarn + nx
4. Вам не нужен свой Kubernetes
5. Итоги Сезона
«Я получил доступ к ChatGPT в первую неделю его запуска и с тех пор часто им пользуюсь. В статье хочу высказать свои личные наблюдения, подкрепленные мнениями из сети.
Про достоинства ChatGPT сказано уже очень многое, поэтому предлагаю более пристально посмотреть на обратную сторону монеты».
Что не так с ChatGPT?
Весна идёт — весне дорогу! Итоги сезона Kubernetes.
С 29 декабря по 24 февраля на Хабре прошёл сезон Kuberbetes. Вместе с партнёром, #CloudMTS, мы вдохновляли хабраавторов публиковать статьи по k8s и контейнерам в соответствующем хабе.
Пришло время подвести итоги и узнать, кто получит новенький MacBook и грант в 30 000 рублей на то, чтобы написать ещё одну классную статью.
Как сайты определяют ботов? Деобфускация Akamai Bot Manager 2.0.
Akamai Technologies — американская компания, занимающаяся защитой веб-ресурсов от ботов с помощью своего продукта Bot Manager. В ее портфолио числятся Nike, Adidas и Asos, для которых особенно важен контроль за ботами, автоматизирующими процесс выкупа редких товаров с целью их перепродажи по завышенной цене.
В данной статье мы взглянем на скрипт антибота Akamai и рассмотрим, какие методы обнаружения через JavaScript в нем используются.