66437
НЛО с вами! Хабр Новости → https://t.me/habr_com_news Хабр Карьера → https://t.me/habr_career Реклама (продвигаем только статьи с Хабра) → adv@habr.team Вопросы → @shelsneg Админ → @vololoshin
5 млн долларов за строчку кода: подробный разбор сбоя сервисов Datadog
В марте сервисы Datadog не работали более суток. Что пошло не так, как отреагировала команда инженеров и что можно извлечь из этого инцидента? Это перевод эксклюзивного исследования, которое провел Гергели Орош, консультант mobile.dev, автор нескольких книг по работе с инфраструктурой, в прошлом — инженер в Uber, Skype и Microsoft.
Дети, вашему Хабру 17, вы просто поверьте, а поймёте потом
Некоторые авторы уже 2-3 года как младше Хабра. 17 лет — большой срок для любого интернет-ресурса и прожить их в онлайне гораздо тяжелее, чем в оффлайне: ежемесячно появляются новые технологии, требования, законы, правила игры и им нужно соответствовать, если хочешь быть современным, актуальным и, что важно, своевременным.
Хабр смог! Ежемесячно сюда заходят 12 млн уникальных пользователей, которые находят что-то нужное, ценное, интересное: туториалы, ответы на вопросы, занимательное чтиво, свежие новости, активные дискуссии, возможность поделиться знаниями и опытом, да хоть новую работу. Чтобы всё это работало, команде Хабра иногда приходится работать 24/7.
Как любой герой, Хабр окружён мифами. Давайте сегодня поговорим про самые странные, прикольные и несправедливые.
«В начале внедрения операторы, понятно, не очень доверяли значениям сервиса. Но мы старались объяснить и вовлечь — постепенно люди стали помогать сервису стать точнее: вовремя сообщать об ошибках и участвовать в анализе их причин, а теперь просто пользуются.
Итог по результатам нескольких месяцев работы — суммарное уменьшение задержек на пять часов»
Ключевое звено всего производства: прокатный стан длиной 1,5 км и как в НЛМК его немного доработали
Разные идеи по апгрейду DIY-процесса изготовления печатных плат
У любых людей, имеющих отношение к электронике и программированию, периодически возникает потребность набросать некую платку для реализации какой-либо идеи. В этой статье предлагается ряд мыслей, как улучшить этот процесс.
Как настроить миграцию etcd между облачными кластерами Kubernetes и избежать простоев
Допустим, вам нужно перенести хранилище данных из одного кластера в другой. А выключать его нельзя, потому что это может вызвать незначительный (или значительный) коллапс сервисов, которые с ним работают. В этой статье мы рассмотрим не самый очевидный и популярный способ переноса etcd из одного облачного кластера Kubernetes в другой. Такой способ поможет избежать простоя и связанных с ним последствий.
«Если вы сталкивались с недостатком общения и эмпатии у себя в команде, если вы иногда жалеете, что ваша команда редко встречается лично, то, думаю, вам может пригодиться мой опыт.
Команда разработки и вообще любая группа людей — это сложный клубок из межличностных отношений и персональных компетенций. Я руковожу командами разработки и эксплуатации уже 8 лет, и за это время встречался с разными командными проблемами. Хочу предложить вам свою методологию их решения при помощи разговорных ролевых игр»
D&D как инструмент тимлида
Сам себе игровая консоль: превращаем планшет с нерабочим тачскрином в игровой девайс из 8 кнопок и микроконтроллера
К сожалению, в наше время многие старые, но весьма неплохие по характеристикам гаджеты отправляются напрямую в помойку, и их владельцы не подозревают, что им можно найти применение. Сервер, мультимедийная-станция, да даже просто как TV-приставка — люди в упор не замечают сфер, где старенький планшет мог бы быть полезен. Но как быть, если посвящаешь жизнь портативным гаджетам, кодингу и копанию в железе? Правильно: сделать довольно мощную игровую консоль из старого планшета самому!
В этой статье автор расскажет, как сделал свою портативную приставку из планшета с нерабочим тачскрином, Raspberry Pi Pico и восьми кнопок
Архитектура и реактивное программирование
Что такое реактивное программирование? Не Rx. И даже не Excel. Это архитектурный паттерн, позволяющий абсолютно иначе писать код. В статье мы устаканим фундаментальные знания, утвердимся в том, что React.js всё же является реактивным, и подумаем о том, как и когда нужно, а когда не нужно применять паттерны реактивного программирования.
⚡️ Новости к этому часу
🖥 Samsung представила OLED-дисплей со встроенным сканером отпечатков пальцев и датчиком давления
🆕 Вышел nginx 1.25.0
🔭 Учёные впервые рассмотрели полярный циклон на Уране
📄 Веб-сервер Angie PRO, созданный бывшей командой Nginx, добавлен в реестр отечественного ПО
🏫 «Тинькофф-банк» зарегистрировал свой университет
💸 Обанкротившаяся Virgin Orbit продала часть активов и оборудования за $36 млн
🫀 В России создали покрытие для сердечных насосов, способное решить проблему тромбов
📱 Amazon представила планшет Fire Max 11 со стилусом и внешней клавиатурой
🖨 Росатом и СПбГМТУ создали самый большой лазерный 3D-принтер в России
☀️ На Солнце заметили гигантское пятно, в четыре раза превышающее размер Земли (ФОТО)
#новости
В целях борьбы с сокращением экономики — все ко станку!
Ассоциация патриотических предпринимателей России обратилась к Министерству труда с просьбой ввести шестидневную рабочую неделю. Обращение уже опубликовано на всех сайтах, от КП до РИА Новости. И действительно — самое время, а почему бы и нет!
«Как-то раз мы сидели с другом и подумали: а что, если попробовать управлять вещами реального мира из мира виртуального?! Например, роботами. Мысль не новая, и в том или ином воплощении она широко распространена, например, в области IoT. В результате мы разработали роботов и систему удалённого управления»
Робохоккей онлайн, или Как в RUVDS сделали роботов, которыми можно управлять через Интернет
Как правильно проектировать электронику
Все электронные гаджеты, окружающие нас, были кем-то придуманы, формализованы в электрической схеме. Для них были спроектированы печатные платы, заказаны и установлены комплектующие, и в итоге было собрано готовое изделие. Каждый из этих этапов может быть реализован совершенно по-разному: от «ручной» самодеятельности до полностью автоматизированного цифрового подхода.
В этой статье мы поговорим про все уровни и варианты создания электронных устройств и подробно рассмотрим новейшие технологии в проектировании электроники
Рендеринг на сервере и HTMX — это будущее
Сегодня пользователи ожидают от веб-приложений плавной работы без перезагрузок страниц. К сожалению, эти ожидания обычно реализуются в виде одностраничных приложений, использующих библиотеки и фреймворки наподобие React и Angular. Эти фреймворки очень специализированы и с ними может быть трудно работать.
Новый подход заключается в том, чтобы вернуть возможность реализации этого UX в руки инженеров, разрабатывавших веб-сайты до возникновения безумия SPA, используя готовые наборы инструментов и знания
«Хочу поделиться собственным опытом вывода изображения на монитор через VGA-интерфейс. Я понимаю, что подобная задача решалась много раз разными людьми на разном оборудовании. Поэтому призываю всех причастных к этой теме отписаться в комментариях о своих вариантах реализации и особенностях разработки»
И снова про VGA
«Смерть от переработок. Эта новость, с одной стороны, повергла меня в шок, а с другой заставила задуматься о нескольких важных, на мой взгляд, вещах. Суть: девушка, 29 лет, инженер-тестировщик, умерла от того, что организм не выдержал той ситуации, в которой он оказался»
Как 29-летнюю девушку похоронил стресс
В бигдате два вида спорта. Первый — организация загрузки, мониторинга и бэкапирования, второй — применение имеющихся данных для бизнес-задач. Участники сезона Big Data уверенно идут в обоих дисциплинах.
Читайте невыдуманные истории о том, как ошибки в мониторинге привели к 30 Tб лишних данных, а также о структурирования кредитного портфеля и неклассической детекции.
👹 Бигдата, ты ли это?
💼 Структурирование кредитного портфеля методами машинного обучения
🧒 Все DETR'ы мира
Какие ещё были интересные кейсы в сезоне:
🎲 Байесовский подход к A/B-тестированию
🐦 Как дать крылья своей сводной таблице в Apache Superset
🧙 Как мы делали скоринг на микросервисной архитектуре руками не-программистов
🏥 Геопространственные технологии для управления паспортом медицинского участка
⚖️ Тварь дрожащая или право имею: как мы лепили виртуального юриста из русскоязычных нейросетей
Если вы тоже хотите поделиться опытом, ждём ваших статей на Хабре. Только поторопитесь, сезон Big Data мы проводим вместе с Газпромбанком до 7 июня.
«Мы расскажем о быстром Modbus, который значительно ускоряет хорошо знакомый всем протокол, о новых устройствах и планах разработки»
Транскрипт доклада Wiren Board с конференции и выставки WBCE 2023
Ну что, котаны, Хабру сегодня 17 🙀
И пока вы проверяете «Википедию», чтобы убедиться, так ли это, мы объявляем операцию под кодовым названием «Ревёрс-днюха». Это когда подарки дарятся не имениннику, а именинником.
Условия такие: вы отправляете в коммент поздравительную открытку, которая (ВНИМАНИЕ!) сгенерирована нейросетью — и картинка, и текст. Важно, чтобы из текста и/или картинки было понятно, что вы поздравляете Хабр. Авторы самых креативных пожеланий получат эксклюзивный хабрамерч.
Заранее всем спасибо за поздравления, и погнали! 🤗
Привет, Хабр! Меня зовут Татьяна Шаврина, я — лид команды NLP в Институте AIRI. Мы исследуем большие языковые модели и развиваем методы на стыке ИИ и лингвистики. В этом посте я собрала золотые, на мой взгляд, публикации, которые рассказывают о проблемах языковых моделей.
🔹 Интересная статья про масштабирование языковых моделей и закон Мура. Нейросети требуют больших вычислительных мощностей. Что будет дальше, если отмасштабировать наш прогресс? В статье классно описаны три расхожих утверждения об ИИ. Перед прочтением рекомендую посмотреть это видео, так как по тексту автор пытается разобраться, что из сказанного там правда.
🔹 Проблемы современного машинного обучения — системное описание, позволяющее быстро понять, какие ограничения встречаются на пути разработки моделей сейчас. Для NLP можно придумать ещё много всего, зато тут масса актуального для LLM.
🔹 Подробная статья про обучение самой большой модели для русского языка — YaLM на 100 млрд параметров. Хорошо написано о том, как модель обучалась и ускорилась в два раза. Хотя, конечно, хочется увидеть бенчмарк-метрики на прикладных задачах.
С командой в прошлом году поучаствовали в создании самой большой open-source языковой модели на 176 млрд параметров и 59 языков мира, BLOOM. Как исследователи мы занимаемся оценкой и интерпретацией LLM. Именно многоязычная аналитика результатов BLOOM — наша часть в международном проекте на 400+ авторов.
Мы работаем и над тем, чтобы масштабировать языковые модели на все языки мира, ведь сейчас они обучаются, в основном, на самых популярных. На Хабре постараемся больше рассказывать о малых языках России, с которыми работаем.
🔸 Сам себя не похвалишь… Хочу тут поделиться и своей статьёй про подходы zero-shot и few-shot в генерации, а также о том, как готовить генеративные модели, чтобы без обучения решать различные прикладные задачи. В институте мы используем zero-shot- и few-shot-методы для фундаментальных исследований. Нам интересно, как сделать определённую технологию с применением этих методов для малых языков России и какие задачи вообще можно решать с их помощью.
🔸 А ещё статья — пересказ работы Франсуа Шолле: как оценивать самые разные интеллектуальные системы и почему мы всё ещё не можем адекватно измерить интеллект. Рекомендую главу о том, что ожидать от идеального теста ИИ, и про первую попытку сделать такой тест. В прошлом году проводили с коллегами воркшоп по этой же теме. Надеемся сделать ещё мероприятия, посвящённые нашим направлениям исследований, — будем держать в курсе!
В AIRI мы часто работаем с «мышлением» нейросетей: исследуем логику моделей и смотрим, противоречит ли она теоретическому представлению о языке. Наши исследования позволяют понять, как учёные структурируют понимание о мире. Скоро расскажем об этом на Хабре, а также о том, как нейросети ищут информацию и обрабатывают данные. Подписывайтесь и следите за обновлениями!
Причуды эволюции: необычное «железо», которое не должно было появиться. Часть вторая
Если три очерка из первой части идут в порядке очередности и следуют практически друг за другом, то следующие три берут начало в одно и тоже время, весной 2003 года, когда Intel выпустила ряд крайне удачных продуктов, каждый из которых в итоге «засветился» по-своему.
Оценка курсов на Хабр Карьере: обновление маркетплейса
Мы обновили раздел «Образование» — теперь это маркетплейс курсов в IT, где айтишники могут подбирать курсы под свою специализацию, рекомендовать их другим и оставлять отзывы. А ещё в честь запуска решили устроить праздник, и всем, кто оставит отзыв о пройденном курсе, подарить подарки от школ дополнительного IT-образования.
Смотрите, выбирайте, активируйте понравившиеся бонусы!
Вакансии для джунов на Хабр Карьере:
Cтажер Android в Scanny. Можно удаленно. Неполный рабочий день. От 20 000 до 40 000 ₽.
QA Automation Python в МТС. Можно удаленно. Полный рабочий день.
UI/UX Designer в Aston. Екатеринбург. Можно удаленно. Полный рабочий день.
AppSec engineer в Циан. Можно удаленно. Полный рабочий день.
С++ разработчик в NAUMEN. Можно удаленно. Полный рабочий день.
Больше вакансий
#junior
Организация внутреннего митапа в ИТ-компании: ожидание vs. реальность
Во многих ИТ-компаниях популярен формат внутренних митапов — встреч, на которых специалисты обсуждают особенности своей работы, обмениваются опытом и знаниями, просто общаются. Митап более неформален, чем тематическое собрание или внутренняя конференция, и идеально подходит для нетворкинга. Но при этом нельзя сказать, что митап — дружеские посиделки под пиво. Организация такого мероприятия не так проста, как кажется на первый взгляд, и требует определённых последовательных шагов.
Ребята из «МойОфис» рассказывают, с чем они столкнулись при подготовке первого внутреннего митапа, что у них в итоге получилось и какие выводы они сделали
Всегда говори «нет»: как принять и полюбить отказы, используя их для своего развития
Каждый из нас хоть раз в жизни получал отказ. Слышать «нет» так неприятно, что мы сами стараемся реже отказывать другим. В результате — лишние обязанности на работе или нереализованные возможности. В этой статье сотрудники Selectel делятся своими историями, как они столкнулись с отказом, но повернули ситуацию в свою пользу.
Знакомимся с участниками Недели аналитиков!
8️⃣ МТС
«МТС — крупнейшая экосистема цифровых сервисов. Мы создаём мобильные приложения, продукты в финтехе, медиа, стриминге, «облаках», BD и многом другом»
Голосуйте за лучшие питчи, откликайтесь на вакансии с секретной фразой «Неделя аналитиков 2023» и подключайтесь к IT-митапу 26 мая.
👉 Подробнее о проекте
У HDD нет будущего? Погодите, не так быстро…
Будущее HDD зависит от того, кого спросить. Есть адепты SSD, которые не видят в «устаревшей» технологии HDD никаких перспектив. Действительно, SSD прогрессируют гораздо быстрее: это касается и технологического прогресса, и стоимости. Если экстраполировать нынешние темпы развития отрасли, то создаётся впечатление, что SSD вытеснят HDD во всех сферах применения в ближайшие десятилетия.
Но по факту этого не происходит
⚡️ Новости к этому часу
💻 На AliExpress заметили ноутбук на базе процессора Intel 8088 с поддержкой MS-DOS и Windows 3.0
👨🏻🔬 Учёные СО РАН удешевили производство водорода в два раза
🏦 Российские банки выпустили около 1 млн платёжных стикеров по итогам первого квартала 2023 года
🧱 Lego выпустила набор с марсоходом «Персеверанс» и вертолётом «Индженьюити» (ФОТО)
👥 За три года в России вдвое выросла аудитория компьютерных клубов
🔄 Обновление KB5026361 для Windows 10 вызывает BSOD и самопроизвольную перезагрузку ПК
🇯🇵 В Японии впервые арестовали ютубера за видео со спойлерами к игре
🇫🇷 Франция запретила внутренние перелёты, если тот же путь можно преодолеть менее чем за 2,5 часа на поезде
🤖 В бета-версии Photoshop появились генеративные ИИ-функции
#новости
Первая статья на Хабр: полный чек-лист
Написать первую статью всегда непросто: страхи, вопросы, сложности смущают автора и заставляют отложить задачу в долгий ящик. А если дело касается профильных, тематических изданий, то добавляются сомнения в себе. Мы все через это прошли, поэтому решили написать подробный туториал для начинающих авторов.
Итак, разберём типичные ошибки, которые совершают авторы в своих первых публикациях
Как построить систему геоаналитики с применением ML
Геоаналитика помогает бизнесу принимать решения: где открыть магазин, построить отель или возвести новостройку с учётом доступности и популярности локации, наличия конкурентов и сотен других факторов. Решать подобные аналитические задачи с большим количеством значимых признаков помогает машинное обучение.
В этой статье мы рассмотрим примеры работы сервисов геоаналитики VK Predict. Выясним, какие модели машинного обучения используются при построении таких систем и из каких этапов состоит разработка продукта с возможностями геоаналитики.
