66437
НЛО с вами! Хабр Новости → https://t.me/habr_com_news Хабр Карьера → https://t.me/habr_career Реклама (продвигаем только статьи с Хабра) → adv@habr.team Вопросы → @shelsneg Админ → @vololoshin
В бигдате два вида спорта. Первый — организация загрузки, мониторинга и бэкапирования, второй — применение имеющихся данных для бизнес-задач. Участники сезона Big Data уверенно идут в обоих дисциплинах.
Читайте невыдуманные истории о том, как ошибки в мониторинге привели к 30 Tб лишних данных, а также о структурирования кредитного портфеля и неклассической детекции.
👹 Бигдата, ты ли это?
💼 Структурирование кредитного портфеля методами машинного обучения
🧒 Все DETR'ы мира
Какие ещё были интересные кейсы в сезоне:
🎲 Байесовский подход к A/B-тестированию
🐦 Как дать крылья своей сводной таблице в Apache Superset
🧙 Как мы делали скоринг на микросервисной архитектуре руками не-программистов
🏥 Геопространственные технологии для управления паспортом медицинского участка
⚖️ Тварь дрожащая или право имею: как мы лепили виртуального юриста из русскоязычных нейросетей
Если вы тоже хотите поделиться опытом, ждём ваших статей на Хабре. Только поторопитесь, сезон Big Data мы проводим вместе с Газпромбанком до 7 июня.
«Мы расскажем о быстром Modbus, который значительно ускоряет хорошо знакомый всем протокол, о новых устройствах и планах разработки»
Транскрипт доклада Wiren Board с конференции и выставки WBCE 2023
Ну что, котаны, Хабру сегодня 17 🙀
И пока вы проверяете «Википедию», чтобы убедиться, так ли это, мы объявляем операцию под кодовым названием «Ревёрс-днюха». Это когда подарки дарятся не имениннику, а именинником.
Условия такие: вы отправляете в коммент поздравительную открытку, которая (ВНИМАНИЕ!) сгенерирована нейросетью — и картинка, и текст. Важно, чтобы из текста и/или картинки было понятно, что вы поздравляете Хабр. Авторы самых креативных пожеланий получат эксклюзивный хабрамерч.
Заранее всем спасибо за поздравления, и погнали! 🤗
Привет, Хабр! Меня зовут Татьяна Шаврина, я — лид команды NLP в Институте AIRI. Мы исследуем большие языковые модели и развиваем методы на стыке ИИ и лингвистики. В этом посте я собрала золотые, на мой взгляд, публикации, которые рассказывают о проблемах языковых моделей.
🔹 Интересная статья про масштабирование языковых моделей и закон Мура. Нейросети требуют больших вычислительных мощностей. Что будет дальше, если отмасштабировать наш прогресс? В статье классно описаны три расхожих утверждения об ИИ. Перед прочтением рекомендую посмотреть это видео, так как по тексту автор пытается разобраться, что из сказанного там правда.
🔹 Проблемы современного машинного обучения — системное описание, позволяющее быстро понять, какие ограничения встречаются на пути разработки моделей сейчас. Для NLP можно придумать ещё много всего, зато тут масса актуального для LLM.
🔹 Подробная статья про обучение самой большой модели для русского языка — YaLM на 100 млрд параметров. Хорошо написано о том, как модель обучалась и ускорилась в два раза. Хотя, конечно, хочется увидеть бенчмарк-метрики на прикладных задачах.
С командой в прошлом году поучаствовали в создании самой большой open-source языковой модели на 176 млрд параметров и 59 языков мира, BLOOM. Как исследователи мы занимаемся оценкой и интерпретацией LLM. Именно многоязычная аналитика результатов BLOOM — наша часть в международном проекте на 400+ авторов.
Мы работаем и над тем, чтобы масштабировать языковые модели на все языки мира, ведь сейчас они обучаются, в основном, на самых популярных. На Хабре постараемся больше рассказывать о малых языках России, с которыми работаем.
🔸 Сам себя не похвалишь… Хочу тут поделиться и своей статьёй про подходы zero-shot и few-shot в генерации, а также о том, как готовить генеративные модели, чтобы без обучения решать различные прикладные задачи. В институте мы используем zero-shot- и few-shot-методы для фундаментальных исследований. Нам интересно, как сделать определённую технологию с применением этих методов для малых языков России и какие задачи вообще можно решать с их помощью.
🔸 А ещё статья — пересказ работы Франсуа Шолле: как оценивать самые разные интеллектуальные системы и почему мы всё ещё не можем адекватно измерить интеллект. Рекомендую главу о том, что ожидать от идеального теста ИИ, и про первую попытку сделать такой тест. В прошлом году проводили с коллегами воркшоп по этой же теме. Надеемся сделать ещё мероприятия, посвящённые нашим направлениям исследований, — будем держать в курсе!
В AIRI мы часто работаем с «мышлением» нейросетей: исследуем логику моделей и смотрим, противоречит ли она теоретическому представлению о языке. Наши исследования позволяют понять, как учёные структурируют понимание о мире. Скоро расскажем об этом на Хабре, а также о том, как нейросети ищут информацию и обрабатывают данные. Подписывайтесь и следите за обновлениями!
Причуды эволюции: необычное «железо», которое не должно было появиться. Часть вторая
Если три очерка из первой части идут в порядке очередности и следуют практически друг за другом, то следующие три берут начало в одно и тоже время, весной 2003 года, когда Intel выпустила ряд крайне удачных продуктов, каждый из которых в итоге «засветился» по-своему.
Оценка курсов на Хабр Карьере: обновление маркетплейса
Мы обновили раздел «Образование» — теперь это маркетплейс курсов в IT, где айтишники могут подбирать курсы под свою специализацию, рекомендовать их другим и оставлять отзывы. А ещё в честь запуска решили устроить праздник, и всем, кто оставит отзыв о пройденном курсе, подарить подарки от школ дополнительного IT-образования.
Смотрите, выбирайте, активируйте понравившиеся бонусы!
Вакансии для джунов на Хабр Карьере:
Cтажер Android в Scanny. Можно удаленно. Неполный рабочий день. От 20 000 до 40 000 ₽.
QA Automation Python в МТС. Можно удаленно. Полный рабочий день.
UI/UX Designer в Aston. Екатеринбург. Можно удаленно. Полный рабочий день.
AppSec engineer в Циан. Можно удаленно. Полный рабочий день.
С++ разработчик в NAUMEN. Можно удаленно. Полный рабочий день.
Больше вакансий
#junior
Организация внутреннего митапа в ИТ-компании: ожидание vs. реальность
Во многих ИТ-компаниях популярен формат внутренних митапов — встреч, на которых специалисты обсуждают особенности своей работы, обмениваются опытом и знаниями, просто общаются. Митап более неформален, чем тематическое собрание или внутренняя конференция, и идеально подходит для нетворкинга. Но при этом нельзя сказать, что митап — дружеские посиделки под пиво. Организация такого мероприятия не так проста, как кажется на первый взгляд, и требует определённых последовательных шагов.
Ребята из «МойОфис» рассказывают, с чем они столкнулись при подготовке первого внутреннего митапа, что у них в итоге получилось и какие выводы они сделали
Всегда говори «нет»: как принять и полюбить отказы, используя их для своего развития
Каждый из нас хоть раз в жизни получал отказ. Слышать «нет» так неприятно, что мы сами стараемся реже отказывать другим. В результате — лишние обязанности на работе или нереализованные возможности. В этой статье сотрудники Selectel делятся своими историями, как они столкнулись с отказом, но повернули ситуацию в свою пользу.
Знакомимся с участниками Недели аналитиков!
8️⃣ МТС
«МТС — крупнейшая экосистема цифровых сервисов. Мы создаём мобильные приложения, продукты в финтехе, медиа, стриминге, «облаках», BD и многом другом»
Голосуйте за лучшие питчи, откликайтесь на вакансии с секретной фразой «Неделя аналитиков 2023» и подключайтесь к IT-митапу 26 мая.
👉 Подробнее о проекте
У HDD нет будущего? Погодите, не так быстро…
Будущее HDD зависит от того, кого спросить. Есть адепты SSD, которые не видят в «устаревшей» технологии HDD никаких перспектив. Действительно, SSD прогрессируют гораздо быстрее: это касается и технологического прогресса, и стоимости. Если экстраполировать нынешние темпы развития отрасли, то создаётся впечатление, что SSD вытеснят HDD во всех сферах применения в ближайшие десятилетия.
Но по факту этого не происходит
⚡️ Новости к этому часу
💻 На AliExpress заметили ноутбук на базе процессора Intel 8088 с поддержкой MS-DOS и Windows 3.0
👨🏻🔬 Учёные СО РАН удешевили производство водорода в два раза
🏦 Российские банки выпустили около 1 млн платёжных стикеров по итогам первого квартала 2023 года
🧱 Lego выпустила набор с марсоходом «Персеверанс» и вертолётом «Индженьюити» (ФОТО)
👥 За три года в России вдвое выросла аудитория компьютерных клубов
🔄 Обновление KB5026361 для Windows 10 вызывает BSOD и самопроизвольную перезагрузку ПК
🇯🇵 В Японии впервые арестовали ютубера за видео со спойлерами к игре
🇫🇷 Франция запретила внутренние перелёты, если тот же путь можно преодолеть менее чем за 2,5 часа на поезде
🤖 В бета-версии Photoshop появились генеративные ИИ-функции
#новости
Первая статья на Хабр: полный чек-лист
Написать первую статью всегда непросто: страхи, вопросы, сложности смущают автора и заставляют отложить задачу в долгий ящик. А если дело касается профильных, тематических изданий, то добавляются сомнения в себе. Мы все через это прошли, поэтому решили написать подробный туториал для начинающих авторов.
Итак, разберём типичные ошибки, которые совершают авторы в своих первых публикациях
Как построить систему геоаналитики с применением ML
Геоаналитика помогает бизнесу принимать решения: где открыть магазин, построить отель или возвести новостройку с учётом доступности и популярности локации, наличия конкурентов и сотен других факторов. Решать подобные аналитические задачи с большим количеством значимых признаков помогает машинное обучение.
В этой статье мы рассмотрим примеры работы сервисов геоаналитики VK Predict. Выясним, какие модели машинного обучения используются при построении таких систем и из каких этапов состоит разработка продукта с возможностями геоаналитики.
Neeva, «платный» конкурент Google, закрывает свой поисковик. Почему?
Ставка на то, что некоторые пользователи готовы платить за безопасность своих данных, не оправдалась. Людей, не пожелавших быть продуктами, оказалось немного.
«В начале внедрения операторы, понятно, не очень доверяли значениям сервиса. Но мы старались объяснить и вовлечь — постепенно люди стали помогать сервису стать точнее: вовремя сообщать об ошибках и участвовать в анализе их причин, а теперь просто пользуются.
Итог по результатам нескольких месяцев работы — суммарное уменьшение задержек на пять часов»
Ключевое звено всего производства: прокатный стан длиной 1,5 км и как в НЛМК его немного доработали
Разные идеи по апгрейду DIY-процесса изготовления печатных плат
У любых людей, имеющих отношение к электронике и программированию, периодически возникает потребность набросать некую платку для реализации какой-либо идеи. В этой статье предлагается ряд мыслей, как улучшить этот процесс.
Как настроить миграцию etcd между облачными кластерами Kubernetes и избежать простоев
Допустим, вам нужно перенести хранилище данных из одного кластера в другой. А выключать его нельзя, потому что это может вызвать незначительный (или значительный) коллапс сервисов, которые с ним работают. В этой статье мы рассмотрим не самый очевидный и популярный способ переноса etcd из одного облачного кластера Kubernetes в другой. Такой способ поможет избежать простоя и связанных с ним последствий.
«Если вы сталкивались с недостатком общения и эмпатии у себя в команде, если вы иногда жалеете, что ваша команда редко встречается лично, то, думаю, вам может пригодиться мой опыт.
Команда разработки и вообще любая группа людей — это сложный клубок из межличностных отношений и персональных компетенций. Я руковожу командами разработки и эксплуатации уже 8 лет, и за это время встречался с разными командными проблемами. Хочу предложить вам свою методологию их решения при помощи разговорных ролевых игр»
D&D как инструмент тимлида
Сам себе игровая консоль: превращаем планшет с нерабочим тачскрином в игровой девайс из 8 кнопок и микроконтроллера
К сожалению, в наше время многие старые, но весьма неплохие по характеристикам гаджеты отправляются напрямую в помойку, и их владельцы не подозревают, что им можно найти применение. Сервер, мультимедийная-станция, да даже просто как TV-приставка — люди в упор не замечают сфер, где старенький планшет мог бы быть полезен. Но как быть, если посвящаешь жизнь портативным гаджетам, кодингу и копанию в железе? Правильно: сделать довольно мощную игровую консоль из старого планшета самому!
В этой статье автор расскажет, как сделал свою портативную приставку из планшета с нерабочим тачскрином, Raspberry Pi Pico и восьми кнопок
Архитектура и реактивное программирование
Что такое реактивное программирование? Не Rx. И даже не Excel. Это архитектурный паттерн, позволяющий абсолютно иначе писать код. В статье мы устаканим фундаментальные знания, утвердимся в том, что React.js всё же является реактивным, и подумаем о том, как и когда нужно, а когда не нужно применять паттерны реактивного программирования.
⚡️ Новости к этому часу
🖥 Samsung представила OLED-дисплей со встроенным сканером отпечатков пальцев и датчиком давления
🆕 Вышел nginx 1.25.0
🔭 Учёные впервые рассмотрели полярный циклон на Уране
📄 Веб-сервер Angie PRO, созданный бывшей командой Nginx, добавлен в реестр отечественного ПО
🏫 «Тинькофф-банк» зарегистрировал свой университет
💸 Обанкротившаяся Virgin Orbit продала часть активов и оборудования за $36 млн
🫀 В России создали покрытие для сердечных насосов, способное решить проблему тромбов
📱 Amazon представила планшет Fire Max 11 со стилусом и внешней клавиатурой
🖨 Росатом и СПбГМТУ создали самый большой лазерный 3D-принтер в России
☀️ На Солнце заметили гигантское пятно, в четыре раза превышающее размер Земли (ФОТО)
#новости
В целях борьбы с сокращением экономики — все ко станку!
Ассоциация патриотических предпринимателей России обратилась к Министерству труда с просьбой ввести шестидневную рабочую неделю. Обращение уже опубликовано на всех сайтах, от КП до РИА Новости. И действительно — самое время, а почему бы и нет!
«Как-то раз мы сидели с другом и подумали: а что, если попробовать управлять вещами реального мира из мира виртуального?! Например, роботами. Мысль не новая, и в том или ином воплощении она широко распространена, например, в области IoT. В результате мы разработали роботов и систему удалённого управления»
Робохоккей онлайн, или Как в RUVDS сделали роботов, которыми можно управлять через Интернет
Как правильно проектировать электронику
Все электронные гаджеты, окружающие нас, были кем-то придуманы, формализованы в электрической схеме. Для них были спроектированы печатные платы, заказаны и установлены комплектующие, и в итоге было собрано готовое изделие. Каждый из этих этапов может быть реализован совершенно по-разному: от «ручной» самодеятельности до полностью автоматизированного цифрового подхода.
В этой статье мы поговорим про все уровни и варианты создания электронных устройств и подробно рассмотрим новейшие технологии в проектировании электроники
Рендеринг на сервере и HTMX — это будущее
Сегодня пользователи ожидают от веб-приложений плавной работы без перезагрузок страниц. К сожалению, эти ожидания обычно реализуются в виде одностраничных приложений, использующих библиотеки и фреймворки наподобие React и Angular. Эти фреймворки очень специализированы и с ними может быть трудно работать.
Новый подход заключается в том, чтобы вернуть возможность реализации этого UX в руки инженеров, разрабатывавших веб-сайты до возникновения безумия SPA, используя готовые наборы инструментов и знания
«Хочу поделиться собственным опытом вывода изображения на монитор через VGA-интерфейс. Я понимаю, что подобная задача решалась много раз разными людьми на разном оборудовании. Поэтому призываю всех причастных к этой теме отписаться в комментариях о своих вариантах реализации и особенностях разработки»
И снова про VGA
Знакомимся с участниками Недели аналитиков!
4️⃣ билайн
«Сегодня билайн — технологичная компания. Мы предоставляем клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов»
Голосуйте за лучшие питчи, откликайтесь на вакансии с секретной фразой «Неделя аналитиков 2023» и подключайтесь к IT-митапу 25 мая.
👉 Подробнее о проекте
Моддер с ником Lukneu смог запустить версию классического шутера Doom 1993 года через телетекст, систему для передачи простой графики на телевизоры 1970-х годов.
Моддер внёс несколько изменений, чтобы адаптировать Doom к телетексту. Мод запускает игру на ПК, одновременно передавая видеосигнал на телевизор или другое устройство с программным обеспечением для чтения телетекста (например, Raspberry Pi). В результате отображается простая чёрно-белая графика, при этом пользовательский интерфейс и инструкции к игре оптимизируются для корректного показа в телетексте.
Лицо героя заменяется обычным смайликом, а визуальные эффекты немного размываются, так как Lukneu решил поддержать оригинальный телетекст первого уровня 1976 года.
Пользователи могут играть в игру с различными устройствами ввода, включая пульт от телевизора. Однако время отклика пульта слишком большое для шутера.
