🤖 Дедубликация: как OpenAI и FastAPI спасут Habr от дублей
В статье рассказывается о том, как модели OpenAI помогают в задаче дедубликации текстов и similarity search. Рассмотрены различные подходы к решению проблемы: от концепции MinHash до реализации на эмбеддингах современных трансформенных моделей. В статье также описан пример создания микросервиса на FastAPI для поиска дубликатов постов.
🔗 Основной сайт
🔗 Зеркало
Команда GitHub подготовила традиционный обзор на некоторые из самых интересных функций и изменений Git, представленных в новой версии.
🔗Читать
🖥 Год работы с Kubernetes в России: самое больное в работе с технологией
Присоединяйтесь к VK Kubernetes Conf. В программе вас ждет ряд докладов, которые будут полезны и для разработчиков, и для инфраструктурных специалистов, для DevOps и ИБ. Например, вы узнаете:
▪️ как готовить сетевую защиту Kubernetes и учесть российские стандарты?
▪️ так ли стабилен GitOps или есть подводные камни?
▪️ eBPF, WebAssembly, SBOM, OpenTelemetry, Oh my… — как подготовиться к наступлению новых технологий в безопасности и мониторинге?
Конференция пройдет в гибридном формате уже 21 марта в 13:00. Офлайн-участников ждет After-party, где они смогут познакомиться с сообществом, обменяться опытом, найти новые интересные проекты для работы и просто пообщаться в неформальной обстановке.
🔗Регистрация
Это #партнерский пост
#хочу_спросить
Задавайте любые вопросы о программировании и получайте ответы от пользователей. В комментариях под постом укажите #язык, #стек и/или #библиотеку, по которым задаете вопрос.
А можно ведь и работу свою любить, и программирование, и даже инженерные стандарты ценить. Не так ли?
Читать полностью…Если вам интересно то, что делает Кирилл, ловите ссылки на все его выступления, статьи, подкасты и многое другое.
https://mokevnin.github.io/
👨💻 5 причин перейти на Go в 2023 году
Рассказываем, чем хорош Go и его особенности: вы сможете сравнить его с вашим текущим инструментарием языков или рассмотреть в качестве первого инструмента в 2023 году.
👨💻 Зачем учить Go, когда есть Python, Java и C/C++?
Go идеален как второй язык и вот почему:
● Активно набирает обороты: 107 тысяч звезд на Github.
● Простой синтаксис и чистый код.
● Обеспечит прибавку к зарплате: зарплатный пакет Go-разработчика зависит от уровня его экспертности и на сегодняшний день в среднем варьируется от 70 000 – 250 000 рублей в месяц.
❓ Хочу перейти со своего стека на Go. Будет трудно?
Go не похож на другие языки: впервые столкнувшись с ним, разработчики нередко испытывают кодовый дискомфорт. Однако помощь опытного Go-эксперта избавит вас от неудобных синтаксических барьеров и поможет вам получить навыки разработки и решения практических задач вне зависимости от вашего прошлого технологического стека.
📖 Я знаком с Go. Будет ли профит от курса?
Тем, кто уже знаком с языком, курс поможет систематизировать, освежить базовые знания и повысить уровень мастерства.
Oк, что включает в себя курс?
➡️ Как стать Go-разработчиком, читайте в нашей статье
➡️ Курс Golang Developer. Professional на сайте школы
🎙 Серия «Как мы попали в IT» продолжается. В новом видео про свой путь рассказывает Кирилл Мокевнин.
Кирилл всегда был уважаемым человеком в айти индустрии, хотя выбрал путь, где репутацию сохранить непросто. Он один из пионеров онлайн-образования. Но когда другие школы вложились в агрессивный маркетинг и абсолютное всеобъемлющее засасывание рынка — Кирилл продолжал сам разрабатывать свои курсы и сохранять их высокое качество.
Его школу Hexlet всегда котировали профессионалы, но не всегда знали новички и вайтишники. Сейчас популярность растет, и слава богу, не в ущерб качеству.
Но это сейчас. А когда-то давно Кирилл и сам был простым начинающим разработчиком из Ульяновска и проделывал большой и сложный путь к своим знаниям и достижениям. О своих первых шагах он и рассказывает.
📺Смотреть
🗺prettymaps — легковесный Python-инструмент для рисования красивых карт из данных OpenStreetMap. Основан на библиотеках osmnx, matplotlib и shapely.
https://github.com/marceloprates/prettymaps
Мы ищем бэкенд-разработчиков сразу в несколько сервисов и команд!
Вакансий много — можно выбрать, чем интереснее вам было бы заниматься. Вот несколько задач из них:
👉 разработка быстрорастущей real-time распределённой файловой системы в Яндекс Диске;
👉 разработка сервиса data plane — программного маршрутизатора и балансировщика нагрузки в Yandex Cloud (CloudGate);
👉 задачи по массовому обслуживанию виртуальных машин: расселение, эвакуация и оптимизация использования кластеров — для Yandex Cloud (API Compute);
👉 разработка новых способов борьбы с вредоносными сообщениями и подготовка входных данных для машинного обучения в Спамооборону;
👉 проектирование фреймворка с учётом eBFP для внутреннего инфраструктурного контейнерного облака.
➡️ Посмотреть все вакансии
🤖Что крутится под капотом у языковых моделей? Каким образом они эволюционировали до текущих (местами поразительных) способностей? Почему взрывная популярность чат‑бота ChatGPT стала полным сюрпризом даже для его создателей? Ответы на эти и другие вопросы под катом.👇
Читать
Краткая история языков программирования от Alex Xu
Расскажите, какие ЯП вы изучали? С какого начинали и на каком пишете сейчас?🔽
Новость для багхантеров
Финтех-компания QIWI запустила программу Bug Bounty на платформе tumar.one. Искать уязвимости можно на доменах qiwi.com, qiwi.ru, contact-sys.com и их поддоменах, а также в мобильных приложениях QIWI. За продемонстрированные атаки на найденные уязвимости в основных сервисах компании белые хакеры могут получить денежное вознаграждение вплоть до $5 тыс. С подробными правилами участия можно ознакомиться в описании программы, предварительно пройдя регистрацию на платформе.
OWASP API Security Top 10 — это всеобъемлющее руководство, которое помогает организациям и разработчикам понять риски и угрозы, связанные с их API, и способы их защиты.
Релиз-кандидат OWASP API Security Top 10 2023 выглядит следующим образом:
1. Broken object level authorization.
2. Broken authentication.
3. Broken object property level authorization.
4. Unrestricted resource consumption.
5. Broken function level authorization.
6. Server side request forgery.
7. Security misconfiguration.
8. Lack of protection from authentication threats.
9. Improper assets management.
10. Unsafe consumption of APIs.
One Day Offer для Data Scientists, Data Engineers и Data Analysts от Сбера: пройти все этапы отбора и стать частью команды по работе с данными крупнейшего банка страны всего за один день 🚀
Главная задача будущих специалистов — создавать информационные продукты для принятия решений на основе данных, аналитики, машинного обучения и искусственного интеллекта.
Работать предстоит в лабораторном кластере с большим разнообразием возможностей, данных и ПО или на локальных машинах с расширенным количеством оперативной памяти и GPU.
Как понять, что вам нужно на One Day Offer от Сбера:
✔️ Вы — Data Scientist, Data Engineer или Data Analyst с опытом работы от 1 года.
✔️ У вас высшее образование: техническое/экономическое/математическое или по направлению «прикладная информатика».
✔️ Вы хотите работать над масштабными и интересными проектами, разрабатывая решения для различных направлений Сбера.
One Day Offer для Data Scientists, Data Engineers и Data Analysts состоится 18 марта — вы еще успеваете зарегистрироваться по ссылке и подготовиться к интервью 👌
⚡️Честный рейтинг языков программирования за 2023 год. Честный — потому что анализирует сразу несколько источников.
https://plrank.com/
🐍 Самоучитель по Python для начинающих. Часть 17: Основы скрапинга и парсинга
Научимся извлекать данные из статического и динамического контента с помощью регулярных выражений, XPath, BeautifulSoup, MechanicalSoup и Selenium. В конце статьи – код 10 скриптов для скрапинга данных и изображений с Wikipedia, Habr, LiveLib, IMDb и TIOBE.
🔗 Основной сайт
🔗 Зеркало
🎙 Podlodka Podcast: Функциональная архитектура
Многие слышали такие понятия, как SOLID, Clean Architecture, «слоистая модель» и другие, без которых не обходится ни один спор об архитектуре.
Но все эти термины родились в процессе эволюции объектно-ориентированных подходов. Что это время происходит с архитектурой в функциональном мире, разбираются ведущие подкаста вместе с Александром Граниным.
Apple Подкасты | Google Подкасты | Яндекс Музыка
Библиотека предоставляет удобный API для запуска Docker-контейнеров и позволяет разработчикам программно определять контейнеры, которые следует запускать как часть теста, и очищать эти ресурсы после завершения теста. На текущий момент поддерживается в Java, Go, .NET, Python, Node.js, Rust и Haskell.
https://www.testcontainers.org/
Пока мы с вами вчера писали Pac-Man, в США обанкротился Silicon Valley Bank, главный банк техно-стартаперов Кремниевой долины. Кстати, Маск подумывает купить его и сделать электронным банком.
Под катом — краткое объяснение сложившейся ситуации.
🔗 Читать
До недавнего времени поиск по сайту GitHub Docs был in-memory решением. Хотя это была отличная отправная точка, в конечном итоге команде понадобилось решение, которое соответствовало бы растущим потребностям.
Было принято решение внедрить Elasticsearch. В статье Peter Bengtsson рассказывает, как работает реализация и как вы можете произвести впечатление на пользователей с помощью поиска по сайту, делая то же самое.
🔗 Читать
🫡 Начало выходных: выключаем рабочие, включаем домашние компьютеры и программируем отдыхаем.
📺 Смотреть
Хабр при поддержке облачного провайдера #CloudMTS подвел итоги сезона Kubernetes – конкурса публикаций о Kubernetes, виртуализации, системном администрировании и DevOps-практиках. Вот подборка полезных постов, наиболее высоко оцененных читателями Хабра:
1. Не куб, а кубик: Kubernetes для не-highload
В этом посте рассказывается, какие задачи Kubernetes может решать в небольших компаниях. Полезно для тех, кому нужны некоторые возможности kubernetes, но без лютого хайлоада, катастрофоустойчивости и SLA с девятками после запятой.
2. Мониторинг межсервисного взаимодействия Kubernetes с помощью протокола netflow
Автор поделился опытом, как на основе Netflow сделать карту взаимодействия сервисов в Kubernetes, которая строит красивые дашборды и автоматически обновляется. Пригодится тем, кто хочет знать, какие приложения кластера куда обращаются, как часто, и какую нагрузку создают эти обращения.
3. Миграция приложения из OpenShift в «ванильный» Kubernetes
В посте рассмотрен пример переезда приложения из OpenShift в «ванильный» кластер Kubernetes. В конце приведена таблица соответствия примитивов OpenShift и Kubernetes — с информацией о том, какие из этих примитивов требуют замены, а какие нет. Полезно тем, кто ищет альтернативные решения для управления контейнерами.
🤖 ChatGPT и Notion AI: что лежит в основе нейронок
Обсудим принципы создания нейронных сетей на примере перцептрона — одного из простейших бинарных классификаторов, который отделяет два класса друг от друга.
🔗 Основной сайт
🔗 Зеркало
☕️🛣 Дорожная карта тестировщика в 2023 году
Расскажем, что и в какой последовательности нужно изучить, чтобы стать тестировщиком и найти первую работу.
🧪 Учился самостоятельно, искал работу тестировщиком, но никуда не берут. Что делать?
Идти на курсы с гарантией трудоустройства.
💼 Гарантированное трудоустройство? А такое бывает?
Да, бывает. Например, в договоре школы Kata Academy зафиксированы все гарантии и без всяких звездочек прописано, что если их выпускник не найдет работу по специальности, то студент ничего не платит за обучение. Таким образом, Kata наравне со студентом берет на себя риски и заинтересована не только в том, чтобы довести обучение до конца, но и успешно трудоустроить выпускника, ведь доход школы напрямую зависит от зарплаты студента, так как он платит Kata определенный процент от своего заработка.
👶 Курс подойдет для полных новичков?
Да, курс рассчитан на новичков. Через 3 месяца сможете устроиться на первую работу в IT.
🚀 Как-то слишком быстро. В чем подвох?
Kata исходит из того, что студент мотивирован найти работу и готов пахать 3 месяца по 25 часов в неделю минимум. К тому же, Kata 6 лет развивает свой курс по Java, из которых 4.5 года работает по формату оплата после трудоустройства. За это время школа выпустила более 1000 человек, и все они смогли получить свой оффер.
📅 Звучит интересно, где можно узнать подробности?
➡️ Как стать тестировщиком, читайте в нашей статье.
➡️ Курс тестировщика на сайте школы.
Команда «Библиотеки программиста» поздравляет девушек с праздником и желает равных зарплат, безопасности и простого человеческого счастья. 💐🍾
Читать полностью…🤖🖼️ Руководство по работе с Gradio: создание веб-интерфейса для моделей машинного обучения
В этом руководстве вы узнаете, как создавать простые в использовании настраиваемые компоненты пользовательского интерфейса для вашей модели машинного обучения, любого API или даже произвольной функции Python с помощью нескольких строк кода и Gradio.
🔗 Основной сайт
🔗 Зеркало
Облачной бывает не только погода…
Но и технологии, про которые расскажут на Alfa Cloud Day Meetup 🌥
На митапе вы узнаете, как в Альфа-Банке внедряли новый подход, что важно учесть при общении с бизнесом, как за счёт «облака» ускориться и извлечь выгоду
Когда: 22 марта в 18:30
Где: офлайн в Москве, Андропова пр-т, 18, к. 3, Альфа-Банк, Конгресс-холл или онлайн
Что вас ждет:
🌦 Максим Чернухин, Senior Software Architect, расскажет о положительных и отрицательных сторонах использования облака, а также о нюансах, которые стоит учесть
🌦 Дмитрий Кузнецов, Head of Application Security, расскажет о безопасной миграции в облако
🌦 Дмитрий Гадеев, Site Reliability Engineer, и Максим Малыгин, Head of IT Infrastructure Support Department, поделятся своим опытом внедрения «облачного» подхода в Альфе
🌦 Светлана Вагнер, Cloud Product Owner, расскажет, как бизнесу показать преимущества cloud-технологий, как использовать их для ускорения бизнес-процессов
Все, кому просто интересен «облачный» подход, ждем вас на митапе, вдоволь пообщаемся, хорошо проведем время и обсудим моменты из докладов
Зарегистрироваться на Alfa Cloud Day Meetup
🔧 hyperfine — CLI-инструмент для бенчмаркинга. Быстрый, много полезных возможностей, еще и написан на Rust.
https://github.com/sharkdp/hyperfine