📂 Карманные шпаргалки в PDF по скрапингу/парсингу данных
🖱 Selenium
🖱 BeautifulSoup
🖱 Scrapy
#doc #cheatsheet #python
😮 Добавлена новая база слитых курсов на 800ГБ:
Python:
/channel/+5DlSHDcer2hkYmM6
Программирование:
/channel/+eIJjU0B2hrxkOTUy
Frontend и Web:
/channel/+AHz0twkM09dhNDAy
Графика и дизайн:
/channel/+jLlqrZ999L5jM2Qy
👨💻 Если вы пишете на Python, то наверняка задумывались как ускорить код
📂 Разберем несколько способов
#cheatsheet #python #doc
Как изучить Python бесплатно и самостоятельно? Как стать сеньором или перейти из бэкенда в Data Science? Какие лайфхаки и инструменты помогают писать код продуктивнее?
Ответы на эти вопросы — в канале «Люди и код». Команда канала беседует с опытными и начинающими разработчиками и программистами, находит интересные и неожиданные темы и помогает влюбиться в IT. Не без юмора, конечно ;)
Наши любимые материалы:
1. Как изучить Python самостоятельно и бесплатно?
2. Он вам не петухон: почему энтерпрайзу не обойтись без Python и что не так с Java и C#.
3. Правила жизни Гвидо ван Россума.
4. Почему Python идеален как первый язык для бэкендера и второй для фронтендера?
Подписывайтесь на канал «Люди и код»: @skillbox_media_code
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880 erid:2VtzqvJmxT5
🔍 Поиск по изображению
Полезное расширение для браузеров Chrome, Edge и Safari.
Позволяет сделать снимок экрана или его части, затем выполнить поиск в 45 различных поисковых системах для поиска изображений.
Также можно выполнить поиск изображения по ссылке или загруженного с компьютера 👨💻
⚙️ GitHub/Инструкция
#soft #github
Не будем утомлять вас рассказами о ДМС, крутых офисах и других плюшках. Вот главное о том, почему Python-разработчикам нравится Т-Банк:
— Знают, как устроен продукт, и влияют на его развитие. Улучшения может предложить каждый.
— Прозрачная система роста. Матрица компетенций объяснит, какие навыки нужно подтянуть, а ежегодное ревью поможет оценить результаты и получить повышение.
— Python-комьюнити. Вы окажетесь среди профессионалов, у которых можно многому научиться, а если захотите, можете стать ментором для младших коллег.
— В Т-Банке любят то, что делают.
Смотрите вакансии для Python-разработчиков.
Erid: 2VtzqxMT1gp
🔥 Полезные библиотеки Python
G-Scraper — встречайте интересный софт с графическим интерфейсом для простого парсинга различных сайтов.
🟢 Поддерживает 2 типа запросов; GET & POST;
🟢 Показывает всю добавленную вами информацию в списке;
🟢 Может парсить несколько URL-адресов;
🟢 Может парсить несколько элементов из одного URL-адреса (веб-страницы);
🟢 Может передавать параметры запроса в запрос, КРОМЕ ФАЙЛОВ (на данный момент);
🟢 Поскольку параметры могут передаваться, он также может обрабатывать авторизацию/регистрацию;
🟢 Сохраняет извлеченные данные в отдельной папке «data/scraped-data»
Имеет функцию ведения журнала: регистрирует 3 типа выходных данных;
🟢 Elemental (для элементов)
🟢 Pagical (для веб-страниц)
🟢 Error (для ошибок)
🟢 Обрабатывает все типы ошибок и много чего интересного.
Установка/Использование:
$ git clone https://github.com/muaaz-ur-habibi/G-Scraper.git
$ pip install -r requirements.txt
$ python gui.py
Есть одна штука, которая мешает развивать продукт и внедрять новые функции.
Это устаревший легаси-монолит.
Поэтому архитектуру легаси-системы нужно обновлять. Однако процесс обновления часто влечёт за собой простои, баги и системные отказы.
Так как же всего этого избежать?
Поговорим на открытом вебинаре «Как обновить легаси-монолит и не поседеть?»
На встрече выступит Алексей Ягур, действующий тимлид с большим опытом программирования в ведущих компаниях.
Вы узнаете:
- Как проводить аудит существующей системы и планировать миграцию
- О различных подходах к обновлению легаси-монолитов
- Об актуальных инструментах и методиках, которые упрощают процесс миграции
- О том, как снизить риски при переходе на новую архитектуру
Бонус! Всем участникам – скидка 5% на любой курс OTUS и бесплатный чек лист по переходу от монолита к микросервисам
13 августа
19:00 МСК
Бесплатно
Записаться на событие - https://otus.pw/otFJ/?erid=LjN8KBiQH
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
⚡️Youtube — теперь всё. Видосы в высоком качестве не грузятся ни в одном браузере в России
По этому случаю отобрали лучшие обучающие каналы по программированию в телеграме. Выбирай своё направление и подписывайся:
👩💻 Frontend: @FrontendPortal
⚙️ Backend: @BackendPortal
🤓 Общее айти: @portalToIT
👩💻 Python: @PythonPortal
👩💻 Java: @Java_Iibrary
👩💻 C#: @KodBlog
👩💻 С/С++: @Cpportal
🖥 Базы Данных & SQL: @SQLPortal
👩💻 Golang: @juniorGolang
👩💻 PHP: @PHPortal
👩💻 Мобильная разработка: @MobDevPortal
👩💻 Разработка игр: @GameDevgx
👩💻 DevOps: @loose_code
🖥 Data Science: @DSPortal
🤔 Хакинг & ИБ: @cybersecinform
🐞 Тестирование: @QAPortal
👩💻 Дизайн: @PortalToDesign
➡️ Сохраняй себе, чтобы не потерять
⚡️ Машинное обучение для абсолютных новичков. Вводный курс, изложенный простым языком
Практическое и подробное введение в машинное обучение.
Простые и понятные объяснения и отсутствие необходимости опыта программирования делают эту книгу прекрасной альтернативой академическому учебнику. Здесь представлены основные алгоритмы машинного обучения (ML), которые сопровождаются наглядными примерами и практическими работами. Также вы узнаете про перекрестную проверку, ансамблевое моделирование, поиск по сетке для настройки моделей, проектирование функций, горячее кодирование и многое другое.
Для разработки интеллектуальных машин в первую очередь надо понять классическую статистику, так как алгоритмы на ее основе — это сердце машинного обучения. Написание кода — еще одна неотъемлемая часть ML, которая предусматривает управление данными. Однако материал этого руководства можно освоить даже без навыков программирования.
Возможно, с чтения этой книги начнется ваш путь к получению работы в области машинного обучения, а может быть, она просто удовлетворит ваше любопытство.
Бренд эргономичных городских рюкзаков XD Design объявляет Back to School распродажу со скидками до 20%!
На фото флагманская модель – Bobby Edge в стильном минималистичном дизайне. Объём рюкзака средний – 17 литров, внутреннее отделение вмещает ноутбук до 16" и планшета до 10". Для защиты содержимого у рюкзака предусмотрены:
▪️Водоотталкивающие ткань, молнии и бегунки
▪️Фиксатор молнии с замком
▪️Множество внутренних карманов, потайной карман для трекера
▪️Карман на спинке с RFID-защитой и съемный карабин для ключей
▪️Карман для карты на лямке
Для удобства рюкзак можно разложить на 180°. Материалы, из которых выполнен рюкзак, произведены из переработанного пластика – на один рюкзак уходит 21 пластиковая бутылка.
Все модели XD Design представлены на официальном сайте xd-design.ru. Чтобы покупка была ещё приятнее, используйте промокод на дополнительную скидку 30% – PYTHON. Действует всего две недели!
😄 Вон оно как
Всегда думал, что их голоса это синтезатор речи, ну или сейчас уже нейронка какая-то.
💻 8 популярных сетевых протоколов с наглядным и простым объяснением
Сетевые протоколы работают на разных уровнях модели OSI, это важно знать.
Модель OSI — концептуальная структура, которая определяет сетевую систему как ряд уровней, каждый из которых имеет определенные функции, для облегчения передачи, управления и обработки данных в сети.
Эта многоуровневая архитектура обеспечивает стандартизированное взаимодействие между различными программными и аппаратными компонентами в сети.
🖱 𝗧𝗖𝗣/𝗜𝗣 (𝗧𝗿𝗮𝗻𝘀𝗺𝗶𝘀𝘀𝗶𝗼𝗻 𝗖𝗼𝗻𝘁𝗿𝗼𝗹 𝗣𝗿𝗼𝘁𝗼𝗰𝗼𝗹/𝗜𝗻𝘁𝗲𝗿𝗻𝗲𝘁 𝗣𝗿𝗼𝘁𝗼𝗰𝗼𝗹)
Этот протокол является базовым методом передачи информации между устройствами в Интернете. В то время как IP отвечает за адресацию и маршрутизацию пакетов данных, TCP заботится о сборке данных в пакеты, а также о надежной доставке.
🖱 𝗛𝗧𝗧𝗣 (𝗛𝘆𝗽𝗲𝗿𝘁𝗲𝘅𝘁 𝗧𝗿𝗮𝗻𝘀𝗳𝗲𝗿 𝗣𝗿𝗼𝘁𝗼𝗰𝗼𝗹)
При доступе к веб-сайтам HTTP играет решающую роль. Он отвечает за получение и доставку веб-контента с серверов конечным пользователям.
🖱 𝗛𝗧𝗧𝗣𝗦 (𝗛𝘆𝗽𝗲𝗿𝘁𝗲𝘅𝘁 𝗧𝗿𝗮𝗻𝘀𝗳𝗲𝗿 𝗣𝗿𝗼𝘁𝗼𝗰𝗼𝗹 𝗦𝗲𝗰𝘂𝗿𝗲)
Усовершенствованная версия HTTP, HTTPS объединяет протоколы безопасности (а именно TLS) для шифрования данных, обеспечивая безопасный и конфиденциальный обмен между браузерами и веб-сайтами.
🖱 𝗙𝗧𝗣 (𝗙𝗶𝗹𝗲 𝗧𝗿𝗮𝗻𝘀𝗳𝗲𝗿 𝗣𝗿𝗼𝘁𝗼𝗰𝗼𝗹)
Как следует из названия, FTP используется для передачи файлов (загрузки и скачивания) между компьютерами в сети.
🖱 𝗨𝗗𝗣 (𝗨𝘀𝗲𝗿 𝗗𝗮𝘁𝗮𝗴𝗿𝗮𝗺 𝗣𝗿𝗼𝘁𝗼𝗰𝗼𝗹)
Более оптимизированный аналог TCP, UDP передает данные без накладных расходов на установление соединения, что приводит к более быстрой передаче, но без гарантии, что данные будут доставлены или будут в порядке.
🖱 𝗦𝗠𝗧𝗣 (𝗦𝗶𝗺𝗽𝗹𝗲 𝗠𝗮𝗶𝗹 𝗧𝗿𝗮𝗻𝘀𝗳𝗲𝗿 𝗣𝗿𝗼𝘁𝗼𝗰𝗼𝗹)
SMTP — движущая сила обмена электронной почтой, которая управляет форматированием, маршрутизацией и доставкой писем между почтовыми серверами.
🖱 𝗦𝗦𝗛 (𝗦𝗲𝗰𝘂𝗿𝗲 𝗦𝗵𝗲𝗹𝗹)
Secure Shell — это криптографический сетевой протокол, который обеспечивает безопасную передачу данных по незащищенной сети. Он обеспечивает безопасный канал, гарантируя, что хакеры не смогут интерпретировать информацию путем подслушивания.
#doc #cheatsheet
⚡️ Создаем корпоративного Telegram бота на Python с ChatGPT внутри
Описание:
Шаг за шагом созадим внутрикорпоративного Telegram бота для бизнеса,умеющего планировать задачи и парсить резюме с помощью ИИ,интегрированного с ChatGPT и базой данных сотрудников SQL.Итоговый проект можно добавить в портфолио и прдать на бирже фриланса.
За курс мы создадим и опубликуем Telegram бота, с пользовательской и админской частью,который будет предназначен для внутрикорпоративного использования в бизнесе и брать на себя функции CRM, а именно:функции отслеживания прихода на работу сотрудника, функции добавления задач от сотрудников,функции просмотра задач от директора,функции просмотра отчета от сотрудников, функции напоминания.
Навыки создания ботов,полученные на курсе можно масштабировать самостоятельно, изменяя ТЗ для бота и эксперементируя с изученными,в ходе курса,библиотеками и методами.
Получившегося бота можно использовать для собственных нужд, добавить в портфолио или продать на бирже фриланса.
💰 Идея для стартапа
Чувак заработал более $3 млн на нейросетях и Spotify — просто размещая нейротреки с белым шумом 😲
Ловкач создал 650 разных аккаунтов и опубликовал за год около 2700 песен. С помощью рекомендаций и случайных нажатий пользователей на его треки, он собрал 15 миллиардов прослушиваний.
Сервис в замешательстве, но ничего не может сделать, ведь хитрец не нарушил правил ☕️
В такие времена живем ¯\_(ツ)_/¯
#news
👨💻 Python фреймворки под разные задачи
🖱 Машинное обучение
🖱 Работа с БД
🖱 Парсинг/скрапинг
🖱 Работа с данными
🖱 Визуализация данных и д.р.
📂 Пригодится
#doc #python #soft
👨💻Программистам всех уровней посвящается:
— Вносить правки в ваш код сложно и проще переписать всё с нуля?
— Пишете тесты, а баги всё не заканчиваются?
— Скорость работы вашего приложения заставляет желать лучшего?
— Вы много раз слышали про паттерны, слои приложения, ответственности объектов, но не понимаете, что от вас хотели?
🔥Тогда вы по адресу!
На моём канале я пишу статьи, отталкиваясь от своего многолетнего опыта коммерческой разработки.
🧠На канале вы узнаете:
— Что такое архитектура ПО и для чего она нужна
— Использование и польза паттернов проектирования на примерах
— Какие механизмы работают быстрее, но когда стОит отдать предпочтение иному подходу
— Как писать тесты правильно
— 🎁И многое другое...
🏆Переходи на канал, поднимай свой уровень,
💵а за ним и востребованность на рынке специалистов!
⚡️ Обучение Python | Управление мышкой и клавиатурой | Парсинг
➡️ Изучаем работу полезного модуля для управления компьютером;
➡️ Научимся управлять мышкой и клавиатурой;
➡️ Печатать;
➡️ Скролить страницы;
➡️ Делать скриншоты;
➡️ Находить и запускать файлы и программы;
➡️ Создавать всплывающие окна и много чего интересного.
Косарь за развернутый комментарий. Спасибо за поддержку 😎
https://youtu.be/7MaBGaxiz6c
#youtube
🔥 Rotato — крутой софт для сжатия видео более чем на 90% почти без потери качества
Вам нужно лишь перетащить ролик, встроенный ИИ сам определит оптимальный размер сжатия, остаётся только скачать готовое видео.
Тройной Б:
— Бесплатно
— Безлимитно
— Без вотермарок и рекламы
📂 Сохраняем и используем тут
#soft
⚡️ Бывшие разрабы Stable Diffusion выкатили Black Forest Labs — новых королей бесплатной генерации картинок
Нейронка залетела в топ с самой большой и качественной моделью FLUX.1 на 12 миллиардов параметров, которая бьет даже Midjourney 6! Есть три версии:
— FLUX.1 [pro]: самая топовая модель с крутой детализацией. Работает только по API или онлайн;
— FLUX.1 [dev]: слегка урезанная версия Pro-модели, но в два раза быстрее, качество почти не страдает. Есть демка и публичная модель на Hugging Face;
— FLUX.1 [schnell]: самая маленькая модель для слабых ноутбуков. Ждет на Hugging Face.
#nn #news
🔥 Полезные библиотеки Python
MeTube — веб-интерфейс для youtube-dl с поддержкой плейлистов. Позволяет скачивать видео с YouTube и ещё с огромного списка сайтов, включая Reddit, Linkedin и т.д.
👨💻 Актуально
⚙️ GitHub/Инструкция
#python #soft #github
😂 В сети подняла хайп новая капча
Всё дело в том, что многие зумеры не могут её пройти, просто потому, что не умеют пользоваться циферблатом со стрелками 😨
#news
👨💻 Наглядно — 9 типов тестирования API
➡️ Smoke Testing
Делается после разработки API. Проверка того, что API работают и ничего не выходит из строя.
➡️ Functional Testing
Позволяет создать план тестирования на основе функциональных требований и сравнить его с фактическими результатами.
➡️ Integration Testing
Этот тест объединяет ряд вызовов API и выполняет сквозные тесты. Оцениваются коммуникации и передача данных в процессе эксплуатации.
➡️ Regression Testing
Этот тест гарантирует, что исправления ошибок или новые функции не нарушат текущее поведение API.
➡️ Load Testing
Измеряет производительность приложений при различных нагрузках. Мы можем определить емкость приложения.
➡️ Stress Testing
API специально перегружаются, чтобы проверить, могут ли они функционировать должным образом.
➡️ Security Testing
Этот тест сертифицирует API от всех потенциальных угроз извне.
➡️ UI Testing
Гарантирует, что пользовательский интерфейс может взаимодействовать с этими API и отображать данные по мере необходимости.
➡️ Fuzz Testing
Этот тест отправляет недействительные или неожиданные входные данные в API и пытается вызвать его сбой. Делается путем выявления уязвимостей API.
📂 Сохраняем
#doc #api