Три гайда для востоковедов: китайский, корейский и японский
Многие задачи, связанные с автоматической обработкой текста, начинаются с токенизации — деления текста на слова (токены). Текст на русском языке, например, можно поделить на слова по пробелам, но что делать с японскими и китайскими текстами, где пробелов нет?
Одно из популярных решений — использование словаря, в котором прописаны леммы и их всевозможные словоформы, а также некоторые морфологические сведения. Такие словари лежат в основе библиотек из этой подборки. Рассказываем о них подробнее!
🇨🇳 Text-mining китайского языка: библиотека Jieba
Jieba — одна из самых популярных на сегодняшний день Python-библиотек для токенизации китайских текстов. Например, именно её использовали разработчики Яндекса, когда внедряли функцию перевода видео с китайского языка в браузере. Как с ней работать, узнаете из нашего гайда.
🇯🇵 Text-mining японского языка: библиотека fugashi
fugashi – библиотека, позволяющая самостоятельно провести токенизацию текстов на японском. Она способна не только определить наиболее вероятные границы слов, но также провести морфологический анализ и выделять именованные сущности. А ещё для неё можно скачать дополнительные словари: современный письменный, современный устный и одиннадцать видов словарей для классического японского. О том, как устроена fugashi и как ей пользоваться, узнаете из гайда.
🇰🇷 Text-mining корейского языка: библиотека koNLPy
Библиотека koNLPy выделяет токены, определяет морфемы и части речи. Для этого она предлагает пользователю пять методов: Kkma, Hannanum, Komoran, Mecab и Twitter. Все они отличаются по своему функционалу и подходят для решения разных задач. Подробнее об их особенностях и о том, как устроена работа в koNLPy узнаете из материала.
🤖 «Системный Блокъ» @sysblok
Олимпиада 2024 года в Париже стала самой бюджетной в ХХI веке среди летних Игр. Она обошлись в четыре раза дешевле олимпиады 2008 в Пекине.
https://www.rbc.ru/sport/11/08/2024/66b61a0e9a7947739f4c736e
🇨🇳 Китайская Угроза
Новый генсек Китая.
В зарубежной китайской оппозиции продолжают мусолить слухи об ухудшающемся здоровье Си Цзиньпина. Впрочем, интересно не это, а кого прочат на смену Си.
Называют Дин Сюэсяна - первого вице-премьера.
Как пишет википедия: В отчете Asia Society перед 20-м съездом партии Дин указывался как «фактически начальник штаба Си, также отвечающий за его личную безопасность, что означает, что он входит в круг самых доверенных лиц генсека».
🇨🇳 Китайская Угроза
Дерипаска зачищает свой канал в ТГ. Удалены все сообщения до мая 2024 года.
Оставил на память скрин, где он пророчит, что Си станет генсеком всего мира 😁
Что ни говори, но обидно, когда за собой подтирают свои перлы. Исчезли свидетельства того, как Дерипаска из критика Китая превращался в его лучшего друга после того, как ФБР реквизировало пару бутылок водки в его особняке в Америке.
Теперь почти все ссылки на сообщения в канал Дерипаски ведут в никуда. Сохранились только репосты. Издержки электронного века.
🇨🇳 Китайская Угроза
Основная цель новых интернет-паспортов: ограничить сбор и хранение интернет-сервисами персональных данных пользователей. Система регистрации пользователей под настоящими именами в КНР существует давно и есть в законодательстве: еще с 2017 г. Закон КНР «О сетевой безопасности» обязывает интернет-сервисы получать действительные данные о личности пользователей социальных сетей и мессенджеров.
При этом возникает другая проблема: чем больше сервисов, у которых хранятся паспортные данные пользователей, тем выше риск раскрытия этих данных. Поэтому по задумке авторов вместо предоставления настоящих имен, номеров удостоверений личности и других персональных данных для каждого интернет-сервиса пользователь сможет предоставлять им свой интернет-паспорт с идентификационным номером, который не будет привязан к номеру удостоверения личности, но при этом может быть проверен на едином государственном портале.
Если интернет-сервис обязан проверить личность пользователя, но не обязан хранить данные, то в этом случае портал будет предоставлять только результаты проверки действительности интернет-паспорта без дополнительных данных о пользователе. Если данные пользователя действительно нужны, то в этом случае они будут предоставляться в соответствии с принципом минимизации данных.
Поэтому насчет удобства интернет-паспортов можно поспорить, главное - в отличие от государства интернет-сервисы будут меньше знать о своих пользователях. И, например, в случае какого-то нарушения у сервиса могут быть в распоряжении только данные интернет-паспорта, а возможность сопоставить эти данные с реальными данными пользователя будет только у государственных органов, которые получат доступ к новому порталу.
Если Дугин - мозг Путина, то Ван Хунин - мозг Си.
Третий пленум Китая подчеркивает тихий взлет политического теоретика Ван Хунина.
68-летний Ван отошел от своей идеологической роли и в прошлом году стал председателем Народного политического консультативного совета Китая (НПКСК).
Но он продолжает работать в Постоянном комитете Политбюро, высшем руководящем органе партии.
В 2021 году Ван стал одним из руководителей группы, составившей резолюцию по истории Коммунистической партии — третью в своем роде за 100 лет существования партии. Годом ранее он сыграл аналогичную роль в разработке плана 14-й пятилетки Китая.
Ван завоевал доверие Си Цзиньпина, потому что верит в централизацию власти, борьбу с коррупцией, приоритет роста высоких технологий и помог сделать эти вопросы центральными в политической повестке дня Си Цзиньпина.
В своей книге 1991 года «Америка против Америки» Ван сказал, что экономическая гонка Японии с США в 1980-х годах научила его тому, что «индивидуализм, гедонизм и демократизм» можно победить «коллективизмом, альтруизмом и авторитаризмом».
Ван помог председателю Цзян Цзэминю и его преемнику Ху Цзиньтао построить свои собственные идеологические системы, которые позже были записаны в конституцию партии.
Он также помог представить «Идеи Си Цзиньпина о социализме с китайской спецификой новой эпохи», также закрепленные в конституции, и, как полагают, стоит за продвижением Си Цзиньпином концепции китайской мечты о возрождении Китая.
Ван оставался в тени в течение первых лет президентства Си Цзиньпина, но постепенно оказался в центре внимания после 2017 года, когда он стал членом Постоянного комитета Политбюро.
🇨🇳 Китайская Угроза
Дополнительно:
Ван Хунин, возможно, является самым влиятельным общественным интеллектуалом, живущим сегодня.
Товарищ Ван Хунин - «наставник трех императоров».
В Париж приехали тайваньские трансы поддержать своих спортсменов на олимпиаде.
🇨🇳 Китайская Угроза
Прогноз на неделю с 12 по 18 августа
Неделя начинается очень красиво, если не сказать романтично: в ночь с понедельника на вторник своей пиковой активности достигает метеорный поток Персеиды. Обязательно понаблюдайте и загадайте желание на падающую звезду. А вот завершается неделя сначала медленным шагом, а затем ползком, подводя нас сразу к двум дням Потери, 18 и 19 августа - в эти дни лучше всего отдыхать, важного не предпринимать, и вообще постарайтесь их разгрузить.
✨12, понедельник, 戊申
Получает звезду Небесное милование, и по древним текстам - в целом, очень позитивный день. Хорошо обращаться за медицинской помощью, проводить встречи, планировать, приступать к обучению, переезжать и отправляться в путешествия, объявлять о помолвке.
Есть риск встречи не с теми людьми, разочарований в партнерах, ощущение что вы не в той компании - всему виной структура "Генерал бежит из дворца".
Совет易经: 59 Распространяйте ясность и понимание. Разгоняйте туман, открывайте путь и готовьтесь к великим свершениям
⛅️13, вторник, 己酉
Оказывается в компании звезды Призрак девяти земель, которая не несет ничего хорошего. Структура дня вообще указывает на возможные ранения, конфликты, действия под давлением и напрасные усилия.
Это не коснется тех кто будет тихонечко заниматься обычными рутинными делами.
Совет易经: 56 Тщательно обдумывайте свои поступки. Принимайте четкие решения, даже если это приносит боль. Ограничивайте свои эмоции и желания, когда встречаетесь с другими людьми.
❌14, среда, 庚戌
День разрушителя - лучше заняться мелкими незначительными делами. К тому же структура дня "Небесный правитель преклоняет колени во дворце" указывает на то, что любые занятия намеченные на этот день, могут сулить неприятности.
Совет易经: 12 Вам препятствуют ничтожные люди с мелкими целями. Ситуация неблагоприятна. Уйдите в тень, избегайте ответственности.
⛅️15, четверг, 辛亥
Сюда прилетает звезда парящего змея и дает риски травм, ранений, юридических проблем или сплетен или негативных действий со стороны маленьких людей. Структура дня сулит споры из-за денег и скованность в делах.
Совет易经: 8 Ситуация быстро меняется. Если кто-то медлит, может оказаться не у дел.
🌧16, пятница, 壬子
Энергия очень слабая и не поддерживающая в этот день. В делах и идеях может появиться запутанность, тягучесть. Этот день очень хорошо подходит для паузы, подзарядки, собирания ресурса. Будьте внимательнее во всех вопросах связанных с водой - энергии воды в этом дне в избытке, где-то могут прорваться трубы или случиться подтопления.
Совет易经: 51 Не увлекайтесь сиюминутными эмоциями. Ваши поступки должны быть зеркалом ваших высших устремлений
☁️17, суббота, 癸丑
К быку прилетает весьма неприятная компания - Красный феникс и Крюк, и вместе со свирепствующим тигром и парящим змеем получается совсем неблагоприятное комбо - если слишком активничать сегодня, можно потерять в деньгах или получить проблемы по здоровью. Поэтому избегайте земляных работ, и не намечайте на этот день супер важных дел.
Совет易经: 22 Действуйте утонченно и с блеском. Пусть внешнее убранство раскроет суть внутреннего замысла. Используйте постепенные перемены для достижения желаемого.
❌💩18, воскресенье, 甲寅
И вот подползая к концу недели, мы получаем день потери - день принудительного отдыха. Ничего важного в такой день предпринимать не стоит - все будет тратой времени. Поэтому проведите его с удовольствием - за теми незначительными, но приятными делами: покормите птичек в парке, проведите время за сериалом, погрузитесь в волшебный мир художественной литературы и отдохните всласть!
Совет易经: 63 Ваш замысел осуществляется. Вы сможете достичь успеха через малые дела. Вкладывайте свои усилия в то, что уже происходит.
Смотрите мой видео-прогноз на неделю на сайте Пятого канала.
Желаю вам успешной и продуктивной недели!
ТГ-агрегаторы как показатель информационного застоя
Найти достойный агрегатор в тг - задача не из легких. Если не брать в расчет всеядных потребителей, то для остальных критерии более чем невыполнимые:
- давать срез мировых событий, а не только РФ
- давать различные точки зрения
- репостить только материалы, которые написаны умными интеллектуалами или невменяемыми идиотами (таких тоже люблю).
- разумное количество публикаций в сутки
Долгое время читал Караульного и Главмедия, сейчас тоже подписан, но всё чаще нажимаю кнопку «К последнему сообщению».
Недостатки:
- 80% репостов на тему операции, из них 50% повторяют друг друга, а остальные сорок написаны патриотами на зарплате по принципу «на отъебись».
- постоянный пул авторов, многие из которых репостятся на автомате, независимо от того, написан шедевр или очередное УГ.
Понятное дело, оба агрегатора государственные, ждать от них кипеш разных точек зрения не приходится, но даже в официозе они скучны. Хотя не сказал бы, что нет проправительственных ярких авторов, которые могли бы вытянуть актуальные темы.
Сейчас подписался еще на Асфальт. Не то, чтобы фонтан, но лента немного поживей, и иногда удивляет.
БРИФ публикует очень много, критерии отбора поверхностные, многие сообщения слишком местечковые. Вроде бы количество точек зрения зашкаливает, но половина - репост дебилов.
Разные информационные помойки вроде Соловьева со Скабеевой даже не рассматриваю.
Образец совершенства в китайской тематике - агрегатор «Китайская заноза. Ретвиты». 😁
Если знаете, какие-то достойные агрегаторы, пишите в комменты.
🇨🇳 Китайская Угроза
МОК под давлением США допустил к ОИ двух боксерок с сомнительными гендерными параметрами, чтобы уменьшить шансы КНР на победу по золотым медалям — бродит такая версия по чайнету.
Казалось бы, что это из серии "Теория заговоров", однако стоит помнить, что в 60-х годах прошлого века именно по настоянию США МОК ввёл проверку женщин на гендерную принадлежность на наличие хромосом XY. А сделано это было для того, чтобы уменьшить шансы на попадание на ОИ "неоднозначных" женщин из СССР и ГДР.
/channel/cn_laowai/8554
🌞 Летняя стажировка в Китае | Северо-восточный университет экономики и финансов
#исаа_стажировки
Во время стажировки в Даляне студенты ИСАА МГУ посетили русскую улицу, расположенную в центре города. Это первая асфальтированная улица в Даляне, которая с самого основания города играла важную роль. Здесь можно увидеть шапки-ушанки, матрёшки, отечественные сладости, а также просто хорошо провести время.
⭐Эпицентр востоковедения | Подписаться!
После завершения в Китае «Фестиваля российского кино» там стартует «Фестиваль украинского кино».
🇨🇳 Китайская Угроза
Исполнительный декан, профессор Чунъянского Института финансовых исследований (RDCY) при Китайском народном университете Ван Вэнь – специально для «Евразия.Эксперт» об экономическом превосходстве БРИКС над G7
Создание нового мирового порядка – долгий процесс. Но в настоящее время появились многие новые столпы для построения нового мирового порядка. В области безопасности существует Шанхайская организация сотрудничества, в политической сфере – механизм сотрудничества БРИКС, в экономической – Азиатский банк инфраструктурных инвестиций и другие. С другой стороны, мы должны признать, что эти столпы все еще недостаточны для полного свержения старого мирового порядка и существующей международной системы. По сути, они являются лишь дополнениями и реформами существующего порядка, а не революцией.
В настоящее время такие интеграционные объединения, как «Один пояс, один путь», Евразийский экономический союз, Всестороннее региональное экономическое партнёрство АСЕАН, стали основными силами, способствующими появлению нового многополярного мира. Но этим интеграционным объединениям все еще требуется значительное время для развития. В конце концов, однополярный мир, возглавляемый Западом, существует уже более двухсот лет. Хотя во время холодной войны он временно перешел в биполярный мир, этот процесс был очень кратковременным. Сейчас необходимо усилить развитие интеграционных механизмов.
Баланс объема экономик между странами G7 и странами БРИКС был нарушен. 30 лет назад объем экономик стран БРИКС составлял лишь треть от объема стран G7. Сейчас, с точки зрения паритета покупательной способности, страны БРИКС полностью превзошли G7. Это явный признак значительных изменений в мировом развитии.
С другой стороны, основа G7 все еще сильна, и политика сдерживания в отношении развивающихся экономик будет продолжаться. Странам БРИКС все еще нужно оставаться скромными и осторожными. Долгосрочное устойчивое развитие и долгосрочное превосходство над G7 по национальной мощи являются важной основой для стран БРИКС, чтобы играть свою роль.
В настоящее время экономические перспективы развивающихся стран все еще имеют сильный потенциал, но также сталкиваются со значительными вызовами. Внутренний экономический рост недостаточен, и в то же время он подвержен рискам, исходящим от развитых стран. В краткосрочной перспективе задачей для развивающихся экономик остается продвижение реформ на стороне предложения, достижение быстрого экономического восстановления и содействие экономической глобализации через международное многостороннее сотрудничество. А в конечном итоге – достижение средне-высоких темпов роста.
Никогда не сомневался, что наш инфоцыган-китаевед Николай Вавилов редкостный кусок высушенного говна.
И вот подъехали доказательства.
Вавилов под вторым аккаунтом длительное время выдавал себя за меня. И под видом админа Китайской Угрозы писал разную дичь в многочисленных чатах от моего имени.
Теперь мудозвон себя выдал с головой, забыв перелогиниться и разместив скрины своего второго аккаунта под своим основным ником.
Совершенно точно могу сказать, что Вавилов писал от моего имени в чатах у Максима Шевченко, Дениса Палецкого, канала «БКРС головного мозга».
С психическим здоровьем у Вавилова явные проблемы. Тратить столько времени на отслеживание моих виртуальных знакомств в телеграм и постоянно строчить в чатах от моего имени - надо быть больным на всю голову.
В сексуальной сфере у Вавилова тоже аномалии. Любимая его тема - обвинять всех, кто ему не нравится в гомосексуализме. Любой психиатр вам скажет, что это жжжж неспроста.
Думаю, все, кто так или иначе имеет дело с Вавилов, смогут сделать соответствующие выводы. Или прекратить с ним общаться, или хотя бы мыть руки после встреч с этим онанистом. 😁
На заметку друзьям Вавилова по информационному цеху:
@tsargradtv @skabeeva @SolovievLive @news_1tv @tvrussia1 @VA_Nikonov @delyagin @rt_russian @rusbrief @Pul_Nomer_3 @vestifmplus @EvPanina
Тем, кто имеет с Вавиловым какие-то совместные бизнес планы тоже стоит задуматься 😁
Китайская гадость из картофеля.
Вместо того, чтобы поджарить за 20 минут, неделю готовят какое-то хрючево.
🇨🇳 Китайская Угроза
За 6 лет, что я не была в Китае, многое изменилось в дурную сторону.
И я не про рост цен, хотя они реально неадекватно взлетели на всё. С одной стороны, безумный разгул безумной цифровизации - вплоть до того, что в вендинговом аппарате, которые понатыканы везде, продажи только по куар-кодам - бутылку воды не купить без куар-кода, а куар-код привязан к твоему счету (китайскому, разумеется).
Отдельный аттракцион - обмен валюты. Можно, конечно, быстро-мгновенно поменять в аэропорту, но там такой курс, что с каждых 100 долларов 40 ты подаришь Коммунистической Партии Китая. Обмен денег в банке (нам надо было поменять 300 долларов и 140 евро) занял у нас час (!!!) времени, и занималось этим 5 (прописью: пять) операционисток.
Особенно доставил огромный лист с анкетой, где нужно было указать, с какой целью ты обмениваешь деньги и на что эти юани пойдут. Надо было отметить огромный список опций: еда, такси, покупка разных товаров и т.д. (так и подмывало спросить, а где же пункт "chinese prostitutes"). Какого, спрашивается, хуя?? Забавно, что при запредельном уровне цифровизации всё это ты заполняешь всё равно вручную.
Полностью:
/channel/kolobok1973/9537
/channel/kolobok1973/9538
🇨🇳 Китайская Угроза
Раньше включишь ютуб, а там матом костерят российскую власть. Думаешь, вот брешут продажные иноагенты.
Ютуб запретили, разворачиваешь Коммерсантъ, а там тоже членами обкладывают членов. Ну, как так-то?
Одним словом, правильно, что запретили ютуб. Будем сами к херам посылать начальство.
🇨🇳 Китайская Угроза
В Китае празднуют День влюблённых – фестиваль Циси
Отмечают его в седьмой день седьмого месяца по лунному календарю. В этом году он выпал на 10 августа.
Китайские мужики в этот день решили продемонстрировать силу своих достоинств.
🇨🇳 Китайская Угроза
Деньги в России валяются на дороге, а у государства их почему-то нет. 😁
Может потому, что само государство сплошные акуловы?
Как мещанин, я бы, конечно, лучше мультики на ютубе смотрел, но теперь в силу наличия свободного времени, приходится занимать непримиримую гражданскую позицию.
Где массовые посадки коррупционеров? Где массовые расстрелы их на стадионах? Сколько конфискованных средств поступило в казну? Почему депутаты засекретили свои доходы? Почему сенаторы имеют недвижимость в странах потенциального противника и не избавляются от нее? Симоньян, почему у нас до сих пор как в Китае только с доступом к ютубу?
Народ требует полной прозрачности доходов и трат всех российских чиновников! Не нравится? Идите работать учителями.
🇨🇳 Китайская Угроза
Бывший министр обороны подорвал престиж армии Китая
Си Цзиньпин борется с коррупцией давно. Сейчас в фокусе армия. Но это не значит, что в других сферах ее не искореняют. А с армией все сложнее. Это фактически государство в государстве. Армия, конечно, контролируется Коммунистической партией. Но с другой стороны, НОАК – это основа власти Коммунистической партии. Она привела к власти партию.
У военных есть привилегии. Если вы полетите на самолете, поедете на поезде или пойдете в театр, то обнаружите везде надписи: военные идут первыми. Даже в правилах дорожного движения у них есть определенные привилегии. Очевидно, раньше НОАК стояла особняком. А теперь решено, очевидно, ввести и там надлежащий надзор.
🇨🇳 Китайская Угроза
Гласности не получилось, но мы пытались
В течение двух недель с тех пор, как Министерство общественной безопасности и Управление киберпространства Китая опубликовали законопроект, предлагающий якобы добровольную национальную программу по выдаче интернет-паспортов, и открыли его для общественного обсуждения, в соцсетях наблюдалась жесткая цензура обсуждений и статей на эту тему.
Критики указывают на следующие недостатки предложенных мер:
- В новом законе нет необходимости, учитывая уже существующую систему идентификации по настоящему имени.
- Маловероятно, что новые меры окажутся «добровольными» на практике.
- Это может оказать сдерживающее воздействие на дискуссии в интернет, облегчив властям отслеживание и наказание инакомыслия.
- Это предложение может создать большие проблем в конфиденциальности и безопасности данных.
- Это привело бы к ненужному увеличению бюрократии и усилению централизованного контроля над пользователями интернета.
- Предложение может быть неконституционным .
Наибольший резонанс получили критика интернет-паспортов профессором Университета Цинхуа Хуан Юйшэном.
Нельзя не заметить похожие меры по полноценному введению цензуры в России, активно следующей курсу Старшего Брата по зачистке национального интернет-пространства.
🇨🇳 Китайская Угроза
Никогда. Не идите. На работу.
Это худшее, что можно сделать в 2024 году. Тогда вы всегда будете «под мудаком-начальником», получать копейки и проживать жизнь в офисе.
Другое дело – открыл своё дело и живёшь припеваючи. А какие проблемы, если ты подписан на канал Бизнес и Стартапы?
Автор – просто безумец. 24/7 шерстит рынок, делится самыми необычными бизнесами, стартапами и показывает, как это всё адаптировать у нас.
Чуваки из США продают несуществующие кроссовки, чем вы хуже? Подпишитесь, чтобы однажды не проснуться без денег: /channel/+dch6vWpbBEE1ZDZi
Админы российских ТГ-каналов после регистрации в Роскомнадзоре.
🇨🇳 Китайская Угроза
В Шэньчжэне открыты 170 спортивных мини-комплексов под открытым небом.
🇨🇳 Китайская Угроза
Блокировка ютуба в России.
Следующий шаг - запрет на публикации способов обойти запрет ютуба.
В случае нарушения - отключение холодильника и горячей воды 😁
🇨🇳 Китайская Угроза
Политжостик об интервью Дерипаски японской Nikkei Asia.
Ахаха. Если не открывается без ВПН, это значит холопам запрещено читать. Хватит распространять западную пропаганду в нашем богоугодном местечке 😁
Разве вас не предупреждали что ВПН - сатанинское изобретение, которое ворует у вас личную информацию и последний рубль?
И да, там еще и под пейволлом. Вы же не собираетесь выпить кофе и не заплатить? 😁
🇨🇳 Китайская Угроза