Открытые данные RU

12 января 2021 13:55

Я бы предложил пойти официальным путем и сделать запросы по 8-ФЗ

Открытые данные RU

12 января 2021 13:30

Я бы обратился к региональному исполкому или на локальные сайты партий

Открытые данные RU

11 января 2021 23:15

Руками можно на сайте местного выборного органа - муниципального видимо

Открытые данные RU

11 января 2021 15:23

Привет.
Подскажите, есть где-нибудь в одном месте статистика отравлений грибами по регионам? Или статистика отравлений с причинами.

Открытые данные RU

11 января 2021 13:18

опять личные связи решают)

Открытые данные RU

11 января 2021 12:57

интересно, где этот рынок обитает? должна же быть площадка... или опять каждый за себя?

Открытые данные RU

11 января 2021 12:36

Да, ценники там негуманны. etleap.com enterprise edition судя по AWS Marketplace обходится в $96 000 в год.

Открытые данные RU

11 января 2021 12:34

Да, и я, признаться, не уверен что OpenRefine просто вставляется в цепочку обработки данных. Он незаменим именно для ручной работы

Открытые данные RU

11 января 2021 12:13

OpenRefine про автоматизацию data wrangling, но, там нет контроля входящего потока на предмет пригодности к накладыванию этих скриптов. Для автоматической обработки используют, обычно, продукты с data pipelines, когда есть контроль входящих и исходящих, чего-то универсальное в этой области редкость. Есть какие-то готовые продукты по автоматизации сбора данных из мобильных приложений или сервисов аналитики и тд, ближе к управлению данных о пользователях (customer data management), там есть много готовых решений.

Но когда дело доходит до открытых (читай - неуправляемых) источников данных, то приходится писать свои костыли. Но вообще скажу честно, проще автоматизировать оценку качества данных чем автоматическую очистку. Great Expectations активно используется в нескольких data pipelines продуктах именно с этой целью.

Открытые данные RU

11 января 2021 12:06

Спасибо!

Наш случай таков: мы уже сделали сами некое ETL-решение, которое частично эту задачу решает, но в компании возникла инициатива приклеить к нему OpenRefine для интерактивности и для привлечения сотрудников (не разработчиков) к процессу с помощью удобного для них UI.

Спасибо за ссылки, буду смотреть.

Открытые данные RU

11 января 2021 11:53

Здравствуйте. Я видел немного выше обуждение OpenRefine. Сам я ещё не успел с ней ознакомиться как следует, но: существуют ли прецеденты интеграции OpenRefine (через API) в потоковый процесс обработки данных?

Например:
- приходит файл с грязными данными, формат файла может быть каким попало;
- с помощью OpenRefine сотрудник Data Team смотрит на файл, чистит его;
- файл чистится и отправляется в data warehouse.

Вероятнее всего, похожие файлы будут появляться снова и снова, поэтому требуется сохранить preset, который система впредь к файлам от этого источника будет автоматически применять.

Существует ли опыт применения OpenRefine для таких задач? Или, может быть, на что-то другое надо посмотреть? Спасибо!

Открытые данные RU

11 января 2021 10:42

Что такое аннотация, чем отличается от суммаризации? Коллекция открытых датасетов для русского https://github.com/natasha/corus/, https://github.com/natasha/corus/issues. В частности для суммаризации там ссылка на хороший обзор https://github.com/IlyaGusev/gazeta

Открытые данные RU

11 января 2021 10:15

Да, честно говоря, как раз в области компьютерной лингвистики бесконечное число датасетов

Открытые данные RU

11 января 2021 10:02

коллеги, которые занимаются NLP, спрашивают, почему новости для аннотирования не подходят )

Открытые данные RU

11 января 2021 09:54

например, база научных статей

Открытые данные RU

12 января 2021 13:51

Из нестандартных ходов - можно попросить совета у ФБК Краснодара. Они могут владеть какой-то информацией (а могут и не владеть).
Ну, и самый долгий путь - действительно собирать голосом, звоня в часы приёма (есть на местном сайте). Говорить, мол, хотим направить обращение граждан.

Так как они не получают ЗП и не являются чиновниками или служащими, никто их адреса давать не обязан, поэтому, мне кажется, идти через исполком (какой, кстати?) смысла нет.
Через партии - вариант, но только с партийными. А для этого надо поднимать историю вопроса - кто там партийный, а кто одномандатник.

Вообще да, грустно. Пыталась пробить нескольких человек. Так даже у руководителя какой-то местной федерации дзюдо и директора школы нет е-мэйлов. Только телефоны. Может, они вообще почтой не пользуются?
Какая задача стоит? Можно ли ее решить другим способом?

Открытые данные RU

12 января 2021 00:44

У них их может и не быть

Открытые данные RU

11 января 2021 22:50

Коллеги, может подскажите, где или как (скриптом, руками или голосом) можно найти email адреса депутатов конкретного района? Что-то грустно все с этим. Спасибо большое! Пишите: @ezhrv

PS в моем случае речь про Краснодарский край, Туапсинский район

Открытые данные RU

11 января 2021 13:20

или демонстрация коммерческого успеха в продажи подобного

Открытые данные RU

11 января 2021 13:03

Обычно у таких коммерческих продуктов есть списки рекомендованных консультантов и продавцы по странам. Я таких несколько знаю в Европе и РФ.

Открытые данные RU

11 января 2021 12:40

Да, дешевле нанимать консультантов или внешние команды которые настраивают стек под ключ, сейчас большой рынок "небольшого" консалтинга в этой области по всему миру тех кто настраивает open source решения.

Открытые данные RU

11 января 2021 12:34

Про great expectations могу порекомендовать aravinthR/great-expectations-set-expectations-on-your-data-ae9ccfb9dc6" rel="nofollow">https://medium.com/@aravinthR/great-expectations-set-expectations-on-your-data-ae9ccfb9dc6
Это не единственный продукт такого рода, есть много коммерческих, но ценник там соотвестстуующий

Открытые данные RU

11 января 2021 12:17

> там нет контроля входящего потока на предмет пригодности к накладыванию этих скриптов.
То есть, если мы сказали OpenRefine "используй такой-то скрипт для обработки такого-то файла", и оказалось, что файл не того формата, каковой ожидает скрипт — мы не получим вразумительного описания ошибки?

Открытые данные RU

11 января 2021 12:08

а точно OpenRefine так не может? Из него ведь можно выгружать скрипты изменений

Открытые данные RU

11 января 2021 11:59

Анатолий, добрый день. Честно говоря, то что Вы описываете в OpenRefine делается, по умолчанию, только вручную. А вот эти функции - это характеристики больших тяжелых коммерческих продуктов, типа DataIku или сборки кучи мелких компонентов вручную. Такой опыт есть у многих, но он очень привязан к контексту. Универсальных решений нет( Если есть бюджет - я бы посоветовал внедрять коммерческую data платформу (ту же DataIku или DataBricks) или привлечь консультантов. Если бюджета нет, то OpenRefine для ручной работы, а presets делать через great expectations, DBT или один из ELT/ETL инструментов в зависимости от своего технического стека

Открытые данные RU

11 января 2021 10:57

Можно у Киберленинки спросить

Открытые данные RU

11 января 2021 10:15

Но я бы порекомендовал начать с дампа Википедии

Открытые данные RU

11 января 2021 10:13

Как вариант, можно предобучить на новостях, а потом дообучить на небольшом целевом датасете, у аннотации есть несколько требований по сравнению с обычной суммаризацией текст, поэтому ищу датасет с научными статьями, но если его нет, тогда возьму только новости) Кроме датасетов Lenta и "Россия Сегодня", есть еще что-то?

Открытые данные RU

11 января 2021 09:56

Да, но не могу найти такую базу в виде датасета( Где его можно посмотреть?

Открытые данные RU

11 января 2021 09:51

Какой датасет подойдёт для задачи автоматической аннотации? Обычно для задач суммаризации берут данные новостей, но эти датасеты не подходят для аннотации