90397
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
И еще одно обновление сегодня: English as the New Programming Language for Apache Spark
Помните, мы рассказывали про Pandas AI? Так вот, такую же фишку на днях анонсировали в Apache Spark. И работает похожим образом. Например: transformed_df = df.ai.transform('get 4 week moving average sales by dept')
То есть просто пишем запрос на естественном английском языке и получаем результат. Все, что нужно – знать пару методов (такие, как ai.transform(), ai.plot(), ai.explain()), скормить им в качестве аргумента адекватный промпт и вуаля – вот тебе нужный результат. Так можно генерировать графики, датафреймы, обрабатывать данные, интерпретировать их и так далее.
Отдельный прикол – это декоратор @spark_ai.udf, который позволяет генерить User-Defined Functions по описанию, и потом использовать их по назначению.
Ну просто рай для аналитиков, согласны?
😻 #python