Как сделать стандартизацию данных

Как нормализовать и стандартизировать данные временных рядов в Python

Дата публикации 2016-12-12

Некоторые алгоритмы машинного обучения будут обеспечивать лучшую производительность, если ваши данные временных рядов будут иметь постоянный масштаб или распределение.

Двумя методами, которые вы можете использовать для последовательного масштабирования данных временных рядов, являются нормализация и стандартизация.

В этом руководстве вы узнаете, как применить нормализацию и масштабирование стандартизации к данным временных рядов в Python.

После завершения этого урока вы узнаете:

Набор данных минимальных суточных температур

Этот набор данных описывает минимальные дневные температуры за 10 лет (1981-1990) в городе Мельбурн, Австралия.

Ниже приведен пример первых 5 строк данных, включая строку заголовка.

Ниже приведен график всего набора данных, взятого из Data Market.

Набор данных показывает сильную сезонную составляющую и имеет приятные мелкозернистые детали для работы.

В этом руководстве предполагается, что набор данных находится в вашем текущем рабочем каталоге с именем файла «ежедневно минимальная температура-в-me.csv«.

Заметка: Загруженный файл содержит несколько знаков вопроса («?»), Которые необходимо удалить, прежде чем вы сможете использовать набор данных. Откройте файл в текстовом редакторе и удалите символы «?». Также удалите любую информацию нижнего колонтитула в файле.

Нормализуйте данные временного ряда

Нормализация может быть полезной и даже необходимой в некоторых алгоритмах машинного обучения, когда данные временных рядов имеют входные значения с различными масштабами. Это может потребоваться для алгоритмов, таких как k-Nearest соседей, которые используют вычисления расстояний и линейную регрессию и искусственные нейронные сети, которые весовые значения ввода.

Нормализация требует, чтобы вы знали или могли точно оценить минимальные и максимальные наблюдаемые значения. Возможно, вы сможете оценить эти значения по вашим доступным данным. Если ваш временной ряд имеет тенденцию к повышению или понижению, оценка этих ожидаемых значений может быть затруднена, и нормализация может оказаться не лучшим методом для решения вашей проблемы.

Значение нормализуется следующим образом:

Где минимальные и максимальные значения относятся к значениюИкснормализуется.

Вы можете увидеть, что еслиИкспредоставляется значение, которое находится за пределами минимального и максимального значений, что результирующее значение не будет находиться в диапазоне от 0 до 1. Вы можете проверить эти наблюдения перед выполнением прогнозов и либо удалить их из набора данных, либо ограничить их до предопределенных максимальных или минимальных значений.

Вы можете нормализовать свой набор данных, используя объект scikit-learn.MinMaxScaler,

Хорошая практика использования сMinMaxScalerи другие методы масштабирования следующие:

При необходимости преобразование может быть инвертировано. Это полезно для преобразования прогнозов в исходную шкалу для составления отчетов или построения графиков. Это можно сделать, позвонивinverse_transform ()функция.

Ниже приведен пример нормализации набора данных «Минимальные суточные температуры».

Скейлер требует, чтобы данные были представлены в виде матрицы строк и столбцов. Загруженные данные временного ряда загружаются как пандыСерии, Затем он должен быть преобразован в матрицу из одного столбца с 3650 строками.

Затем измененный набор данных используется для подгонки скейлера, набор данных нормализуется, затем преобразование нормализации инвертируется, чтобы снова показать исходные значения.

При выполнении примера печатаются первые 5 строк из загруженного набора данных, отображаются те же 5 значений в их нормализованной форме, а затем значения возвращаются в исходный масштаб с использованием обратного преобразования.

Мы также видим, что минимальное и максимальное значения набора данных равны 0 и 26,3 соответственно.

Существует другой тип масштабирования, который более устойчив к новым значениям, находящимся вне диапазона ожидаемых значений; это называется стандартизацией. Мы посмотрим на это дальше.

Стандартизировать данные временных рядов

Это можно рассматривать как вычитание среднего значения или центрирование данных.

Как и нормализация, стандартизация может быть полезной и даже необходимой в некоторых алгоритмах машинного обучения, когда ваши данные временного ряда имеют входные значения с различными масштабами.

Стандартизация предполагает, что ваши наблюдения соответствуют гауссовскому распределению (кривая колокола) со средним значением и стандартным отклонением. Вы все еще можете стандартизировать данные временных рядов, если это ожидание не будет выполнено, но вы можете не получить надежных результатов.

Это включает в себя алгоритмы, такие как машины опорных векторов, линейная и логистическая регрессия, и другие алгоритмы, которые предполагают или имеют улучшенную производительность с гауссовыми данными.

Стандартизация требует, чтобы вы знали или были в состоянии точно оценить среднее и стандартное отклонение наблюдаемых значений. Возможно, вы сможете оценить эти значения по вашим данным обучения.

Значение стандартизировано следующим образом:

Гдеимею в видурассчитывается как:

Истандартное отклонениерассчитывается как:

Например, мы можем построить гистограмму набора данных «Минимальные суточные температуры» следующим образом:

Выполнение кода дает следующий график, который показывает гауссово распределение набора данных, как предполагается стандартизацией.

Мы можем угадать среднюю температуру 10 и стандартное отклонение около 5. Используя эти значения, мы можем стандартизировать первое значение в наборе данных 20,7 следующим образом:

Оценки среднего и стандартного отклонения набора данных могут быть более устойчивыми к новым данным, чем минимальное и максимальное.

Вы можете стандартизировать свой набор данных, используя объект scikit-learn.StandardScaler,

Ниже приведен пример стандартизации набора данных «Минимальные суточные температуры».

При выполнении примера печатаются первые 5 строк набора данных, печатаются те же стандартизированные значения, а затем печатаются значения обратно в их исходном масштабе.

Мы можем видеть, что расчетное среднее значение и стандартное отклонение составляли 11,1 и 4,0 соответственно.

Резюме

В этом руководстве вы узнали, как нормализовать и стандартизировать данные временных рядов в Python.

В частности, вы узнали:

У вас есть вопросы о масштабировании данных временных рядов или об этом посте?
Задайте свои вопросы в комментариях, и я сделаю все возможное, чтобы ответить.

Источник

Как стандартизировать данные семантики с помощью логарифмов

Сбор, кластеризация и анализ полученных данных по семантическому ядру – один из наиболее важных этапов продвижения сайтов в поисковых системах.

Так как процесс сбора ядра имеет примерно одинаковый алгоритм во многих компаниях, в данной статье мы поговорим не о самом процессе формирования кластеров, а о способе быстрой оценки данных при выборе наиболее значимых кластеров для работы. Это позволит сделать быстрый старт именно с тех позиций, которые имеют наиболее весомые показатели как по коммерческой оценке, так и по частотности.

Проблема

При работе с большим объемом запросов в коммерческой тематике и при необходимости быстрого запуска наиболее весомых кластеров часто возникает ситуация, когда выборка по частотности показывает запросы некоммерческого характера. После сортировки ключей по коммерческим оценкам мы можем увидеть вверху низкочастотные запросы, которые не интересны для нас на этапе старта работ.

На скриншоте видно, что, фильтруя по частотности, мы получаем вверху запросы с низкими коммерческими показателями

Если представить ситуацию, при которой мы работаем с готовой чистой информационной семантикой, то тогда мы можем отбирать

Данный способ не подходит, когда при сортировке по частотности мы получаем запросы, не отсортированные по коммерческой оценке.

Стандартизация данных

Суммировать сумму запросов кластера и смотреть на ее отношение к сумме по процентам коммерческой оценки некорректно. Во-первых, это две разные сущности. Во-вторых, большой кластер с низкими коммерческими оценками запросов за счет их суммы может оказаться выше кластера из меньшего количества запросов, которые обладают 100% коммерческим интентом.

В результате в числе приоритетных ключей мы увидим ключевые фразы, не соответствующие нашим требованиям.

Чтобы решить этот вопрос мы должны:

1. Стандартизировать данные, для чего мы вводим функцию натурального логарифмирования. Прежде, чем объединять данные, нам нужно их нормировать и сжать. Функция логарифма для Excel «=LN(в скобках указываем нужное число)».

На скриншоте показано, как выглядит формула

2. Прибавить условное число для каждого показателя частотности и коммерческости, чтобы избежать ошибок, если данные равны 0 или 1.

3. Логарифм обезличивает наши данные и дает возможность сопоставить их для сравнения.

Далее мы складываем полученные числа, чтобы получить показатель, по которому можно сделать сортировку запросов и увидеть наиболее приоритетные в семантическом ядре по соотношению коммерческой оценки запроса и его частотности.

Также мы можем сдвинуть веса, изменив приоритет суммируемых данных. Это можно сделать через коэффициент, который добавляем к тем данным, которые для нас важнее.

После того как сделана сортировка и выбраны запросы для работы, остальные ключи кластера можно подтянуть по номеру группы.

Заключение

Предлагая данный метод, мы бы хотели, в первую очередь, услышать обратную связь. Возможно, есть способ повысить точность итоговых данных или ускорить процесс.

Данный подход встречается в прогнозной аналитике Дмитрия Иванова, но при этом метод не распространен среди SEO-специалистов. Часто на различных курсах по SEO вопрос выбора кластеров сводится только к частотности или коммерческой оценке. Однако проблема отсутствия возможности увидеть сбалансированные данные по этим двум характеристикам остается. На наш взгляд это некорректно, поэтому мы попробовали систематизировать работу в этом направлении.

Представленный метод позволяет:

Источник

Стандартизация данных

Перед началом проведения кластерного анализа необходимо провести стандартизацию данных по формуле:

(5.1)

где – стандартизованное значение -го фактора, – фактическое значение -го фактора, – среднее значение -го фактора, – среднеквадратическое отклонение -го фактора.

Расчеты можно провести в Microsoft Office Excel, используя встроенные статистические функции СРЗНАЧ () и СТАНДОТКЛОН (). Полученный результат представлен в таблице 5.2.

Таблица 5.2. Стандартизованные данные по уровню жизни населения

Дата добавления: 2015-01-13 ; просмотров: 1171 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

Источник