Что относится к сбору информации
Сбор информации
Процесс сбора информации представляет собой деятельность субъекта, целью которой является получение сведений об интересующем его объекте.
Из изложенного выше следует вывод, что система сбора информации может представлять собой сложный программно-аппаратный комплекс. Как правило, современные системы сбора информации не только обеспечивают кодирование информации и ее ввод в ЭВМ, но и выполняют предварительную (первичную) обработку этой информации.
Сбор и регистрация информации происходят по-разному в различных экономических объектах. Наиболее сложна эта процедура в автоматизированных управленческих процессах промышленных предприятий, фирм и т.п., где производятся сбор и регистрация первичной учетной информации, отражающей производственно-хозяйственную деятельность объекта.
Особое значение при этом придается достоверности, полноте и своевременности первичной информации. На предприятии сбор и регистрация информации происходят при выполнении различных хозяйственных операций (прием готовой продукции, получение и отпуск материалов и т.п.). Сначала информацию собирают, затем ее фиксируют. Учетные данные могут возникать на рабочих местах в результате подсчета количества обработанных деталей, прошедших сборку узлов, изделий, выявление брака и т.д.
Для сбора фактической информации производятся измерение, подсчет, взвешивание материальных объектов, получение временных и количественных характеристик работы отдельных исполнителей. Сбор информации, как правило, сопровождается ее регистрацией, т.е. фиксацией информации на материальном носителе (документе или машинном носителе).
Запись в первичные документы в основном осуществляется вручную, поэтому процедуры сбора и регистрации остаются пока наиболее трудоемкими.
В условиях автоматизации управления предприятием особое внимание придается использованию технических средств сбора и регистрации информации, совмещающих операции количественного измерения, регистрации, накоплению и передаче информации по каналам связи в ЭВМ с целью формирования первичного документа.
Процесс сбора информации связан с переходом от реального представления предметной области к его описанию в формальном виде и в виде данных, которые отражают это представление.
Источниками данных в любой предметной области являются объекты и их свойства, процессы и функции, выполняемые этими объектами или для них.
Любая предметная область рассматривается в виде трех представлений:
— реальное представление предметной области;
— формальное представление предметной области;
— информационное представление предметной области.
При сборе (извлечении) информации важное место занимают различные формы и методы исследования данных:
— поиск ассоциаций, связанных с привязкой к какому-либо событию;
— обнаружение последовательностей событий во времени;
— выявление скрытых закономерностей по наборам данных путем определения причинно-следственных связей между значениями определенных косвенных параметров исследуемого объекта (ситуации, процесса);
— оценка важности (влияния) параметров на развитие ситуации;
— классифицирование (распознавание), осуществляемое путем поиска критериев, по которым можно было бы относить объект (события, ситуации, процессы) к той или иной категории;
— кластеризация, основанная на группировании объектов по каким-либо признакам;
— прогнозирование событий и ситуаций.
Задача сбора информации не может быть решена в отрыве от других задач, в частности, задачи обмена информацией (передачи).
Энциклопедия маркетинга
Каталог консалтинговых компаний
Библиотека маркетолога
Методы сбора информации и инструменты анализа
Михаил Кисляк, vitalon@vitalon.ru
Однако, на практике, полевые и кабинетные исследования дополняют друг друга, решая свой конкретный круг вопросов.
Ещё одной областью приложения качественной методологии являются так называемые диагностические исследования. Очевидно, что восприятие продукта и рекламы потребителями меняется со временем. Качественные исследования в таких случаях помогают определить уровень, направление и характер изменений восприятия бренда и рекламы со временем.
Кроме того, качественная методология может быть использована при проведении тактических исследований для выбора наиболее успешного варианта исполнения (execution) рекламы, упаковки, логотипа. Для тестирования могут быть предложены альтернативные варианты визуальных, текстовых и пр. элементов конкретного исполнения уже созданной рекламы, упаковки и пр.
Методы сбора информации
При письменном опросе участники получают опросные листы (анкеты), которые они должны заполнить и отдать по назначению. Обычно, в письменных опросах используются закрытые вопросы, ответы на которые заключаются в выборе одного из приведенных. Обычно, при письменных опросах, опросный лист рассылается представителям целевой аудитории, по средствам электронной почты, почтовой рассылки или факсимильной связи. Основным недостатком, ограничивающим использование данного метода, является длительный период и низкий процент (в среднем 3%) возврата заполненных анкет.
Личные (Face-to-face) и телефонные опросы принято называть интервью.
Интервью face-to-face могут быть формализованные и неформализованные.
Метод мозговой атаки заключается в неконтролируемой генерации и спонтанном переплетении идей участниками группового обсуждения проблемы. На этой базе возникают цепочки ассоциаций, которые могут привести к неожиданному решению проблемы.
Синектика считается методом с высоким творческим потенциалом. Идея метода заключается в постепенном отчуждении исходной проблемы путем построения аналогий с другими областями знаний. После многоступенчатых аналогий производится быстрый возврат к исходной задаче.
В ходе обработки и анализа данных маркетингового исследования первым этапом является частотный анализ. Далее следует описание статистических показателей изучаемых признаков. Среди таковых основными можно отметить следующие показатели:
Проверка выдвинутых исследовательских гипотез производится с помощью корреляционного, дисперсионного или факторного анализов. В следствие проведенного анализа данных, выдвинутая гипотеза подтверждается или отвергается, что в любом случае говорит о полученном результате.
Дисперсионный анализ. С помощью дисперсионного анализа исследуют влияние одной или несколько независимых переменных на одну зависимую переменную или на несколько зависимых переменных. Метод статистического анализа, позволяющий определить достоверность гипотезы о различиях в средних значениях на основании сравнения дисперсий (отклонений) распределений (например, можно проверить гипотезу о различиях двух групп потребителей, выделенных при помощи кластеризации). В отличие от корреляционного анализа дисперсионный анализ не дает возможности оценить тесноту связи между переменными.
Регрессионный анализ. Статистический метод установления зависимости между независимыми и зависимыми переменными. Регрессионный анализ на основе построенного уравнения регрессии определяет вклад каждой независимой переменной в изменение изучаемой (прогнозируемой) зависимой переменной величины. В маркетинге часто используется для прогнозирования спроса.
Факторный анализ. Совокупность методов, которые на основе реально существующих связей признаков (или объектов) позволяют выявлять латентные (или скрытые) обобщающие характеристики изучаемых явлений и процессов. Главными целями факторного анализа являются сокращение числа переменных и определение структуры взаимосвязей между переменными, то есть классификация переменных. При сокращении числа переменных итоговая переменная включает в себя наиболее существенные черты объединяемых переменных. Классификация подразумевает выделение нескольких новых факторов из переменных связанных друг с другом. В маркетинге этот метод используется в связи с углублением анализа потребительского поведения, развитием психографики и т.п. задач, в которых необходимо выявление явно не наблюдаемых факторов.
Результаты полевых исследований представляют собой значительные массивы переменных, которые достаточно сложны для обработки «ручным методом». На сегодняшний день, в арсенале исследователей имеется множество программных пакетов, позволяющих оптимизировать и упростить процедуру анализа. Наибольшее распространение получили такие пакеты, как Vortex, SPSS, Statistica.
Программное обеспечение SPSS позволяет проводит частотный анализ, описательную статистику, корреляционный анализ, дисперсионный анализ, кластерный анализ, факторный анализ, а также регрессионный анализ.
Что представляют собой обработка, сбор и передача информации?
Содержание:
Обработка информации — это набор операций над информацией, которые осуществляют при помощи специальных технических и программных инструментов. В результате обработки информации она видоизменяется. Обработка информации являются частью информационных процессов, куда входят:
Сбор информации
По большому счету, жизнедеятельность каждого человека — это постоянный сбор информации о жизни, профессии, окружающих людях, других странах и т. д. В более узких смыслах сбор информации — это систематический мониторинг хранилищ информации: баз данных, справочников, библиотек и др.
Человек осуществляет сбор информации следующими методами:
Простой пример из жизни — вы решили поехать на выходные к другу в соседний город. Для того чтобы это сделать, вам необходимо будет просмотреть план проезда и расписание транспорта из вашего города в соседний. Для этого вы возьмете в руки телефон или сядете за компьютер, соберете всю необходимую информацию. Ваши родители, узнав о вашей поездке, попросят контакты вашего друга, проверят маршрут вашего передвижения, узнают адрес, где вы планируете находиться и др. И вы, и ваши родители произведете сбор информации при помощи технических средств. Сбор нужной информации — это умение, без которого очень трудно жить в современном мире.
Хранение информации
Информация хранится в цифровых и в нецифровых носителях. Носитель — это некий объект или среда, где сохраняется собранная информация.
Нецифровые носители — это:
Любое место или материал, где можно записать какую-то информацию может стать носителем. Самый распространенный нецифровой носитель современного мира — это бумага.
Цифровые носители — это:
Цифровые носители являются более компактными носителями информации, поэтому чаще всего применяются в жизнедеятельности человека. Такие носители помогают хранить информацию любых объемов, чего не скажешь о нецифровых носителях.
Вернемся к нашему примеру. После того как вы собрали информацию о проезде к другу в соседний город, вам нужно как-то сохранить эту информацию. Скорее всего вы ее запомните и отправите на хранение в мозг, плюс, сделаете скриншот расписания автобусов, чтобы сохранить на цифровом носителе.
Передача информации
Передача информации может быть открытой, закодированной или зашифрованной. Типичные примеры передачи информации:
Передача сигнала между источником и приемником называется канал связи, который тоже может быть открытым или защищенным.
Вернемся к нашему примеру. Вы сделали скрин расписания автобусов в соседний город, а родители захотели с ним ознакомиться. Вы открываете привычный мессенджер и скидываете скриншот им на телефон. Между вами и родителями произошла передача информации, где ваш телефон — это источник, а телефон родителей — приемник. Канал связи в мессенджере между вашими телефонами защищен сквозным шифрованием. Это значит, что даже если хакер в момент передачи перехватит ваш скрин, он не сможет его расшифровать и понять куда и во сколько вы едете.
Обработка информации
Обработка информации несет в себе цели:
Любое преобразование информации будет считаться ее обработкой, например:
Вернемся к нашему примеру. Вы скинули скрин родителям, но ваша мама пишет, что не может разобрать и понять что там изображено, поэтому просит вас скинуть в другом формате. Вы можете;
Все ваши действия — это и есть обработка информации.
О сборе данных. Как собирать данные, анализировать их и грабить корованы
В предыдущей статье мы рассматривали вопросы качества данных («О качестве данных и распространенных ошибках при их сборе» на Хабре).
Сегодня я хочу продолжить разговор о качестве данных и обсудить их сбор: как правильно расставить приоритеты при выборе источника, как и какие данные собирать, оценка ценности данных для компании и другое.
Собирайте всё
Вы решили улучшить оформление и оплату товара на сайте?
Отлично, а как проходит процесс формирования корзины покупателем? В какой момент он делает окончательный выбор товаров: до добавления в корзину или перед оплатой покупки?
На каждом сайте может быть по разному, но как ведет себя клиент у вас?
При обладании данными об оформлении заказа их можно проанализировать и определиться с вектором обновления, который будет удобен не только вам, но и пользователям.
Собирайте все данные, до которых дотягиваетесь. Вы никогда не будете знать со стопроцентной уверенностью, какие из них могут вам понадобится, а возможность сбора может выдаться только одна.
Чем больше данных вы соберете, тем больше информации о пользователях у вас будет, а что важнее — вы сможете понимать и прогнозировать контекст их поступков.
Контекст помогает лучше понимать своего клиента, его желания и намерения, а чем лучше вы знаете своего клиента, тем лучше вы сможете реализовать его персональные потребности, а значит повысить лояльность и повысить вероятность возврата клиента.
Сегодня сбор абсолютно всех данных уже не такая редкость, особенно это распространено в онлайн проектах. В компании, максимизирующей сбор данных и умеющей с ними работать, на их основе будет вестись практически вся деятельность: маркетинг, продажи, работа персонала, обновления и усовершенствования, поставки.
У каждого направления есть внутренние и внешние источники данных в различных форматах и разного качества.
Это хорошо для работы аналитиков и принятия решений, но отсюда также возникает проблема с хранением этого массива данных и их обработкой. Каждое действие увеличивает финансовую нагрузку и положительный эффект от обладания данными может вырасти в «головную боль».
Для принятия решения о целесообразности сбора и обработки тех или иных данных нужно понимание их основных характеристик. Давайте вкратце пройдемся по ним:
Объем
Показатель, влияющий на финансовые издержки по хранению и изменению данных и временные издержки по их обработке. И хотя с увеличением объема данных цена на хранение единицы снижается, но, учитывая увеличивающееся количество источников, финансовая нагрузка может стать нерациональной.
Разнообразие
Разнообразный набор источников данных дает более полную картину и помогает лучше оценить контекст действий пользователя, но обратная сторона медали — разнообразие форматов и расходы на их интеграцию в вашу систему аналитики. Не всегда все данные возможно собрать воедино, а если и возможно, то не всегда это необходимо.
Скорость
Какой объем данных требуется обрабатывать в единицу времени?
Вспомним недавние выборы президента США — благодаря быстрой обработке сообщений Twitter можно было понимать настроение избирателей в ходе дебатов и корректировать их ход.
Гигантам работы с данными, таким как Facebook и Google, на достижение сегодняшних результатов потребовать огромное количество времени, но благодаря этому у них теперь есть данные о каждом пользователе и они могут прогнозировать их действия.
Частая проблема персонала, работающего с данными — ограниченные ресурсы, в первую очередь финансовые и кадровые.
В большинстве компаний аналитикам приходится расставлять жесткие приоритеты в выборе источников данных, и тем самым отказываться от некоторых из них.
Кроме того необходимо учитывать интересы бизнеса, а значит оценивать рентабельность инвестиций в работу с данными и возможное влияние данных на компанию.
Приоритеты и выбор источников данных
При ограниченных ресурсах в работе с данными специалистам приходится расставлять приоритеты и делать выбор между источниками.
Чем же руководствоваться при этом и как определить ценность данных для компании?
Главная цель работы аналитиков — давать необходимую другим подразделениям информацию качественно и своевременно. Эта информация оказывает прямое влияние на эффективность компании и работу отделов.
У каждого отдела или подразделения есть свой «основной» тип данных.
Так для отдела по работе с клиентами важны контакты клиента и данные его социальных сетей, а для отдела маркетинга — история покупок и карта действий.
Так и выходит, что каждая команда имеет свой набор «очень важных данных» и эти данные определенно важнее и нужнее чем у других подразделений.
Вот только от важности и нужности данных проблема с ограниченными ресурсами не исчезает, а значит приходится расставлять приоритеты и действовать в соответствии с ними. Основной фактор для определения приоритетности данных — ROI, но не стоит забывать и про доступность, полноту и качество.
Вот список в котором приведены некоторые показатели, которые могут помочь в расстановке приоритетов:
Высокая
Причина: Данные нужны немедленно.
Объяснение: Если у какого-то подразделения появляется острая необходимость в данных с жестко ограниченными сроками, такие данные предоставляются в первую очередь.
Высокая
Причина: Данные повышают ценность.
Объяснение: Данные повышают прибыль или сокращают издержки, обеспечивая высокую ROI.
Высокая
Причина: Разным командам требуются одни и те же данные.
Объяснение: Удовлетворяя потребности нескольких команд в данных вы повышаете ROI.
Высокая
Причина: Краткосрочные или потоковые данные.
Объяснение: Некоторые интерфейсы и протоколы дают ограниченное по времени «окно» для сбора данных, следует поторопиться.
Средняя
Причина: Дополнение для существующего набора данных, которые повышают их качества.
Объяснение: Новые данные дополняют имеющиеся и улучшают понимание контекста действий.
Средняя
Причина: Код обработки данных может быть использован повторно.
Объяснение: Использование известного кода сокращает ROI и уменьшает количество возможных ошибок.
Средняя
Причина: Данные легко доступны.
Объяснение: Если данные ценны, а добыть их просто — вперед.
Средняя
Причина: Удобный API позволяет собрать данные за прошедшие периоды.
Объяснение: Если данные не требуются еще вчера, а вы всегда можете получить к ним доступ, то не стоит ставить им слишком высокий приоритет.
Низкая
Причина: Аналитики имеют доступ к данным или иные пути их получения.
Объяснение: Если у аналитиков уже имеется доступ к данным, то, возможно, есть более приоритетные задачи.
Низкая
Причина: Низкое качество данных.
Объяснение: Низкокачественные данные могут быть бесполезны, а иногда и вредны.
Низкая
Причина: Необходимо извлечение из веб-страниц.
Объяснение: Обработка таких данных может быть достаточно сложной и требовать чрезмерных усилий.
Низкая
Причина: Низкая вероятность использования данных.
Объяснение: Данные, которые хорошо бы иметь, но если их нет, то и ладно.
Зато, обладая этими данными, можно грабить корованы!
Как мы видим не всякие данные важно предоставить «прямо сейчас», а значит необходимо расставлять приоритеты и следовать в соответствии с ними.
Важно сохранять баланс между приобретением новых данных и их ценностью для компании.
Взаимосвязь данных
Вы получаете важные данные от отдела продаж, маркетинга, от логистов и обратную связь от клиентов, но самая большая ценность данных возникает после установления связей между разными видами данных.
Для примера рассмотрим Диану и ее заказ. Недавно она заказала комплект садовой мебели, сопоставив ее заказ с данными аналитики, мы видим, что она провела на сайте 30 минут и просмотрела 20 разных наборов. Это значит, что она выбирала мебель уже на сайте, не зная заранее, что будет заказывать.
Смотрим откуда она пришла — поисковая выдача.
Если бы у нас была информация о других покупках Дианы, то мы бы узнали, что она за последний месяц часто покупала товары для дома.
Частые онлайн покупки и использования поисковиков для нахождения интернет-магазинов говорит о низкой лояльности брендам, а значит склонить ее к повторной покупке будет сложно.
Так, получая каждый новый уровень информации, составляется индивидуальный портрет пользователя, по которому можно узнать о его жизни, привязанностях, привычках и прогнозировать его поведение.
Добавляем информацию из оформления заказа и понимаем, что это женщина, а по адресу доставки видим, что она живет в частном секторе.
Продолжая анализировать можно найти информацию о ее доме и участке, спрогнозировать ее потребности и сделать превентивное предложение.
При правильном анализе данных предложение может сработать и мы склоним клиента к повторной покупке, а так же повысим его лояльность за счет индивидуального подхода.
Предложение скидок за приглашение друга из соцсети даст нам доступ к ее списку друзей и информации аккаунта, тогда можно будет продолжать индивидуальный маркетинговый подход к клиенту и составить под нее таргетированную рекламу, но это вряд ли будет рентабельно.
Сбор и покупка данных
Сегодня существует множество способов сбора данных, один из самых распространенных — API. Но кроме того как собрать данные, их нужно обновлять, и тут все уже зависит от объема.
Небольшие объемы данных (до 100 тысяч строк) целесообразнее заменять свежими, а вот с крупными массивами уже актуально частичное обновление: добавление новых и удаление устаревших значений.
Массивы некоторых данных настолько огромны, что обрабатывать их все будет слишком дорого для компании, в таких случая проводят выборку, и на ее основании проводят аналитику. Часто практикуется «простая случайная выборка», но обычно данные, собранные с ее помощью, не репрезентативны и сравнимы с подбрасыванием монетки.
Важный вопрос: собирать сырые или агрегированные данные?
Некоторые поставщики данных дают уже скомпилированные подборки, но у них есть несколько недостатков. Например, в них могут отсутствовать необходимые или желаемые значения, которые повысили бы ценность аналитики на основе этих данных для компании, но у вас не будет возможности собирать или дополнять их. Данные, собранные сторонними агрегаторами, удобны для архивации и хранения, также они значительно экономят время и человеческий ресурс.
Но если есть возможность собирать сырые данные, то лучше выбрать их — они более полные, и вы сможете самостоятельно агрегировать их в соответствии со своими потребностями и запросами бизнеса, а после работать с ними так, как вам потребуется.
Многие компании самостоятельно собирают данные, а также использует доступные в открытых источниках. Но в некоторых случаях они вынуждены заплатить за получение необходимых данных третьей стороне. Иногда выбор мест приобретения данных может быть ограничен, в других случаях нет, но независимо от этого при выборе источника данных и принятии решения о их приобретении следует обратить внимание на несколько факторов:
Цена
Все любят бесплатные данные — и руководство и аналитики, но иногда высококачественная информация доступна только за деньги. В таком случае следует взвесить рациональность приобретения и сравнить стоимость и ценность данных.
Качество
Данные чисты, им можно доверять?
Эксклюзивность
Данные подготовлены индивидуально для вас или доступны всем желающим? Вы получите преимущество перед конкурентами, если будете использовать их?
Выборка
Есть возможность получить выборку для оценки качества данных до приобретения?
Обновления
Какой срок жизни данных, как быстро они устаревают, будут ли они обновляться и как часто?
Надежность
Какие ограничения у интерфейсов получения данных, какие еще ограничения могут накладываться на вас?
Безопасность
Если данные важны, то будут ли они зашифрованы и насколько надежными протоколами? Также не стоит забывать о безопасности при их передаче.
Условия использования
Лицензирование или иные ограничения. Что может не позволить вам воспользоваться данными в полном объеме?
Формат
Насколько вам удобно работать с форматом приобретаемых данных? Есть ли возможность их интеграции в вашу систему?
Документация
Если вам предоставляют документацию — хорошо, а если нет, то стоит поинтересоваться способом сбора данных для оценки их ценности и надежности.
Объем
Если данных много, вы сможете обеспечить их хранение и обработку? Ценные данные не всегда будут объемные, как и наоборот.
Степень детализации
Эти данные подходят для уровня необходимой вам аналитики?
Это далеко не все, но основные и несомненно важные вопросы, которыми стоит задаться перед приобретением данных у поставщиков.
На этом я закончу статью по сбору данных.
Если информация была для вас полезна, то я буду рад обратной связи.
Возможно, вы с чем-то не согласны или хотите поделиться своими методами и наработками — приглашаю в комментарии, и надеюсь на увлекательное и полезное обсуждение.
Всем спасибо за внимание и хорошего дня!