Обработка данных (статпакеты)

Статистические пакеты. Все программы статистической обработки данных можно разделить на профессиональные, полупрофессиональные (популярные) и специализированные. Статистические программы относятся к наукоемкому программному обеспечению, цена их часто недоступна индивидуальному пользователю. Профессиональные пакеты имеют большое количество методов анализа, популярные пакеты – количество функций, достаточное для универсального применения. Специализированные же пакеты ориентированы на какую-либо узкую область анализа данных. Отсутствие у большинства исследователей времени для освоения нескольких программ, делает непростым ее выбор. Итак, приведем несколько самых распространенных статистических программ:
MS Excel. Наиболее часто упоминаемой (и используемой) в отечественных статьях является приложение MS Excel из пакета оффисных программ компании Microsoft. Причины кроются в широком распространении этого программного обеспечения, наличии русскоязычной версии, тесной интеграцией с MS Word и PowerPoint. MS Excel – это электронная таблица с достаточно мощными математическими возможностями, где некоторые статистические функции являются просто дополнительными встроенными формулами. Расчеты, сделанные при ее помощи не признаются авторитетными биомедицинскими журналами. Также в MS Excel невозможно построить качественные научные графики. Безусловно, MS Excel хорошо подходит для накопления данных, промежуточного преобразования, предварительных статистических прикидок, для построения некоторых видов диаграмм. Однако окончательный статистический анализ необходимо делать в программах, которые специально созданы для этих целей.
SPSS (Statistical Package for Social Science). Самый часто используемый пакет статистической обработки данных с более чем 30-и летней историей. Отличается гибкостью, мощностью применим для всех видов статистических расчетов применяемых в биомедицине. Недавно вышла 13-я англоязычная версия. Существует русскоязычное представительство компании, которое предлагает полностью русифицированную версию SPSS 12.0.2 для Windows.
STATISTICA. Производителем программы является фирма StatSoft Inc. (США) http://www.statsoft.com/ которая выпускает статистические приложения, начиная с 1985 года. STATISTICA включает большое количество методов статистического анализа (более 250 встроенных функций) объединенных следующими специализированными статистическими модулями: Основные статистики и таблицы, Непараметрическая статистика, Дисперсионный анализ, Множественная регрессия, Нелинейное оценивание, Анализ временных рядов и прогнозирование, Кластерный анализ, Факторный анализ, Дискриминантный функциональный анализ, Каноническая корреляция, Многомерное шкалирование, Моделирование структурными уравнениями и др. Несложный в освоении этот статистический пакет может быть рекомендован для обработки археологических материалов.
Все указанные пакеты являются локальными персональными системами. В ИАЭТ СО РАН была сделана попытка создания он-лайнового пакета, но в силу административных, финансовых и кадровых причин она не была полностью реализована Необходимость создания он-лайнового статистического пакета диктовалась следующими соображениями [Холюшкин, Воронин, Костин, 2008: с. 288-291]:
Во-первых, статистические программы относятся к наукоемкому программному обеспечению, цена их часто недоступна индивидуальному пользователю из-за высокой цены на легальные копии профессиональных статистических пакетов, дороговизны сопровождения по этим пакетам (обучение, консультации, льготная поставка новых версий и т.д.), так стоимость двухлетней лицензии на пользование пакетом SPSS сравнительно недавно составляла 15000$.
Во-вторых, все известные западные пакеты ориентированы на наличие профессиональных навыков и высокой квалификации, широкого первоначального статистического образования, доступной литературы и консультационных служб.
В-третьих, крупные пакеты ориентированы на пользователя, готового к тщательному изучению сложной и объемистой документации, как на русском (SPSS, SAS, STATISTICA), так и на английском языке. Кроме того, у большинства пакетов отсутствует подробная и доступная для начинающих документации на русском языке.
В-четвертых, абсолютное большинство существующих пакетов являются локальными приложениями, к которым нет доступа из сети Интернет.
Были сформулированы основные принципы построения такой системы и вытекающие из них требования:
1. Общедоступность пакета – любой пользователь сети Интернет может воспользоваться услугами пакета, при этом не требуется установка пакета на локальную машину, все вычисления производятся на сервере.
2. Высокая скорость обработки информации.
3. Основная категория пользователей – археологи, имеющие собственные данные или гипотезы, которые могут быть проверены на уже опубликованных данных. Для этого сайт должен предоставлять пользователю возможность вводить, сохранять и редактировать собственные данные. Данные должны сохраняться на сервере как в течение сеанса работы, так и (для зарегистрированного пользователя) между сеансами. Кроме того, должна быть возможность сохранения данных на стороне клиента, то есть экспорт/импорт.
3. Доступ к архиву обобществленных данных (со ссылками на источник). Из общего архива данные могут быть скопированы в личный архив, после чего их можно редактировать и сохранять. Также необходима функция пополнения общего архива, хотя она может быть реализована не полностью автоматически, а с участием человека, администратора данных.
4. Простота в использовании пакета. Для проведения исследования в нашем пакете не требуется знание внутреннего языка, как в других локальных аналогах, взамен этого пользователю предоставляется удобный интерфейс.
5. Простой и эффективный интерпретационный аппарат. Предполагается, что пользователи хорошо ориентируются в собственных данных, но не имеют специальной подготовки в методах статистического анализа. Поэтому:
1) пользователю должна быть предоставлена не только возможность применять методы анализа, но и получать наглядное объяснение, в каких случаях их можно применять и какие выводы можно сделать из полученных результатов, т.е. нужна добротная обучающая подсистема, включая тексты с описанием методов и примеры анализа реальных данных;
2) помимо шаблонных интерпретаций методов у пользователей пакета должна быть реальная возможность самим разобраться в сущности этих методов предоставлением пошаговой демонстрацией производимых преобразований на живых данных, причем каждый шаг должен быть снабжен описанием, достаточным для понимания и самостоятельного воспроизведения;
6. Возможность для научных сотрудников применять методы анализа данных не только в процессе исследования, но и для подготовки научных публикаций. Поэтому:
а) вместе с выводом результатов анализа система должна предлагать формулировки выводов, достаточно строгие и точные, чтобы их можно было использовать в публикациях.
б) все графические иллюстрации должны быть информативными и выполнены на хорошем дизайнерском уровне в соответствии с требованиями к рисункам в научных публикациях.
7. Наряду с собственными, оригинальными методами наличие достаточно полного набора стандартных статистических методов.
8. Реализация возможности картографического представления результатов статистического анализа.
В той или иной форме все четыре описанных выше типа информационных технологий в ручном (без применения эффективных современных программно-технических средств) исполнении находили применение в практике археологических исследований. Технологии передачи данных в научных исследованиях вообще (а не только в археологии) появились лишь в последнее время. В значительной мере их появление и развитие обусловлены распределенной и удаленной обработкой и хранением информации. В первую очередь это связано с использованием сетевой технологии (прежде всего технологии локальных сетей) и удаленного доступа по каналам глобальных информационных сетей. Повышение познавательной, организационной и управленческой функции информатики определяется степенью ее проработки математическими методами и алгоритмами, адекватными предметной (содержательной) сущности исследовательской или управленческой задачи. Результаты аналитической проработки должны в краткой (сжатой) форме выражать оптимальные варианты решений соответствующих задач.