Мы поставили и развили в России и мире

современные технологии анализа данных!

Пресс-центр

Мероприятия

Контакты

Быстродействие и вычислительная мощность STATISTICA

Быстродействие STATISTICA в сравнении с конкурирующими продуктами анализа данных

Одним из важных свойств программных продуктов STATISTICA является их быстродействие при работе с большим объемом данных и вычислительная мощность приложений, требующих регулярного построения запросов к базам данных, комплексного управление данными.

Например, недавно были проведены сравнения конкурирующих аналитических программных пакетов, осуществленные на четырехъядерной 64-битной машине под управлением 64-разрядной операционной системы Microsoft Windows. В результате пакеты STATISTICA превзошли другие широко используемые продукты анализа данных с большим отрывом:

• Основные описательные статистики для 30 переменных (полей) и 9000000 строк или наблюдений (размер файла данных около 2,2 гигабайт) были рассчитаны примерно за 3 секунды; двум другим конкурирующим продуктам для анализа данных (на вычислительной платформе, которая якобы также использует преимущества нескольких процессоров) потребовалось от 4,5 секунд до 37 секунд.

• Корреляционные матрицы для 500 столбцов и 1000000 строк (размер файла данных около 4 гигабайт) были рассчитаны примерно за 5 секунд; конкурирующим системам требуется от 20 до 65 секунд, чтобы выполнить ту же задачу.

• Основные операции управления данными (например, разбиение данных), которые необходимы для data mining (прогнозирующие модели), выполняются в STATISTICA в 3-4 раза быстрее.

Технология оптимизации производительности, используемая в STATISTICA

Текущая версия STATISTICA, в том числе STATISTICA Data Miner, использует все преимущества современного программного обеспечения, а также собственные технологии оптимизации, разработанные в StatSoft. 

STATISTICA доступна в виде 64-битной системы, большинство вычислительных (статистических) процедур STATISTICA, а также ключевые алгоритмы интеллектуального моделирования, доступные в STATISTICA Data Miner, в полной мере используют преимущества многопроцессорных вычислительных платформ.

Ниже приведены результаты проведения анализа в STATISTICA и STATISTICA Data Miner на нескольких 64-разрядных компьютерах с 1, 2, 3 или 4 процессорами (или же на идентичном программном обеспечении).

STATISTICA была разработана с использованием всех доступных преимуществ аппаратных ресурсов для достижения максимальной производительности при построении сложных прогнозирующих моделей (например, с помощью регрессионных деревьев или модуля Случайные леса), также как и при проведении общего статистического анализа (например, вычислении коэффициентов корреляции).

Производительность Прогнозирующих моделей

STATISTICA Data Miner содержит многопоточную реализацию Деревьев классификации и регрессии, Общих моделей CHAID, Растущих деревьев, Случайных лесов и других процедур, а также многопоточное выполнение классических обобщенных линейных моделей (например, логит регрессии и т. д.). Эффективность этих алгоритмов интеллектуального моделирования на современных 64-разрядных многоядерных и 64-битных платформах операционной системы является впечатляющей, и на момент написания статьи не имеет аналогов на рынке программного обеспечения в области прогнозирования (см. также графики, приведенные выше). Анализ большого количества переменных и миллионов наблюдений будет завершен в течение нескольких минут.

Буферизации данных и хранение

В частности, непревзойденная производительность вычислительных алгоритмов STATISTICA и STATISTICA Data Miner была достигнута благодаря тщательной доработке доступа к данным, хранения и методов буферизации. Данные могут быть прочитаны асинхронно в несколько потоков, обслуживающих различные параллельные вычисления для одного анализа (например, классификация и деревья регрессии). Массивы данных никогда не хранятся в явном виде в памяти, поэтому нет никаких ограничений на размеры файлов; тем не менее, доступный объем памяти используется разумно в буфере данных (чтение из нескольких потоков), чтобы сделать их доступными для вычислений.

Используя описанные технологии, продукты STATISTICA и STATISTICA Data Miner обошли конкурентов.

Обзор продуктов STATISTICA

info@statsoft.ru         +7 (495) 787-77-33      +7 (499) 674-06-15          STATISTICA 13.3 Trial

Авторские права на дизайн и материалы сайта принадлежат компании StatSoft Russia. Все права защищены.

© StatSoft Russia 1999-2023

StatSoft Russia – компания, зарегистрированная и действующая в соответствии с законами России, которые могут отличаться от законов других стран, имеющих офисы StatSoft. Каждый офис StatSoft является самостоятельным юридическим лицом, имеет право предлагать услуги и разрабатывать приложения, которые могут быть, а могут и не быть представлены в офисах StatSoft других стран. Лицензионное соглашение      Карта сайта