Назад
77
В данной статье представлены результаты внедрения системы аналитики качества готовой продукции и параметров работы производства.
DEVELOPMENT OF A QUALITY ANALYTICS SYSTEM PRODUCTS
D.N. Zhirnov, LLC “Sukhonsky CPM”, Russia
E.V. Dernova, LLC “MC “Consolidated paper mills”, Russia
D.A. Dulkin, LLC “MC “Consolidated paper mills”, Russia
This article presents the results of the implementation of a system for analyzing the quality of products and production parameters.
Современное развитие общества и производства происходит огромными темпами. Объемы информации увеличиваются с каждый днем, разрабатываются высокопроизводительные системы хранения и отчетности производственной информации.
Одной из широко распространенных программных систем является 1С, в частности «1С «Управление производственным предприятием», которая служит хранилищем данных и инструментом построения отчетности. 1С является гибкой и тонко настраиваемой системой, благодаря встроенному языку программирования можно создать отчет под любые потребности. К сожалению, есть один большой минус – длительное выполнение большого аналитического запроса и отсутствие доступа с мобильных устройств.
Производственному персоналу крайне важно иметь возможность получать данные в режиме “on-line”, т.к. доступ к персональному компьютеру с установленным клиентом 1С может быть ограничен производственными обязанностями.
Система аналитики, функционирующая в производственном процессе, должна удовлетворять следующим критериям:
1) Высокая скорость работы (объем существующих данных достигает уровня “Big data”) [1];
2) Мобильность – доступ к системе аналитики из любого места и с любого устройства;
3) Информативность – способность строить наглядные и функциональные графики и дашборды;
4) Низкая стоимость внедрения – программное обеспечение на основе “open-source” решений.
Как известно, инновации появляются на стыке различных наук и технологий. В нашем случае было применено решение, которое эффективно функционирует в области IT для контроля стабильности работы оборудования, а также для построения финансовой отчетности.
Основные программные продукты:
Clickhouse – колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных (“big data”), разрабатываемая компанией Яндекс [2].
Redash – сервис для сбора и визуализации данных. Получает информацию из баз данных, таблиц, сервисов аналитики и других источников и представляет ее в виде таблиц, графиков, диаграмм и других визуализаций [3].
Airflow – набор библиотек для разработки, планирования и мониторинга рабочих процессов [4].
Данное программное обеспечение работает в операционной системе Linux в режиме удаленного веб-сервера. Каждый пользователь имеет возможность удаленного внутрисетевого (внутри компании) и внешнего подключения.
Система визуализации Redash имеет собственную систему управления пользователями с возможностью разграничения доступа отдельных пользователей к отдельным графикам. Данная система позволяет создавать графики на основе запросов к источнику данных, а также объединять графики в дашборды (наборы графиков). Дашборды могут быть разработаны на основании ключевой функции пользователя, например, в существующей системе есть дашборды для генерального директора, главного технолога и технологов производства. У каждого из них свой уровень детализации и ключевые параметры, по которым отслеживается эффективность работы подразделений и предприятия в целом.
С точки зрения аналитики, самыми полезными графиками на дашборде являются боксплоты. Такой вид диаграммы в удобной форме показывает медиану (или, если нужно, среднее), нижний Q1 и верхний Q3 квартили (25 и 75 % значений), минимальное и максимальное значение выборки и выбросы (рис. 1).
Рис. 1. Диаграмма «Боксплот»
Обычно, когда график строится по средним значениям, то теряется часть важной аналитической информации, например о ширине разброса значений и т.п. Напротив, на основании предложенного на рис.1 графика, можно сделать вывод не только о среднем значении выборки, но и об отдельных ее характеристиках. Например, на графике присутствуют выбросы, а выбросы – это значения, которые не подчиняются закону нормального распределения. Следовательно, имеется аномалия в данных, и, зачастую, при детальном изучении данной аномалии открываются новые «инсайты», которые приводят к необходимости ужесточения контроля или к изменению существующих методик определения показателей качества.
Кроме того, боксплот позволяет сделать предварительное заключение о градации показателя. Ориентируясь на квартили (25 %, 50 %, 75 %) можно, к примеру, сделать заключение о том, какая доля продукции была выпущена с определенным диапазоном значения показателя.
Кроме представленного выше графика в нашей компании часто используется график «Counter» (рис. 2).
Рис. 2. Counter
На данном графике отражено фактическое и плановое значение показателя. В зависимости от достижения планового значения, цвет фактического значения меняется от красного до зеленого.
Набор графиков объединяется в тематический дашборд, имеющий свои уникальные характеристики и фильтры, которые основываются как на статических значениях, так и на значениях, получаемых из базы данных. Например, список подразделений может быть получен из исходной базы данных, таким образом, при изменении структуры организации данный фильтр будет всегда актуальным.
Временные фильтры работают как в режиме ручного выбора диапазона дат, так и в относительном режиме (рис. 3).
а)
б)
Рис. 3. Режимы фильтрации даты и времени: а – ручной выбор из календаря, б – режим выбора относительной даты.
При правильной комбинации параметров запроса и фильтров есть возможность сделать универсальные графики, которые могут отразить выбранный показатель за любой период времени (рис. 4). Полученный график можно сохранить в формате PNG и вставить в отчет. Если необходим более детальный анализ, который не может осуществить график, то есть возможность выгрузки данных в формате MS Excel.
Рис. 4. Боксплот с возможностью гибкой настройки
Также возможно построение графиков, которые обеспечивают сравнение двух временных периодов, названия которым задает сам пользователь (рис. 5). В данном примере оценивается уровень индекса SCT флютинга марки Medium 90 при сравнении выработки за прошлую и текущую неделю.
Рис. 5. Боксплот с возможностью сравнения периодов
Дашборды реализованы в двух версиях: для компьютера и для мобильного устройства, с возможностью максимально эффективно использовать экран рабочего устройства.
Для пользователя система аналитики представлена в виде веб-страницы, все вычисления осуществляются на стороне веб-сервера, поэтому скорость получения данных ограничена только скоростью интернет-соединения.
Система аналитики имеет очень высокое быстродействие. Например, боксплот, который отражает все значения выборки, при формировании за календарный год (порядка 250 000 строк) с учетом промежуточных преобразований строится за 5-10 сек., в то время как информационной системе 1С потребовалось бы значительно больше времени. К тому же система аналитики имеет гораздо более широкие возможности, чем это удалось отразить в данной статье.
Таким образом, использование системы аналитики позволяет существенно сократить время получения данных и сделать качественный анализ, доступный каждому работнику с любого устройства и из любой точки мира (при наличии интернета).
2. Что такое ClickHouse [Электронный ресурс]. URL https://clickhouse.tech/docs/ru/ (дата обращения 16.06.2021).
3. Redash helps you make sense of your data [Электронный ресурс]. URL https://redash.io/ (дата обращения 16.06.2021).
4. Apache Airflow [Электронный ресурс]. URL https://airflow.apache.org/ (дата обращения 16.06.2021).
DEVELOPMENT OF A QUALITY ANALYTICS SYSTEM PRODUCTS
D.N. Zhirnov, LLC “Sukhonsky CPM”, Russia
E.V. Dernova, LLC “MC “Consolidated paper mills”, Russia
D.A. Dulkin, LLC “MC “Consolidated paper mills”, Russia
This article presents the results of the implementation of a system for analyzing the quality of products and production parameters.
Современное развитие общества и производства происходит огромными темпами. Объемы информации увеличиваются с каждый днем, разрабатываются высокопроизводительные системы хранения и отчетности производственной информации.
Одной из широко распространенных программных систем является 1С, в частности «1С «Управление производственным предприятием», которая служит хранилищем данных и инструментом построения отчетности. 1С является гибкой и тонко настраиваемой системой, благодаря встроенному языку программирования можно создать отчет под любые потребности. К сожалению, есть один большой минус – длительное выполнение большого аналитического запроса и отсутствие доступа с мобильных устройств.
Производственному персоналу крайне важно иметь возможность получать данные в режиме “on-line”, т.к. доступ к персональному компьютеру с установленным клиентом 1С может быть ограничен производственными обязанностями.
Система аналитики, функционирующая в производственном процессе, должна удовлетворять следующим критериям:
1) Высокая скорость работы (объем существующих данных достигает уровня “Big data”) [1];
2) Мобильность – доступ к системе аналитики из любого места и с любого устройства;
3) Информативность – способность строить наглядные и функциональные графики и дашборды;
4) Низкая стоимость внедрения – программное обеспечение на основе “open-source” решений.
Как известно, инновации появляются на стыке различных наук и технологий. В нашем случае было применено решение, которое эффективно функционирует в области IT для контроля стабильности работы оборудования, а также для построения финансовой отчетности.
Основные программные продукты:
Clickhouse – колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных (“big data”), разрабатываемая компанией Яндекс [2].
Redash – сервис для сбора и визуализации данных. Получает информацию из баз данных, таблиц, сервисов аналитики и других источников и представляет ее в виде таблиц, графиков, диаграмм и других визуализаций [3].
Airflow – набор библиотек для разработки, планирования и мониторинга рабочих процессов [4].
Данное программное обеспечение работает в операционной системе Linux в режиме удаленного веб-сервера. Каждый пользователь имеет возможность удаленного внутрисетевого (внутри компании) и внешнего подключения.
Особенности функционирования системы аналитики
Данные из информационной базы 1С выгружаются в СУБД Clickhouse, которая используется в качестве источника данных для системы визуализации Redash.Система визуализации Redash имеет собственную систему управления пользователями с возможностью разграничения доступа отдельных пользователей к отдельным графикам. Данная система позволяет создавать графики на основе запросов к источнику данных, а также объединять графики в дашборды (наборы графиков). Дашборды могут быть разработаны на основании ключевой функции пользователя, например, в существующей системе есть дашборды для генерального директора, главного технолога и технологов производства. У каждого из них свой уровень детализации и ключевые параметры, по которым отслеживается эффективность работы подразделений и предприятия в целом.
С точки зрения аналитики, самыми полезными графиками на дашборде являются боксплоты. Такой вид диаграммы в удобной форме показывает медиану (или, если нужно, среднее), нижний Q1 и верхний Q3 квартили (25 и 75 % значений), минимальное и максимальное значение выборки и выбросы (рис. 1).
Рис. 1. Диаграмма «Боксплот»
Обычно, когда график строится по средним значениям, то теряется часть важной аналитической информации, например о ширине разброса значений и т.п. Напротив, на основании предложенного на рис.1 графика, можно сделать вывод не только о среднем значении выборки, но и об отдельных ее характеристиках. Например, на графике присутствуют выбросы, а выбросы – это значения, которые не подчиняются закону нормального распределения. Следовательно, имеется аномалия в данных, и, зачастую, при детальном изучении данной аномалии открываются новые «инсайты», которые приводят к необходимости ужесточения контроля или к изменению существующих методик определения показателей качества.
Кроме того, боксплот позволяет сделать предварительное заключение о градации показателя. Ориентируясь на квартили (25 %, 50 %, 75 %) можно, к примеру, сделать заключение о том, какая доля продукции была выпущена с определенным диапазоном значения показателя.
Кроме представленного выше графика в нашей компании часто используется график «Counter» (рис. 2).
Рис. 2. Counter
На данном графике отражено фактическое и плановое значение показателя. В зависимости от достижения планового значения, цвет фактического значения меняется от красного до зеленого.
Набор графиков объединяется в тематический дашборд, имеющий свои уникальные характеристики и фильтры, которые основываются как на статических значениях, так и на значениях, получаемых из базы данных. Например, список подразделений может быть получен из исходной базы данных, таким образом, при изменении структуры организации данный фильтр будет всегда актуальным.
Временные фильтры работают как в режиме ручного выбора диапазона дат, так и в относительном режиме (рис. 3).
а)
б)Рис. 3. Режимы фильтрации даты и времени: а – ручной выбор из календаря, б – режим выбора относительной даты.
При правильной комбинации параметров запроса и фильтров есть возможность сделать универсальные графики, которые могут отразить выбранный показатель за любой период времени (рис. 4). Полученный график можно сохранить в формате PNG и вставить в отчет. Если необходим более детальный анализ, который не может осуществить график, то есть возможность выгрузки данных в формате MS Excel.
Рис. 4. Боксплот с возможностью гибкой настройки
Также возможно построение графиков, которые обеспечивают сравнение двух временных периодов, названия которым задает сам пользователь (рис. 5). В данном примере оценивается уровень индекса SCT флютинга марки Medium 90 при сравнении выработки за прошлую и текущую неделю.
Рис. 5. Боксплот с возможностью сравнения периодов
Дашборды реализованы в двух версиях: для компьютера и для мобильного устройства, с возможностью максимально эффективно использовать экран рабочего устройства.
Для пользователя система аналитики представлена в виде веб-страницы, все вычисления осуществляются на стороне веб-сервера, поэтому скорость получения данных ограничена только скоростью интернет-соединения.
Система аналитики имеет очень высокое быстродействие. Например, боксплот, который отражает все значения выборки, при формировании за календарный год (порядка 250 000 строк) с учетом промежуточных преобразований строится за 5-10 сек., в то время как информационной системе 1С потребовалось бы значительно больше времени. К тому же система аналитики имеет гораздо более широкие возможности, чем это удалось отразить в данной статье.
Таким образом, использование системы аналитики позволяет существенно сократить время получения данных и сделать качественный анализ, доступный каждому работнику с любого устройства и из любой точки мира (при наличии интернета).
Список литературы:
1. Жирнов Д.Н., Дернова Е.В., Дулькин Д.А. Прогнозирование качества тарного картона с использованием методов машинного обучения. // Проблемы механики целлюлозно-бумажных материалов. 2019. С. 263-267.2. Что такое ClickHouse [Электронный ресурс]. URL https://clickhouse.tech/docs/ru/ (дата обращения 16.06.2021).
3. Redash helps you make sense of your data [Электронный ресурс]. URL https://redash.io/ (дата обращения 16.06.2021).
4. Apache Airflow [Электронный ресурс]. URL https://airflow.apache.org/ (дата обращения 16.06.2021).
Впервые статья была опубликована в 2021 году в Сборнике материалов VI Международной научно-технической конференции, посвященной памяти профессора В.И. Комарова, Северный (Арктический) федеральный университет имени М.В. Ломоносова. Статья отражает опыт компании на 2021 год.
Также статью можно прочитать на сайте компании "Объединенные бумажные фабрики".
