Экскурсия на производство ПК «Энергия» — о софте, железе и взрывающихся сосисках

Компания ПК «Энергия» — один из самых известных в России разработчиков и производителей электрощитового оборудования, которой по силам справиться с самыми масштабными промышленными проектами автоматизации. А большой щит для таких проектов можно назвать предметом инженерного искусства. Кроме того, ПК «Энергия» пишет свой софт и создает частные облака. 

Мы решили посетить производство и пообщаться с представителями компании, чтобы подробнее узнать о бизнесе в современных реалиях, поговорить о проблемах и достижениях. Конечно, мы обязательно покажем один из красивых щитов и расскажем о нескольких проектах. Нашими собеседниками стали инженер Николай Штремель и генеральный директор Андрей Бардаков.

Красивые щиты и сложные проекты

Чем занимается ПК «Энергия»? Первое направление — сборка больших щитов, причем как автоматизации, так и силовых. Все щиты являются результатом индивидуального проектирования, причем сборкой щитов ПК «Энергия» тоже предпочитает заниматься самостоятельно. Что касается пусконаладки, то чаще всего здесь привлекают подрядчиков, но на самых ответственных объектах работают специалисты компании.

Из последних примеров: разработка под ключ автоматики установки топливоподготовки для мазутных котельных. Интересно, что производительность установки позволяет заготавливать топливную смесь для котельной впрок. Поэтому размещается установка в мобильном здании, которое может быть перемещено от котельной к котельной. Причем даже персонал при работающей установке не нужен. Такой режим эксплуатации позволяет использовать мобильную связь для управления установкой и получения с нее телеметрии. Интересно, что технология смешивания оказалась настолько эффективной, что мазутная смесь в таком состоянии может храниться буквально годами.

Почему же у специалистов ПК «Энергия» такой скепсис по поводу наемных бригад монтажников? Как сказал Николай, при найме сотрудников нужно сначала внятно поставить им задачу, потом разработать и довести процедуру приема сделанной работы. Все это непросто. На практике бывает легче смонтировать шкаф на объекте силами специалистов, которые его собирали и тестировали на заводе. Они обладают необходимыми знаниями о назначении подключаемых цепей и методиках их проверки.

Кстати, об ошибках. Если проект большой — специалисты компании разрабатывают систему тестирования, которая позволяет выявить ошибки в монтаже щита еще на предприятии. Здесь тоже есть «подводные камни»: создать унифицированную систему тестирования не получится, поскольку щит щиту рознь.

Что интересно, даже если монтируются 10-20 похожих объектов, они редко бывают полностью одинаковыми. 

В качестве примера Николай привел сеть больниц Департамента здравоохранения Москвы, для которых были разработаны системы резервного питания на основе дизель-генераторов мощностью 2 МВт. В каждом стоит шкаф сбора данных телеметрии на базе контроллера Wiren Board, и у каждого шкафа своя схема подключения и, соответственно, настройки ПО. Причем по документам схемы одинаковые, а на самом деле разные, то есть смонтировано было не по проекту. Когда ПК «Энергия» заходила в этот проект, то было неизвестно, в каком состоянии находятся дизель-генераторы и работают ли вообще. 

Сейчас все объекты автоматизированы, выполняется непрерывная проверка состояния,  составлен график запусков — ДГУ требуется периодически запускать, чтобы убедиться в работоспособности. Выполняется мониторинг параметров двигателя, температуры масла и охлаждающей жидкости (всего DeepSea выдает порядка 300 параметров, заказчику потребовались они все, но для телеметрии берется около 50). Рабочая температура дизель-генератора в ожидании — около 40-45 °C. То есть пока есть питание от сети, он подогревается. Пропало питание  — запускается дизель. Такое, кстати, тоже бывает, несмотря на электроснабжение по первой категории,  а операционных блоков, реанимации и некоторых других объектов — по первой особой. Причина в старых кабелях, которым может быть лет по 70. Но даже в таких ситуациях можно гарантировать, что все объекты здравоохранения всегда останутся с электропитанием.

Если известно, что серийных шкафов автоматики/диспетчеризации на объекте будут десятки или сотни, то становится оправданной автоматизация создания начальной программной конфигурации, учитывающей параметры заведения, в которое поставляется шкаф. Она включает автоматизацию выходного контроля, в том числе исправности цепей подключения внешних устройств. К каждому шагу настройки «прикручена» проверка, которая прямо или косвенно оценивает корректность только что сделанной настройки, заодно проверяются соответствующие подключения. Например:

• Настроили IP-адрес? Хорошо, читаем SNMP с бесперебойника.

• Удалось прочитать заряд батареи? Хорошо, значит цепь подключения. бесперебойника исправна, настройки адресов верны и соответствуют тому заведению, для которого предназначен комплект.

Если все хорошо, то переходим к следующему шагу. Не удалось — ищем ошибку.

В случае с сетевыми ресторанами была написана программа (последовательный визард) для инженера ОТК. Она гарантирует, что все уедет на объект правильно настроенным, с проверенными входными и выходными цепями. Одновременно был построен тестовый стенд, содержащий в своем составе полный набор устройств, которые должны подключаться к выпускаемому шкафу.

Цель построения таких конструкций — исключить необходимость выезда высококвалифицированных инженеров на объект при осуществлении пусконаладки. Такие выезды нерентабельны.

Диспетчеризация

Второе направление ПК «Энергия» - диспетчеризация любых объектов. Практически у каждого объекта есть данные, которые нужно собирать и централизованно хранить. Все же информация о техническом состоянии инженерных систем и промышленных объектов имеет жизненно важное значение.

Многие клиенты считают, что сами могут собирать данные на локальном сервере, а не платить подписку за облако. Но такое решение не всегда разумно, достаточно просто посчитать. Во сколько обойдется поддержка локального сервера в режиме 24/7? Как будут решаться проблемы масштабирования, ведь объемы данных постоянно растут, их хочется хранить бесконечно долго. Наконец, сколько будет стоить специалист с хорошим знанием Linux? Здесь ведь не наймешь студента по объявлению, нужен грамотный системный администратор.

Казалось бы: клиент купил систему диспетчеризации, почему он должен платить за ее работу и обслуживание? Здесь Андрей часто приводит пример автомобиля:  владение — это одно, а содержание — совсем другое.

Ключевых преимуществ диспетчеризации два, причем они напрямую сказываются на экономии. Первое: любые отказы оборудования определяются мгновенно, что позволяет администратору оперативно реагировать. Например, он сразу же узнает, если сотрудник оставил дверцу холодильника открытой. Второе: анализ огромного количества данных дает свою выгоду. Никакой специалист не сможет вручную отслеживать тысячи параметров дизель-генератора, чтобы вовремя определить выход за пределы нормального режима работы. У тех же электродвигателей можно спрогнозировать скорый отказ по гармоникам питающей сети (подробнее об этом можно прочитать в статье «Комплексный мониторинг технического состояния промышленных электродвигателей»). А простой поплавковый датчик в баке с соляркой сразу же будет сигнализировать об утечке — персонал ее может попросту не замечать, солярка уходит в землю, а в нужный момент генератор останется без топлива. 

И это не говоря уже о простом примере одновременной работы отопления на обогрев и кондиционера на охлаждение: если сотруднику в офисе зимой жарко, то он вместо уменьшения нагрева может включить кондиционер на охлаждение. Эта ситуация, кстати, предусмотрена в некоторых ВРУ: при наличии тока потребления на группе питания кондиционеров контактор, питающий нагреватель вентиляционной установки, не включается. Есть также вариант щитов с парой контакторов с механической блокировкой, которая исключает одновременное включение обоих.

Интеграция, чертежи и старое оборудование

Конечно, нам было интересно расспросить Николая о проблемах, с которыми приходится сталкиваться при работе с проектами заказчиков. Как они решаются?

Николай рассказал, что когда заказчики дают проект для ознакомления, у него может быть вмененная программная платформа. Мы попросили Николая пояснить этот момент.

Все просто: в проект может быть вписана, например, невинная фраза: «проектируемая система должна обеспечивать взаимодействие с АСУТП заказчика по протоколу DH+». И использование техники и ПО Allen-Bradley становится практически неминуемым. Могут и просто вписать в проект «контроллер должен быть совместим с Siemens SP1500», не уточняя в чем именно. 

Если проект коммерческий и закон не заставляет убрать из проектной документации упоминания каких-либо вендоров (как того требуют в госконтрактах, проходящих конкурсную процедуру), то может быть просто приложен вендор-лист.

Впрочем ничего страшного здесь нет: ПК «Энергия» освоила больше двух десятков программных платформ, у компании хорошая компетенция по интеграции. 

Есть еще одно мнение некоторых клиентов: у меня котельная в «медвежьем углу», мне проще нанять человека, который будет смотреть на лампочки и управлять выключателями. Однако и здесь есть инженерные обоснования, почему автоматизация надежнее. Дело в том, что вся современная электроника многократно надежнее любой электромеханики. Здесь просто вопрос правильного проектирования.

На вход часто поступают проекты, разработанные проектными институтами десяток лет назад. Их приходится переделывать и повторно согласовывать, поскольку оборудование, заложенное в проект, давно нельзя приобрести.

Вторая «боль» — чертежи. Сейчас специалисты ПК «Энергия» перешли на программный пакет EPLAN, до этого использовался AutoCAD. Для удобства работы многие инженеры дописывали различные расширения к AutoCAD «под себя». Часть из них оказалась удачными и использовалась много лет всеми проектировщиками. Разумеется, никому и в страшном сне не могла прийти в голову идея написать к самодельному макросу документацию. В конце концов сложилась закономерная ситуация, когда AutoCAD у людей загружался по 15 минут, а любая попытка отключить что-либо из вроде бы ненужных макросов приводила к необходимости «поднять виртуальную машину с бэкапа». Поэтому было принято решение использовать EPLAN.

Входящие чертежи очень часто содержат ошибки, с которыми приходится разбираться специалистам ПК «Энергия». Причем ладно, когда чертежи рисуют неграмотные сотрудники клиента, буквально «студенты по объявлению» — к этому уже все привыкли. Иногда организации, которые занимаются и проектированием, и монтажом, вносят ошибки в чертежи намеренно, чтобы затруднить сборку, если монтаж будет отдан «на сторону». Все «чужие» чертежи специалистам ПК "«Энергия»" приходится анализировать на ошибки и подобные «закладки» — ошибки в уже смонтированном щите исправить намного сложнее. 

Дополнительный контроль проводится на этапе пусконаладки, здесь тоже могут быть обнаружены ошибки.

Николай посетовал, что поступающая проектная документация очень часто невысокого качества, ошибки десятилетиями копируются из проекта в проект. Нередко проекты содержат взаимоисключающие требования — и тут важно задокументировать весь процесс согласования и принятия решения. На любой вопрос «а почему вы так сделали» должна быть официальная бумага от заказчика, на которую можно сослаться.

Случается, что готовое оборудование, пришедшее на объект, невозможно смонтировать. В одной главе проекта указан размер фундамента под шкаф, в другой - размер шкафа. И они разные. Бывало, что оборудование просто физически невозможно разместить в предназначенном для него помещении.  Нередко случается несоответствие количества точек подключения. В таких случаях на исправление проблемы требуется очень много времени, согласование  идет на уровне начальников отделов.

В целом, как посетовал Андрей, качество входной документации по проектам очень низкое, что требует дополнительных усилий со стороны специалистов ПК «Энергия». Причина здесь и в загруженности институтов — главные специалисты загружены и не проверяют работу молодых специалистов; и в исчезновении некоторого иностранного оборудования с рынка — невозможно купить то, что заложено в спецификации; и в снижении качества инженерного (и не только) образования в стране в целом.

Конечно, важная проблема всей отрасли — недостаток квалифицированного персонала. В 2012 году в ПК «Энергия» пытались предложить для клиентов обучающие курсы, на которых хотели раскрыть все возможности производимого ими оборудования, показать современные технические решения, дать методику идентификации отказов. Но не встретили понимание: ни один сотрудник не приехал — работает, и ладно.

Независимость от вендоров и открытые протоколы

Андрей довольно давно понял, что зависимость от одного вендора — самое слабое место любой системы. Поэтому в ПК «Энергия» уже несколько лет используется парадигма открытых стандартов и независимости от производителей. Такой подход позволяет заменить продукт одного производителя, который ушел с рынка или недоступен, моделью другого вендора.

Причем примеров неудачных проектов, связанных с закрытостью систем, великое множество.

Здесь интересен пример сосисочной линии на автоматизации General Electric, которая была поставлена 30 лет назад. Последние годы здесь стали отказывать газоразрядные дисплеи, причем раздельно по сегментам цифр. То есть не угадал с цифрой — и сосиски взрываются в автоклаве. Сотрудникам приходилось угадывать цифры, и нередко все заканчивалось казусом и убытками. А ошибка могла быть совсем простой: подача охлаждающей воды не той температуры или не с тем расходом.

У другого заказчика возникли проблемы с заменой оборудования популярного западного вендора. В прошлом году компания буквально «исчезла» на восемь месяцев, а сейчас срок поставки запчастей составляет 50 недель, то есть по сути он запретительный.  К счастью, структура проекта и ПО позволили мигрировать между производителями, поэтому новые решения переведены на контроллеры Wiren Board.

К коду Open Source у Андрея тоже положительное отношение: его отлаживает большое число специалистов и тестировщиков, есть значительное количество отзывов. А теперь попробуйте нанять 10 тысяч тестировщиков, чтобы они протестировали ваше приложение.

Протоколы взаимодействия компонентов тоже должны быть открытые. Андрей привел пример: завтра с производства снимут блок, который работал по проприетарному протоколу, и на что его заменить? Например, если котельная работала на автоматике ABB, то что делать, когда контроллеры стали недоступны? Поэтому сейчас идет уход от продуктов Siemens, тяжелых контроллеров Schneider Electric. От закрытой программной экосистемы CODESYS тоже отказываются, как по причине 166 приказа (запрет на использование иностранного ПО на объектах критической инфраструктуры), так и по критерию «железо и софт от разных производителей» (ПЛК должен иметь возможность работать с разным софтом, софт должен иметь возможность работать на разных ПЛК). Конечно, CODESYS — система хорошая, но вот их клоны с «фирменными» библиотеками: свой CODESYS у Шнайдера, свой у WAGO, свой у «Овна», свой у «Агавы», свой у Fastwel, свой у Berghoff - и у каждого свои особенности. Мало того, что проект получается непереносимым с одного контроллера на другой, так еще и куча времени уходит при таком переносе на анализ того чем можно пользоваться в конкретной реализации, а что не работает или работает не так, как на прежней платформе.

Кстати, сюда отлично вписывается переход на отечественных производителей там, где это возможно. Если проект не зависит от вендора, то почему бы не выбирать отечественные компании? Конечно, здесь есть важное условие — отечественные продукты должны быть надлежащего качества. Контроллеры Wiren Board работают под открытым Debian Linux и предоставляют root-доступ к системе, поэтому нет никаких ограничений в используемом ПО. Хочешь — ставишь открытую и почти бесплатную RapidSCADA, хочешь — платную IntraSCADA или MasterSCADA, а хочешь — пишешь свой софт и используешь.

Но не все вендоры дают качественные компоненты, которыми можно заместить импортные решения. Здесь как раз помогает внутреннее тестирование ПК «Энергия». Андрей рассказал, что инженеры компании разбирают и тщательно изучают каждый продукт, прежде чем он будет использоваться в проектах. Нам продемонстрировали контакторы с ручным управлением одного российского производителя, которые сделаны настолько некачественно, что при плавном (в смысле нерезком) перемещении рычага управления не размыкают контакт.

Бывают и примеры просто неудачных инженерных решений. Питают силовые цепи и цепи управления с одной клеммы, что приводит к отключению модуля при проблемах в одном из выходных каналов. Или используют ватчдог в релейных модулях. Вроде, цель благая — запустить зависший модуль, но при этом все выходные реле переключаются, а к ним подключена реальная нагрузка, которая управляет технологическим процессом. Поэтому и приходится тестировать все очень тщательно.

Бывает, оборудование на первый взгляд выглядит достойно:  удобный конструктив, отстегивающиеся клеммники, хорошо продуманная система подключения и инициализации. Но неотмытый флюс приводит к тому, что через полгода даже не эксплуатации, а просто существования устройства, оно отказывает. Поэтому инженеры ПК «Энергия» при появлении не апробированного оборудования, «лезут внутрь» и просматривают под микроскопом качество пайки и чистоту платы.

Контроллеры  Wiren Board входной контроль ПК «Энергия»прошли. Изначально контроллер был выбран для сбора данных с сети ресторанов, причем это был Wiren Board 5, или еще болеее ранний — его четвертая версия. ПК «Энергия» даёт гарантию на свои проекты, при поломках оборудование возвращают и заменяют. По статистике доли выхода оборудования из строя можно делать выводы о его надежности. Если устройство качественное, то процент отказов примерно одинаков у всех производителей. Статистика по отказам Wiren Board вполне удовлетворяет  ПК «Энергия». 

Как сказал Андрей, собирать из плохих продуктов себе дороже, поскольку экономия на цене, как правило, приводит к кратным потерям при гарантийном обслуживании. 

Забавные случаи и новые идеи

В 2018 году для крупного российского заказчика был сделан шкаф электрообогрева без импортных устройств. На демонстрацию пригласили ТЕХНИЧЕСКИХ специалистов заказчика. Показывали работу в двух режимах: управление по гистерезису и в режиме фазового регулирования. В качестве нагрузки использовали лампы накаливания. Инженеры ПК «Энергия» долго рассказывали о различиях в алгоритмах управления. В итоге комиссия дала отрицательное заключение на том основании, что «одна лампа горела вполнакала, что говорит о неисправности». Для неинженеров поясню, что лампа в режиме фазового регулирования  и должна гореть вполнакала. 

С объектов в ПК «Энергия» иногда возвращаются «убитые» импортные контроллеры. Клиенты сами лезли в BIOS, что-то отключали, а потом забывали и делали вывод о неисправности. Один из таких модулей — DigiTrace, представляющий собой буквально компьютер на базе Windows XP. С объекта на склад поступали списанные изделия, клиенту отправляли новые (у Pentair такая корпоративная политика - сразу замена). Когда купить новые стало невозможно, то устроили ревизию неисправных устройств. Из шести панельных компьютеров  Pentair Touch 1500  по-настоящему неисправен был один, остальные «починили» корректной настройкой. 

Еще одна находка: мобильное рабочее место кладовщика с лазерным принтером. Обычно кладовщик каждый день много раз перемещается между своим рабочим местом и приемкой. Мобильное рабочее место буквально на пандусе позволило бы уменьшить такие перемещения. Было разработано пилотное решение, «мобильный кладовщик» выдерживал 12 часов на аккумуляторах, но в итоге от него было решено отказаться. Заказчик посчитал, что 50% сокращение персонала ему не нужно — организация большая, у менеджмента разные точки зрения, идея  «людей много не бывает» одержала верх над соображениями увеличения производительности труда.

Красивый щит

А теперь мы расскажем о красивом щите, как и обещали.

Щит управляет системой промышленного электрообогрева. Обогреваться могут магистральные трубопроводы, резервуары, тротуары, водостоки, крекинговые колонны — любые объекты, требующие при своей работе фиксированную температуру. 

Оборудование в щите обеспечено питанием по I категории по надежности электроснабжения — в нем есть устройство АВР от фирмы LOVATO Electric. Электрическое потребление каждой отходящей линии измеряется многоканальными счетчиками WB-MAP12. Всю бизнес логику реализует контроллер Wiren Board 6. Дискретные сигналы сводятся на модуль WBIO-DI-WD-14. Аналоговые датчики подключены к WB-MAI6. Коммутация осуществляется через модуль WBIO-DO-R1G-16, специально предназначенный для управления контакторами, сигнальными лампами и другой маломощной нагрузкой. 

В качестве дисплея используется промышленный встраиваемый компьютер с IntraSCADA.

Один контроллер для управления и интерфейса

Специалисты ПК «Энергия» считают, что разносить бизнес-логику и визуализацию на разные контроллеры неэффективно, гораздо удобнее использовать одно устройство. И наличие «на борту» контроллера Wiren Board средств визуализации соответствует этой концепции. ПК «Энергия» использует на нем MasterSCADA и IntraSCADA.

Мы попросили Николая обосновать такое решение. В чем преимущества размещения логики управления и интерфейса на одном устройстве? Плюсов здесь несколько:

1. разрабатывается одна программа, а не две. Не возникает проблема стыковки одного с другим, поэтому снижается стоимость разработки и тестирования;

2. нет проблемы с добавлением дополнительных АРМ оператора, так как на них не надо ничего устанавливать. Достаточно прописать домашнюю страничку в браузере — и вот еще одно рабочее место;

3. отказ дисплея  (а дисплей всегда более уязвим, чем контроллер) приводит к мгновенной замене его на планшет или телефон и не связан с установкой какого-либо специфического ПО;

4. в качестве панели оператора может быть использовано устройство  любого типа: панель, компьютер, планшет, телефон. В случае, если HMI «крутится» на отдельном устройстве, его отказ неминуемо приводит к необходимости купить устройство того же типа. И мы опять оказываемся привязаны к связке «ПО и железо от одного вендора» — как это имеет место, например, с панелями Weintek.

Софт

Я поинтересовался, что за фирменное программное обеспечение работает на контроллерах Wiren Board. В системах электрообогрева на контроллер устанавливается управляющее приложение, разработанное ПК «Энергия». А через IntraSCADA работает визуализация и интерфейс пользователя, причем тоже непосредственно на контроллере.

Николай привел еще примеры программных решений на контроллере для разных клиентов. Во всех случаях Wiren Board на нижнем уровне собирает данные с оборудования и датчиков, после чего передает их серверу. Также на Wiren Board возложена функция сетевого супервизора — установка и поддержание сетевого соединения с сервером, управление резервным каналом и т.д. Поскольку на Wiren Board установлен Debian, то используются методики, давно наработанные Linux-администраторами — ничего изобретать не надо, всё уже давно разработано и описано. Контроллер используется и как буферное хранилище данных телеметрии — на время отсутствия соединения с сервером.

При необходимости контроллер Wiren Board может управлять оборудованием, то есть решаются задачи не только диспетчеризации, но и автоматизации. Непосредственно на контроллере работают скрипты, написанные ПК «Энергия». Подобные решения используются в популярной сети фастфуда, для мониторинга дизель-генераторных установок, на буровых вышках и т.д.

Заключение

Надеюсь, наша экскурсия в компанию ПК «Энергия» оказалась познавательной. Бизнесу в нынешних условиях приходится нелегко, иногда он находится на грани выживания. Но если правильно выбрать парадигму развития, то и с возникающими проблемами можно справиться. Пишите в комментариях, если у вас остались какие-либо вопросы.