Streszczenie projektu:

Projekt zakłada zastosowanie technik VR w szkoleniu pracowników służb technicznych na niespotykaną dotąd w świecie skalę – proponuje się budowę systemu mającego zdolność do przeprowadzenia szkolenia pracowników dla wszystkich stacji elektroenergetycznych (główne punkty zasilające - GPZ) będących w dyspozycji EO, na wirtualnych (cyfrowych) modelach tych stacji, z zastosowaniem metod realistycznej interakcji z animowanymi, trójwymiarowymi obiektami reprezentującymi infrastrukturę elektroenergetyczną.

Realizację projektu zaplanowano w 4 etapach. Projekt rozpoczyna się od badań przemysłowych, które będą realizowane przez 2 etapy projektu, mające na celu zdobycie nowej wiedzy w zakresie tworzenia założeń do systemu VR w branży energetycznej.

W kolejnych 2 etapach będą prowadzone prace rozwojowe poświęcone:

- budowie prototypu stanowiska szkoleniowego,

- hardware systemu;

- software systemu.

Projekt zakończy się pracami rozwojowymi, które maja na celu potwierdzenie że opracowywany system działa w przewidywanych dla niego warunkach.

Cel projektu: Głównym celem projektu jest budowa elastycznego, innowacyjnego systemu wirtualnej rzeczywistości do prowadzenia szkoleń pracowników służb technicznych, zawierającego interaktywne wirtualne scenariusze szkoleniowe dla wybranych (15 GPZ) Głównych Punktów Zasilających, stacji Średniego Napięcia oraz ośrodka szkoleniowego prac pod napięciem.

Najważniejszą cechą systemu z punktu widzenia jego implementacji w EO będzie możliwość swobodnego rozszerzania treści w nim zawartych o kolejne scenariusze i obiekty infrastruktury energetycznej, dzięki zastosowaniu technik inżynierii wiedzy oraz częściowej automatyzacji procesu przygotowania treści, m. in. z zastosowaniem bezstykowych technik digitalizacji.

Planowane efekty: W efekcie prowadzenia prac zostanie opracowany prototypowy, jeden z pierwszych na świecie, elastyczny system zwiększania kompetencji pracowników służb technicznych z zastosowaniem technik VR.

Wartość projektu: 6 260 305,88zł

Wkład UE: 3 050 641,89zł

Data podpisania umowy: 18.02.2019 r.

Postęp rzeczowy projektu – stan na 31.07.2020r.

1. Opracowano bieżący planu digitalizacji – terminy pomiarów, określenie wymagań i ograniczeń w trakcie pomiarów dla każdego ze skanowanych obiektów,
2. Opracowano procedury bezpieczeństwa i dostępu do obiektów poddawanych digitalizacji – z uwzględnieniem wymagań i regulacji wewnętrznych Enea Operator,
3. Opracowano bazy obiektów i ich elementów składowych infrastruktury elektroenergetycznej na potrzeby scenariuszy szkoleniowych dla 3 stacji GPZ i poligonu szkoleniowego w Łagowie,
4. Rozszerzono specyfikacje scenariuszy szkoleniowych dla zamodelowanych obiektów elektroenergetycznych,
5. Przeprowadzono i rozstrzygnięto postępowanie oraz wyłonienie podwykonawcy do realizacji skanowania i modelowania 3D stacji transformatorowych WN/SN i SN/nn
6. Opracowano skrypty przechowujące metadane obiektów 3D w scenie VR wraz z mechanizmami ich odczytu i zapisu do zewnętrznego formatu danych,
7. Opracowano rozszerzony model danych bazy danych obiektów i ich elementów składowych infrastruktury elektroenergetycznej na potrzeby tworzenia scenariuszy szkoleniowych,
8. Rozszerzono biblioteki obiektów 3D o obiekty pochodzące z kolejnych stacji GPZ, takie jak: transformatory, pola transformatorowe, pola liniowe, pola łącznika szyn, zespoły uziemiające, nastawnie z szafami sterującymi, budynki, słupy,
9. Rozszerzono biblioteki materiałów pozwalających na kompletne odwzorowanie zamodelowanych obiektów infrastruktury elektroenergetycznej; opracowanie wariantów materiałów fizycznych o różnej gęstości ułożenia oraz zróżnicowanych parametrach m. in. jasności czy refleksyjności,
10. Rozwinięto uniwersalne skrypty do realizacji interakcji z obiektami podczas realizacji scenariuszy szkoleniowych w środowisku VR,
11. Zaimplementowano warstwy interakcji dla opracowanych obiektów 3D infrastruktury elektroenergetycznej, a także zweryfikowano poprawności jej działania w trybie VR

Postęp rzeczowy projektu – stan na 30.04.2020r.

1. Opracowano i zaimplementowano metadane opisujące model 3D stacji GPZ Karczyn,
2. Opracowano elastyczną scenę wirtualną dla stacji GPZ Karczyn z użyciem technik inżynierii wiedzy,
3. Przeanalizowano porównawczo techniki wizualizacji pod względem akceptowalnych uproszczeń w wizualizacji obiektów infrastruktury oraz różnych podejść zastosowanych do tworzenia tekstur,
4. Opracowano warstwy wizualne w środowisku VR dla stacji GPZ Żegrze, GPZ Braniborska, GPZ Pniewy.
5. Opracowano uniwersalne skrypty do interakcji zgodnie z koncepcją obiektu interaktywnego w elastycznym systemie szkoleniowym,
6. Opracowano i  zaimplementowano algorytmy dynamicznego ładowania scenariuszy szkoleniowych, na podstawie metadanych wygenerowanych z wypełnionego szablonu specyfikacji scenariuszy,
7. Opracowano bazy wiedzy metod interakcji – 38 różnych metod interakcji obejmujących wykonanie 13 różnych czynności w wirtualnej przestrzeni,
8. Przeprowadzono eksperymenty laboratoryjne w celu przetestowania różnych metod interakcji w scenie szkoleniowej VR z udziałem wybranej grupy użytkowników.
9. Opracowano procedury dodawania nowych i modyfikacji istniejących treści w systemie szkoleniowym VR,
10. Zaimplementowano metodyki importu, edycji i zapisu metadanych tworzących wirtualne scenariusze szkoleniowe z użyciem przykładowych danych – prototyp edytora scenariuszy,
11. Przeprowadzono testy wewnętrzne – modyfikacja wybranych scen i scenariuszy za pomocą prototypowych edytorów,
12. Opracowano założenia do planu digitalizacji infrastruktury energetycznej,
13. Opracowano kryteria wyboru obiektów infrastruktury energetycznej do digitalizacji,
14. Wybrano obiekty infrastruktury energetycznej do digitalizacji: 10 obiektów WN/SN i 10 obiektów SN/nn,

Postęp rzeczowy projektu – stan na 31.01.2020r.

1. Opracowano założenia dla rekomendowanego przebiegu procesu szkoleniowego w rzeczywistości wirtualnej we współpracy ze specjalistami od czynności łączeniowych, PPN, BHP oraz wirtualnej rzeczywistości,
2. Opracowano szczegółowe specyfikacje scenariuszy szkoleń wirtualnych dla dwóch stacji GPZ oraz dla wybranej technologii prac pod napięciem zgodnie z opracowaną metodyką transferu wiedzy o szkoleniach.
3. Opracowano modele 3D stacji GPZ: Żegrze, Braniborska, Pniewy oraz poligonu szkoleniowego w Łagowie na podstawie wyników wykonanych pomiarów,
4. Opracowano klasyfikację technik digitalizacji w odniesieniu do różnych obiektów infrastruktury elektroenergetycznej.
5. Opracowano bibliotekę materiałów i tekstur niezbędnych do budowy wizualizacji stacji GPZ i poligonu szkoleniowego w Łagowie,
6. Opracowano ścieżkę przetwarzania grafiki 3D w celu uzyskania satysfakcjonującej jakości wizualnej budowanych wirtualnych środowisk szkoleniowych,
7. Opracowano szablon elastycznej sceny szkoleniowej,
8. Opracowano metodykę tworzenia elastycznych wirtualnych scen szkoleniowych z użyciem technik inżynierii wiedzy,
9. Opracowano i przeprowadzono eksperyment w celu ewaluacji metody interakcji ze śledzeniem wzroku użytkownika z zastosowaniem systemu HTC Vive Pro,
10. Opracowano metodykę eksportu i konwersji specyfikacji scenariuszy szkoleniowych na metadane opisujące scenariusz szkoleniowy w aplikacji VR,

Postęp rzeczowy projektu – stan na 31.10.2019r.

1. Opracowano koncepcję architektury projektowanego wirtualnego środowiska szkoleniowego dla operatorów elektryków,
2. Określono limity dotyczące strukturalnej złożoności modeli 3D infrastruktury elektroenergetycznej,
3. Przeprowadzono eksperymenty z udziałem pracowników Enea Operator
4. Przeprowadzono analizę dokładności metod pomiarowych,
5. Opracowano kryteria oceny i ustalenie rankingu metod pomiarowych,
6. Opracowanie metodyki transferu istniejącej wiedzy o szkoleniach rzeczywistych do środowiska wirtualnego,
7. Opracowanie scenariuszy szkoleń wirtualnych dla wybranych technologii prac pod napięciem oraz sekwencji czynności łączeniowych dla 4 wybranych stacji GPZ,
8. Nagranie filmów ilustrujących przeprowadzenie rzeczywistych czynności łączeniowych realizowanych zgodnie z opracowanymi scenariuszami dla stacji GPZ Karczyn oraz GPZ Pniewy, Żegrze oraz GPZ Braniborska,
9. Wykonanie skanów 3D dla poligonu szkoleniowego PPN w Łagowie oraz dla 4 stacji GPZ: Karczyn, Żegrze, Braniborska, Pniewy,
10. Opracowano modele 3D stacji GPZ Karczyn na podstawie wyników wykonanych skanów.

Postęp rzeczowy projektu – stan na 31.07.2019 r.:

1. Przeanalizowano zgromadzoną dokumentację i zidentyfikowano dokumenty zawierające istotne informacje związane ze szkoleniami prowadzonymi metodami tradycyjnymi. W wyniku przeprowadzonej analizy wyróżniono 2 główne obszary tematyczne prowadzonych szkoleń: prace pod napięciem i czynności łączeniowe.
2. Przeprowadzono analizę istniejących Głównych Punktów Zasilania (GPZ) pod względem zastosowanych w nich technologii. Na podstawie przeprowadzonej analizy wybrano 4 reprezentatywne stacje GPZ, które łącznie z poligonem szkoleniowym w Łagowie zostaną poddane digitalizacji w etapie 2 projektu.
3. Dokonano analizy stanu aktualnego w zakresie procedur prowadzenia prac pod napięciem oraz czynności łączeniowych. Przeanalizowano aktualnie stosowane metody i zakres szkoleń,
4. Zdefiniowano wymagania techniczne niezbędne do budowy systemu szkoleń w środowisku wirtualnym. 

A flexible system of increasing the competence of technical services employees - using virtual reality techniques

A summary of the project:

The project assumes the use of VR techniques in the training of technical staff at an unprecedented scale in the world. It is proposed to build a system capable of training employees for all power stations (main power points) which are at the disposal of the DSO. This proejct is being prepared on virtual models (stations), using realistic interaction methods with animated, three-dimensional objects representing power infrastructure.

The project is planned in 4 stages. It starts with industrial research, which will be implemented in two stages of the project, aimed at acquiring new knowledge in the field of creating assumptions for the VR system in the energy industry.

The next two stages will include development works devoted to:

- building a prototype of a training station,

- system hardware,

- system software.

The project will end with intended works which can confirm that the developed system operates under the conditions envisaged for it.

Aim of the project: The main goal of the project is to build a flexible, innovative virtual reality system to conduct training of technical service personnel, including interactive virtual training scenarios for selected Main Power Points (15), Medium Voltage stations and a training center for live scenarios.

The most important feature of the system from the point of view of its implementation in the EO will be the ability to freely expand the content it contains for subsequent scenarios and energy infrastructure objects, through the use of knowledge engineering techniques and partial automation of the content preparation process, among others using contactless digitalization techniques.

Planned effects: As a result, there will be developed - one of the first in the world - flexible  prototype system for increasing the competence of technical service employees using VR techniques.

Project value: PLN 6 260 305.88

EU contribution: PLN 3 050 641.89

Date of signing the contract: 18 February 2019

Progress of the project - as of  31 July 2020:

1. A current digitization plan was developed - measurement dates, determination of requirements and limitations during measurements for each of the scanned objects,
2. Safety and access procedures to digitized objects have been developed - taking into account the requirements and internal regulations of Enea Operator,
3. Bases of facilities and their components of the power infrastructure were developed for the training scenarios for 3 Main Stations and the training ground in Łagów,
4. The specifications of training scenarios for modeled power objects were extended,
5. The procedure was carried out and settled, as well as the selection of a subcontractor to perform 3D scanning and modelling of HV / MV and MV / LV transformer stations
6. Scripts were developed to store metadata of 3D objects in the VR scene along with the mechanisms for reading and writing them to an external data format,
7. An extended data model of the database of objects and their components of the power infrastructure was developed for the purpose of creating training scenarios,
8. The libraries of 3D objects have been extended to include objects from subsequent main Stations, such as: transformers, transformer bays, line bays, rail connector bays, ground units, signal boxes with control cabinets, buildings, poles,
9. The libraries of materials allowing for complete mapping of modeled power infrastructure objects were extended; development of variants of physical materials with different densities of arrangement and various parameters, including brightness or reflectivity,
10. Universal scripts were developed for the implementation of interactions with objects during the implementation of training scenarios in the VR environment,
11. Interaction layers were implemented for the developed 3D objects of the power infrastructure, and the correctness of its operation in VR mode was verified

Progress of the project - as of  30 April 2020:

1. Metadata describing the 3D model of the Karczyn GPZ station was developed and implemented,
2. A flexible virtual stage was developed for the Karczyn GPZ station using knowledge engineering techniques,
3. Comparative analysis of visualization techniques in terms of acceptable simplifications in the visualization of infrastructure objects and different approaches used to create textures,
4. Visual layers in the VR environment were developed for the Żegrze, Braniborska, and Pniewy Main Stations.
5. Universal scripts for interaction were developed in accordance with the concept of an interactive object in a flexible training system,
6. Algorithms for dynamic loading of training scenarios were developed and implemented, based on the metadata generated from the completed scenario specification template,
7. A knowledge base of interaction methods was developed - 38 different interaction methods involving the performance of 13 different activities in virtual space,
8. Laboratory experiments were carried out to test different methods of interaction in the VR training scene with the participation of a selected group of users.
9. Procedures for adding new and modifying existing content in the VR training system were developed,
10. The methodologies for importing, editing and saving the metadata creating virtual training scenarios with the use of sample data were implemented - a scenario editor prototype,
11. Internal tests were carried out - modification of selected scenes and scenarios using prototype editors,
12. Assumptions for the plan for digitization of energy infrastructure were developed,
13. Criteria for selecting energy infrastructure objects for digitization were developed,
14. Energy infrastructure facilities were selected for digitization: 10 HV / MV facilities and 10 MV / LV facilities,

Progress of the project - as of  31 January 2020:

1. Established assumptions for the recommended course of the training process in virtual reality in cooperation with specialists in connection activities, PPN, BHP and virtual reality,
2. Detailed specifications of virtual training scenarios were developed for two GPZ stations and for selected live work technology in accordance with the developed methodology for transferring knowledge about training.
3. 3D models of GPZ stations were developed: Żegrze, Braniborska, Pniewy and training ground in Łagów based on the results of measurements made,
4. A classification of digitization techniques for various power infrastructure facilities has been developed.
5. A library of materials and textures necessary to build the visualization of the GPZ station and training ground in Łagów was developed,
6. The path of 3D graphics processing was developed in order to obtain satisfactory visual quality of built virtual training environments,
7. A template for a flexible training scene was developed,
8. A methodology for creating flexible virtual training scenes using knowledge engineering techniques has been developed,
9. An experiment was developed and conducted to evaluate the method of interaction with user eye tracking using the HTC Vive Pro system,
10. A methodology for exporting and converting training scenario specifications into metadata describing the training scenario in the VR application has been developed,

Progress of the project - as of  31 October 2019:

1. The concept of architecture of the designed virtual training environment for electrician operators was developed,
2. Limits for the structural complexity of 3D power infrastructure models have been set,
3. Experiments were conducted with the employees of Enea Operator
4. The accuracy of measurement methods was analyzed,
5. Assessment criteria and ranking of measurement methods were developed,
6. Developing a methodology for transferring existing knowledge about real trainings to a virtual environment,
7. Development of virtual training scenarios for selected live work technologies and sequence of connecting activities for 4 selected GPZ stations,
8. Recording of films illustrating the actual connection operations carried out in accordance with the developed scenarios for the GPZ Karczyn and GPZ Pniewy, Żegrze and GPZ Braniborska stations,
9. 3D scans for the PPN training ground in Łagów and for 4 GPZ stations: Karczyn, Żegrze, Braniborska, Pniewy,
10. 3D models of GPZ Karczyn station were developed based on the results of performed scans.

Progress of the project - as of  31 July 2019:

1. The collected documentation was analyzed and documents containing relevant information related to training conducted using traditional methods were identified. As a result of the analysis, two main thematic areas of training were identified: live working (working with voltages) and switching activities.
2. An analysis of existing HV/MV transformer stations (GPZ) was carried out in terms of technologies used in them. Based on the analysis, 4 representative GPZ stations were selected, which, together with the training ground in Łagów, will be digitized in stage 2 of the project.
3. The current state of the art was analyzed in the scope of procedures for conducting live working (working with voltages) and switching operations. The currently used methods and scope of training were analyzed,
4. The technical requirements necessary to build a training system in the virtual environment have been defined.