Transcript Evaluation indépendante et certification de système ferroviaire

évalua&on indépendante et cer&fica&on de système ferroviaire, pourquoi, quel apport ? Jean-­‐Louis BOULANGER [email protected] Interven'ons of CERTIFER Sector
Railway
Field
Regulatory + Voluntary
Network
Urban, National, European, International
Line
High speed line, conventional line, Metro, Tram, freight
Mission
ISA, NoBo, DeBo, CSM, ECM, …
Methodology
Assessment, Certification, Inspection
+
Mandatory Field ECM DeBo ISA CSM Urban Network No,fied Body Na&onal Network Voluntary Field European Network Inspec&on Body Cer&fica&on Body 2
2
CERTIFER’s strengths q  More than 16 years of experience q  More than 350 assessors coming from the whole railway sector: SNCF, RFF, RATP, Apave and industrials, etc.… q  Several na&onal & interna&onal acknowledgements q  Covers all the sectors (Conven&onal, High-­‐speed & Urban) Infrastructure, Energy, Control Command & Signaling, Rolling Stock, System,
Maintenance, Operation
q  Presence in France, Algeria & in Italy (STEAMCERT) A reference for your ISA/NOBO/DEBO/CSM/ECM missions 3
3
Accredita'ons -  CERTIFER is accredited according to EN 45011 for the « Industrial Products
Certification » section of COFRAC (French Committee of Accreditation). The
scope is available on www.cofrac.fr.
-  CERTIFER is TYPE A accredited according to ISO EN 17020 for the
"inspection" of COFRAC (French Committee of Accreditation). The scope is
available on www.cofrac.fr
Those official acknowledgements, which are monitored, show CERTIFER’s
independence, impartiality & competence.
Mission : NoBo CERTIFER performs : -­‐  Assessment documenta&on, -­‐  Audits, -­‐  Visits on manufacturing sites, -­‐  Visits on test sites. Tests are performed by the client, or by an independent laboratory depending on the chosen module. When assessment & tests results prove interoperability, CERTIFER delivers EC compliance cer&ficates and/or suitability for use. 5
Mission : OQA Na'onal Network Conven,onal & High-­‐
speed lines U r b a n & t o u r i s , c g u i d e d t r a n s p o r t systems 6
Mission : ISA Independent Safety Assessment
The Independent Safety Assessment brings a justified confidence for a project’s safety.
CERTIFER, « Independent Safety Assessor » or ISA, is able to perform those Independent
Safety Assessments.
The ISA uses methods such as audits, analyses, meetings, reviews or presence during tests to
gather necessary proofs. It is not an assessment of the processes, it is a deep evaluation
of the products and systems.
CERTIFER performs a product’s safety assessment (socware and/or hardware/system) with regard to CENELEC standards (EN 50126, EN 50128, EN 50129, 61508 & 61511) in order to establish their SIL cer&fica&on: SIL1, SIL2, SIL3 or SIL4.. The name “ISA” is also used within the assessment of urban or railway assessments. 7
Standard IEC 61508 Generic Standard IEC 61508通用标准
IEC 61513 Sectorial standard Nuclear核标准
IEC 61880 Sectorial standard Socware软件标准
IEC 61511 Sectorial standard Industrial Process 工业过程标准
IEC 62061 Sectorial standard Machine 机器标准
EN 5012x Railway铁路标准
ISO 26262 Automo&ve 汽车标准
IEC 61513 Sectorial standard Nuclear核标准
C+-0D+-'
1I%-75%'
7%'*J1)6+-'
!12%$"'3##%##&%-$'./+0%##'
4567%*6-%'8'&%$9+7'
!12%$"'3##%##&%-$'+2'36/0/1:'6-'
>+&&%/061*'!%/)60%'
!"#$%&'./%)%*+/0(-%
!"#$%(/(6%)%(/(/-%
C+-0D+-E'(F216**1-0%'
G$'6-2+/&1D+-'!12%$"'
G*F&%-$'7%'0+-0%,D+-''
75'#"#$H&%'
!"#$%&'(%)%*+,&%-$'
./+0%##%#'
!"#$%&'(&%)%*+',-%
IEC 61880 Sectorial standard Socware软件标准
K,%/1D+-%
4567%*6-%#'2+/'@-$%A/1$%7''
B+75*1/'3)6+-60#'
!+125,'%)%*+2/5&-%
?1/7;1/%'(%)%*+,&%-$'
<62%=>"0*%'
!+125(&%)%*+236-%
!+:;1/%'(%)%*+,&%-$'
<62%=>"0*%'
!+12/'34%)%*+2/54-%
$789:%;:%;<=:>?@@:A:BC%
$789:%?@<J8I?BB:>>:%
Oriented product
产品导向
IEC 61508 Generic Standard EN 45011 DE9CFA:%
G?BHI?B:>%
通用标准
EN 17020 EN 17025 IEC 61511 Sectorial standard Industrial Process 工业过程标准
IEC 62061 Sectorial standard Machine 机器标准
EN 5012x Railway 铁路标准
ISO 26262 Automo&ve 汽车标准
Cycle de vie Concept -1
Modification/mise à niveau -12
Définition du système et conditions
d’application -2
Acceptation du
système - 10
Analyse du risque -3
Exploitation et
Maintenance
-11
Surveillance des perfos -13
Exigence du système-4
Validation du système -9
Allocation des exigences
du système -5
Conception et Réalisation -6
(nécessité de reprendre le cycle)
Fabrication -7
Installation -8
Retrait du service
et dépose -14
Safety Assurance Plan Concept
1
System Definition &
Application Conditions
2
10
System Acceptance
11
Operation and
Maintenance
14
De-commissioning
and Disposal
PHA Risk Analysis
System Requirements
4
System Validation
(Including Safety Acceptance
and Commissioning)
Apportionment of
System Requirements
Sta&c analysis (hardware, socware, …) Safety review 5
Design and
Implementation
6
Manufacture
Installation
7
Hazard-­‐Log Hazard-­‐Log 8
9
Safety-­‐Case SHA IHA 3
Terminologie … Vocabulaire • 
• 
• 
• 
Evalua&on Inspec&on Cer&fica&on Homologa&on Cadre Champ obligatoire EOQA & Champ volontaire Réseau urbain Organisme d’inspec&on EOQA Réseau Na&onal Organisme de cer&fica&on Organisme no&fié Réseaux européens Evalua&on Conformity Referential= {Standard, process, state of art, …}
Conform ?
Conform ?
Realisation
Product
18
Assessment Product development
Assessment Report Assessment
TA
Differents situa&ons
1. TA >>> T0 => difficul&es to take into account the remarks of the assessor 2. TA > T0 => it’s possible to take into account the need of the assessor 3. TA = T0 => during some &me the assessor does not work Assessment
Asessement Plan
Assessment Plan Plans analysis Audit
QRF Audit Plan Audit Report Product assessment Assessment Report Report Wri&ng Entries and Output Entries
All the documenta&ons and all produc&ons:
Plans : PQP, PMC, VVP, SAP, SQAP, SVVP, … + QAM + instruc&ons + .. Concep&on elements : document, code, … V&V elements: document, scenarii, result log, … v&v Safety documents (analysis, FMEA, FTA, HL, SafetyCase) … Output
Assessment plan; Ques&ons and Remarks Forms; Assessment report.
⇒ All entries and output should be accessible by the assessor ⇒ All the ac,vi,es are documented and you have some evidences. 21
Évalua&on • 
L’évaluation d’un produit (système ou un logiciel) consiste à évaluer la conformité
de ce produit par rapport à un référentiel (en général une norme, une partie de
norme ou un ensemble de norme), selon une méthode donnée.
• 
Le résultat d’une évaluation doit prononcer la conformité ou pas à chacune des
exigences du référentiel.
–  Si le produit est conforme à l’exigence, l’évaluation prononce « conforme à l’exigence ».
–  Si le produit n’est pas conforme à l’exigence, l’évaluation prononce un «écart ».
–  Si le produit est conforme à chacune des exigences d’une norme, l’évaluation prononce la
conformité à la norme.
–  Sinon, une exigence ou plus non satisfaite, le produit ne peut être déclaré conforme à la
norme. Écart et risque encouru •  Il peut y avoir plusieurs types d’écarts, classés selon « le risque encouru »
lorsque l’exigence n’est pas satisfaite.
•  Par exemple,
–  « Non-conformité » lorsque l’écart présente un risque important de non satisfaction
de la qualité, de la sécurité ou de la compatibilité technique.
–  « Remarque » lorsque l’écart présente un risque modéré.
•  Cette classification du « risque encouru » est très subjective, et il est d’usage
que les normes fassent apparaître clairement les exigences « obligatoires », des
exigences « optionnelles » ou « recommandées ».
•  Cela permet à l’évaluateur de classer de façon indiscutable les écarts :
–  Un écart par rapport à une « exigence obligatoire » remet en cause la conformité du
produit à la norme.
–  Un écart par rapport à une « exigence recommandée » ne remet pas en cause, à elle
seule, la conformité globale du produit à la norme.
Cer&fica&on vs Assessment
•  A cer&fica&on is an assessment plus the formaliza&on in a cer&ficat of the result. Assessment Report Assessment Cer&ficat Cer&fica&on ISA CERTIFICATION Assessment
ISA certification
Assessment Plan Audit Plan and Report QRF
Assessment Report ISA cer&ficat 1 day to 1 week
Product cer'fica'on 2 weeks to 5 weeks
Assessment
Assessment Plan Audit Plan and Report QRF Certification
Assessment Report Proposi&on of cer&ficat Commission
of specialists
Product Cer&ficat A certificat (all assessment documents) plus a proposition of
certificat is proposed to a commission of railway specialists. These commission validated or not the certificat
26
Cross Acceptance •  Cross-­‐acceptance : reconnaissance d’un cer&ficat (équipement, logiciel, composant, ou&ls, automate, …) pour une u&lisa&on donnée ⇒ Analyse du référen&el norma&f du cer&ficat ⇒ Analyse des règles d’u&lisa&on En général, donne lieu a un rapport de cross acceptance. Guide d’applica&on EN 50129 Guide 1 : (May 2007 – published)
12/03/2014 IKKOS -­‐ NoMad 29 Points importants Important points •  Quality management: •  ISO 9001:2008 for all peoples involves in the project •  People management: •  Competency •  Independancy •  Responsability •  Configura&on management 31
Quality management •  Défini&on d’un référen&el qualité (ISO 900X) : •  Manuel d’assurance qualité; •  Procédures; •  Référen&el : norme, état de l’art, … •  Surveillance de la qualité: •  Forma&on; •  Audit des projets; •  Audit des équipes; •  Revues des projets •  Monitoring de la qualité : •  Ges&on des audits et des ac&ons; •  Ges&on des anomalies, du temps de traitement des anomalies, … •  Nombre de configura&on par projet; •  … 32
Organiza'on FprEN 50128:2011
- 18 -
ASR
PM
SIL3 & SIL4
RQM, DES, IMP
INT, TST
VER
VAL
ASR
PM
SIL 1 & SIL 2
RQM,DES, IMP
INT, TST
VER, VAL
PM
ASR
SIL0
RQM, DES, IMP
INT, TST, VER, VAL
Key
can be the same person
+ QUALITY + SAFETY
can be the same organization
33
shall report to the Project Manager
can report to the Project Manager
5.2.1.1 To ensure that all personnel who have responsibilities for the software are competent to discharge
those responsibilities by demonstrating the ability to perform relevant tasks correctly, efficiently and
consistently to a high quality and under varying conditions.
5.2.2 Requirements
Competence management 5.2.2.1 The key competencies required for each role in the software development are defined in Annex B. If
additional experience, capabilities or qualifications are required for a role in the software life cycle, these shall
be defined in the Software Quality Assurance Plan.
5.2.2.2 Documented evidence of personnel competence, including technical knowledge, qualifications,
relevant experience and appropriate training, shall be maintained by the supplier’s organisation in order to
demonstrate appropriate safety organisation.
Boutique AFNOR pour : CERTIFER le 25/01/2012 12:14
5.2.2.3 The organisation shall maintain procedures to manage the competence of personnel to suit
BS EN 50128:2011
appropriate roles in accordance to existing quality standards.
- 21 EN 50128:2011
5.2.2.4 Once it has been proved to the satisfaction of an assessor or by a certification that competence has
been demonstrated for all personnel appointed in various roles, each individual will need to show continuous
Boutique AFNOR pour : CERTIFER
12:14 a logbook showing
maintenance and development of competence. This could be demonstrated
byle 25/01/2012
keeping
the activity is being regularly carried out correctly, and that additional training is being undertaken in
- 87 accordance with EN ISO 9001 and ISO/IEC 90003:2004, 6.2.2 “Competence, awareness
and
training".
Table B.9 – Project Manager Role Specification
BS EN 50128:2011
EN 50128:2011
Role: Project Manager
5.3 Lifecycle issues and documentation
Responsibilities:
5.3.1 Objectives
1. shall ensure that the quality management system and independency of roles according to 5.1 are in place
for the project and progress is checked against the plans
2. shall allocate sufficient number of competent resources in the project to carry out the essential tasks
including safety activities, bearing in mind the requisite independence of roles
3. shall ensure that a suitable validator has been appointed for the project as defined in EN 50128
5.3.1.1 To structure the development of the software into defined phases
and activities.
4. shall be responsible
for the delivery and deployment of the software and ensure that safety requirements
from the stakeholders are also fulfilled and delivered
5. shall allow sufficient time for the proper implementation and fulfilment of safety tasks
6. shall
partial and complete
safety
deliverables from the development process
5.3.1.2 To record all information pertinent to the software throughout
theendorse
lifecycle
of the
software.
7. shall ensure that sufficient records and traceability is maintained in safety related decision making
5.3.2 Requirements
Key competencies:
1. shall understand quality, competencies, organisational and management requirements of EN 50128
2. shall understand the requirements of the safety process
shall be able to weigh different options and understand the impact on safety performance of a decision or
5.3.2.1 A lifecycle model for the development of software shall 3.be
selected.
It shall be detailed in the
selected
options
4.
shall
understand
the
requirements
of the software development process
Software Quality Assurance Plan in accordance with 6.5.
34
5. shall understand the requirements of other relevant standards
Two examples of lifecycle models are shown in Figure 3 and Figure 4.
Table B.10 – Configuration Manager Role Specification
REQUIREMENT Les normes recommandent d’iden&fier les exigences. Les exigences devront être suivies sur l’ensemble de la réalisa&on. Il y aura donc une traçabilité des exigences sur l’ensemble du cycle de réalisa&on. Traçabilité des exigences: L'objec&f de la traçabilité des exigences est d'assurer qu'il est possible de montrer que toutes les exigences ont été correctement remplies. Traçabilité: Facilité avec laquelle un lien peut être établi entre deux ou plusieurs produits d'un processus de développement, et plus par&culièrement, ceux possédant entre eux une rela&on de prédécesseur à successeur ou de maître à esclave. 35
Requirements, tests and safety REQ_x&:&…&
Safety&:&Non&
Req_y&:&…&
Safety&:&oui&
Niveau&n&
Niveau&n&+1&
REQ_xx&:&…&
Safety&:&Non&
Test_x.1&:&…&
Req_yy&:&…&
Safety&:&oui&
Test_y.1&:&…&
Test_z.1&:&…&
36
Verifica'on Entrées!
Vérifica.on!
!
Phase!
!
Sor.es!
La vérification a pour objectif de montrer que l’on a réalisé correctement
le produit. La question est associée est donc le travail est-il bien fait ?
37
PLAN and Standard •  The conformity with the standard should be described in the project plans (SQAP, SVVP, SAP, …) •  All the choices, all the jus&fica&ons, … 38
Verifica'on Spécifica(on+des+exigences++
de+sécurité+
Spécifica(on+des+exigences++
du+logiciel+
Rapport(de((
vérifica6on(
PAQL,(PGC,(PVV(
PAQL,+PGC,+PVV+
Spécifica(on+des+exigences++
système+
Spécifica(on+des+tests+
d’ensemble+du+logiciel+
Rapport+de+Vérifica(on+
Applica6on(
Spécifica6on(des(tests(
d’ensemble(du(logiciel(
Résultat(des(tests(
d’ensemble(du(logiciel(
Rapport(de(Valida6on(
Spécifica(on+des+exigences++
du+logiciel+
PAQL,+PGC,+PVV+
Descrip(on+de+l’architecture+
du+logiciel+
Concep(on+du+logiciel+
+
Spécifica(on+des+tests+
d’intégra(on+
+
Rapport+de+Vérifica(on+
Guide+méthodologiques+
Spécifica(on+des+interfaces+
PAQL,(PGC,(PVV(
Code(
Spécifica0on(des(tests(
D’intégra0on(L/L(
Résultat(des(tests(
d’intégra0on(L/L(
Spécifica0on(des(tests(
D’intégra0on(L/L(
Résultat(des(tests(
d’intégra0on(H/L(
Rapport(de(Vérifica0on(
39
Assessement Un logiciel accompagné d'un Rapport d'Evalua&on du Logiciel, émanant d'un autre chargé d'évalua&on, n'a pas à faire l'objet d'une évalua&on en&èrement nouvelle. Le deuxième chargé d'évalua&on doit vérifier que le logiciel a le niveau requis d'intégrité de la sécurité logicielle et qu'il est adapté à l'applica&on prévue sur l'ordinateur cible qui lui est des&né. => Pas automa&que … CROSS-­‐ACCAPETANCE L'évalua&on du logiciel doit être menée à bien par un chargé d'évalua&on qui est indépendant de l'équipe de concep&on. Le chargé d'évalua&on peut demander un travail de vérifica&on et de valida&on supplémentaire, s'il le trouve que c’est nécessaire. 40
Bilan •  Mise en place d’une stratégie de type « Légo », les normes devant garan&r une compa&bilité des interfaces. •  PB : cer&ficat mul&-­‐domaine … 43
!
!
!
!
!
44