PFE LS PROVISION

Organisme d'accueil

International Business Machines Corporation

Applications & Technologies

2016: IBM acquière Med IT

400+ collaborateurs

175+

pays

ACTIVITES D'IBM A&T

Maintenance

Développement

Business Process Outsourcing

Tests

DIVESITE TECHNOLOGIQUE

ORGANIGRAMME - IBM A&T

TMA LS

Client

• L'équipe TMA LS Travaille exclusivement pour le groupe BNPP LS.

Leader européen en matière de leasing

TMA LS DATASTAGE

TMA LS AS/400

TMA EDITIQUE

TMA WHOLESALES

Organigramme - TMA LS

Projets

Maintenance / Evolution / Projet

TMA LS DATASTAGE

ORUS

RFA

PROVISION

DEKA

PROJET DE FIN D'ETUDES

Evolution de LS PROVISION

LS PROVISION

Traitement de données de provisionnement des contrats d’investissements de la BNPP LS.

• Modification des règles du déclassement des contrat en défaut
• Ajout de nouvelles condition de mise en saine des contrats

IBM Websphere Data Integrator - Outils

• DATASTAGE fait partie de la série d’outil de Websphere Data Integrator.

 IBM WebSphere DataStage Entreprise Edition

 IBM WebSphere DataStage TX

Exécution des traitements en mode parallèle

Echanges transactionnelles complexes

 IBM WebSphere AuditStage

 IBM WebSphere DataStage Server

Exécution en mode batch ou temps réel

Audit des données

 IBM WebSphere ProfileStage

 WebSphere IBM DataStage MVS

Exécution sur les machines Mainframe.

Découverte et l’analyse des données sources

 IBM WebSphere QualityStage

 IBM WebSphere MetaStage

Qualité en batch ou temps réel

Gestion des métadonnées de bout en bout

IBM Websphere Data Integrator - Architecture

DataStage Entreprise Edition - Caractéristiques

1

Intégration de données

2

Création des processus d’ETL

3

Traitement parallèle.

4

Linéarité entre les ressources disponibles

Rapidité de traitements

5

Gestion des méta-données

6

Plannification, Lancement et suivi d'execution

DataStage Entreprise Edition - Architecture

DataStage Entreprise Edition - Modules clients

• Administrator

• Designer

Création des jobs DATASTAGE

Administration des projets DATASTAGE et du Serveur

• Director

• Manager

Lancement et suivi d’exécution des jobs DATASTAGE

Gestion des méta données du référentiel

DataStage Entreprise Edition - Job

Modélisation graphique des phases d’extraction, de nettoyage, de transformation et d’alimentation de données

• Composé de stages

• Multi-source et/ou multi-cible

• Paramétrable (gestion de la portabilité)

Construit à l’aide d’une interface utilisateur graphique

Compilé dans le langage shell Orchestrate (OSH)

DataStage Entreprise Edition - Stage

• Le « Stage » est le composant élémentaire d'un Job DataStage

• Chaque Stage décrit un processus particulier appliqué sur le flux de données

DataStage Entreprise Edition - Job Sequence

Une « Job Sequence » est une modélisation graphique de l’enchaînement des jobs

Elle permet de :

• Exécuter des jobs, routines & commandes OS
• Envoyer des emails
• Utiliser des boucles
• Utiliser des variables utilisateurs
• Synchroniser les traitements

Composée d'activités

LS PROVISIONS - Principe

Integration de données

Déclassement des contrats

• Fusion des données de plusieurs BDs de la BNPP LS.

• Liste de créances en défauts bâlois/comptable.

Calcul des assiettes

Provision automatisée

• Base provisionnable historisée
• Décision de provisionnement

• Liste d'assiettes calculées pour chaque contrat.

LS PROVISIONS

Processus global

LS PROVISIONS - Interface Amont

Détermination de la "Base Provisionnable"

• Fréquence d'alimentation : - Mensuelle

• Finalités :

- Identification de risque

- Automatisation des calculs

- Comptabilisation

LS PROVISIONS - Interface Amont

Traitements ETL

Chargement

Extraction

Transformations

• Classification des contrats
• Changement des formats de données
• Calcul des assiettes

• Chargement des Datasets construits sous DATASTAGE dans la BP

• TIERS,

• CONTRAT_DONNEES_BP

• CONTRAT_DETAIL,

• CONTRAT_ASSIETTES

• Fichiers SIELE :

• PRVDCW

• PRVDAW

• PRVDTW

• PRVDPW

• Tables des paratmètres
• Tables réferentielles

LS PROVISIONS - Interface Avale

Branchement de la base Provisionnable avec les ERPs de la BNPP LS.

• Finalités :

- Integration avec SIELE

- Integration avec EVOLAN

- Compte-rendus

- Reporting

LS PROVISIONS - Interface Avale

Traitements DATASTAGE

3 Etapes :

1

Extractions des données des tables pour PRVDXW

2

Mise en forme du fichier PRVDXW

3

Génération du fichier PRVDXW

[ X = B ou P ]

LS PROVISIONS - Interface Avale

Traitements PL/SQL

PKG_ PILOTAGE_REPORTING

PKG_ INTERFACE_AVALE

Création de 11 fichiers à destination d’ORUS

Charger les pistes d’audit générées par EVOLAN dans la BP

PKG_CRE_CRT

PKG_ PROVISION

Génère un fichier CRT : PRVCRW

Mise à jour des ID techniques dans la BDD selon les nouveaux CODE_BP actifs dans les tables de référence

PKG_EVOLAN

PKG_ REPORT_OP

Création de 9 fichiers pour EVOLAN

Génère un fichier à partir de pistes d’audit provision appelé reporting_operationnel

OBJECTIF DE L'EVOLUTION

LS PROVISION

Nouvelle réglementation BNPP LS

Changement des règles de calcul du déclassement des contrats

Exclusion des contrats

Ajout du seuil de matérialité

OBJECTIF DE L'EVOLUTION

LS PROVISION

Evolution = Ajout de deux règles

1

2

Seuil de matérialité

Contrats Exclus

• Extraction des nouveaux paramètres
• Calcul de nouvelles assiettes
• Calcul du seuil
• Gestion des contrats R4/R5 selon le seuil

• Exclusion des contrats en défaut comptable
• Exclusion des contrats R4/R5 dont le seuil n'est pas atteint

EVOLUTION LS PROVISION

ANALYSE

Répartition : 6 sections

Lecture des nouveaux paramètres techniques

1

Génération du fichier des contreparties

2

3

Calcul de la matérialité des contreparties

Mise à jour du flag "FLAG_DEFAUT_R8"

4

5

Exclusion des contrats

Chargement dans la "Base Provisionnable"

6

EVOLUTION LS PROVISION

ANALYSE

Lecture des nouveaux paramètres techniques

1

• Séquence 'SEQ_EXTRACT_P1'
• Ajout d'un seul job
• Depuis la table "PARAM_TECHNIQUES"
• Paramètres:
• FLAG_ACTI_SEUIL_MAT
• SEUIL_MAT_PRC_CO
• SEUIL_MAT_MNT_CO
• SEUIL_MAT_PRC_RE
• SEUIL_MAT_MNT_RE
• FLAG_SEGM_INTEG
• FLAG_TVA_BRUT

EVOLUTION LS PROVISION

ANALYSE

Génération du fichier des contreparties

2

• Condition: FLAG_SEGM_INTEG = OUI
• Lecture du fichier des segmentations
• Type de segment est 'portefeuille'

(CDTYPSEGMENT='3')

• Catégorie de portefeuille est 'Retail' ou 'Corporate'

(CDISEGMENT = R ou C)

• Identification: Identifiant juridique + Numéro du tiers
• Création du fichier des contreparties

EVOLUTION LS PROVISION

ANALYSE

3

Calcul de la matérialité des contreparties

• 4 Seuils paramètrables par pays
• Pourcentage / Montant
• Retail / Corporate
• FLAG_ACTI_SEUIL_MAT ="Oui"

Materialite_Pourc_Calc = (Σ Montants Impayés / Σ Somme des assiettes)* 100

Materialite_Mnt_Calc = Σ Montants Impayés

[Sens de la ligne contrat = Débit]

Contrepartie

Tier

Tier

...

Contrat

Contrat

Contrat

Assiettes

Contrat

Contrat

Contrat

Contrepartie

Tier

Tier

EVOLUTION LS PROVISION

ANALYSE

4

Mise à jour du flag "FLAG_DEFAUT_R8"

• Un flag « FLAG_DEFAUT_R8 » est ajouté dans le fichier des contreparties

Si un contrat de la contrepartie est en défaut R8

Mettre le flag R8 à oui pour cette contrepartie

EVOLUTION LS PROVISION

ANALYSE

5

Exclusion des contrats

Mise en saine des contrats = Exclusion de la BP

FLAG_ACTI_SEUIL_MAT" = "OUI"

2 Règles :

Défaut comptable

• Contrat en défaut LT / SI / DC

1. Ajouter les contrats exclus dans le fichier "Contrats_exclus"

2. Supprimer les contrats exclus du fichier "Contrats_defaut"

Seuil de matérialité non atteint

• Contrat en défaut R4 / R5

• Seuil de matérialité inférieur au seuil paramètré.

EVOLUTION LS PROVISION

ANALYSE

6

Chargement dans la "Base Provisionnable"

Mise à jour de la base de données

DataStage

Base de données

Datasets

Table

Contreparties

CONTREPARTIE

CONTRAT_EXCLU

Contrats_Exclus

CONTRAT_DEFAUT

Contrats_Defaut

LS PROVISIONS - Processus géneral

CONTRAINTES TECHNIQUES

EVOLUTION LS PROVISION

Paramètrage des jobs

Application des normes BNPP

Optimisation des jobs

Annulation des "Warnings"

Documentation des jobs exigée

EVOLUTION LS PROVISION

METHODE DE CONCEPTION

Cycle en V

• Etapes du projet: une après autre
• Limiter les retours en arrière
• Pour chaque tâche de l’étape de conception de projet est lié un test de l’étape de validation
• Les tests de validation sont vérifiés après la réalisation

1

Déterminer les interventions

Déterminer les tests qui vont valider chaque étape

2

EVOLUTION LS PROVISION

Les modifications à apporter

MODIFICATION DE LA SEQUENCE SEQ_EXTRACTION_P

1

MODIFICATION DE LA SEQUENCE SEQ_TRA_CALCULS_P1

2

MODIFICATION DE LA SEQUENCE SEQ_TRA_CALCULS_P2

3

MODIFICATION DE LA SEQUENCE SEQ_CHARGEMENTS

4

EVOLUTION LS PROVISION

CHIFFRAGE

EVOLUTION LS PROVISION

PLANNIFICATION

TECHNOLOGIES UTILISEES

LS PROVISION

Citrix

FileZilla

Putty

Oracle BD

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_EXTRACTION_P1

1. Extraction des paramètres techniques

JxPRO_EXT_TBL_PARAMETRES_TECHNIQUE

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_EXTRACTION_P1

2. Extraction du fichier de segmentation

JxPRO_EXT_CONTREPARTIE_PF

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_EXTRACTION_P1

3. Modification de la séquence

SEQ_EXTRACTION_P1

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_TRA_CALCULS_P1

1. Ajout du calcul des seuils de matérialité

JxPRO_TRA_CALCULS_MAT_P1

JxPRO_TRA_CALCULS_MAT_P2

JxPRO_TRA_CALCULS_MAT_P3

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_TRA_CALCULS_P1

2. Séquence du calcul des seuils de matérialité

SEQ_TRA_CALCULS_SEUIL_MATERIALITE

3. Modification de la séquence

SEQ_TRA_CALCULS_P1

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_TRA_CALCULS_P2

1. Ajout du traitement des contrats exclus

JxPRO_TRA_DEF_LT_SI_DC

JxPRO_TRA_DEF_R8

JxPRO_UPDATE_CONTREPARTIE

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_TRA_CALCULS_P2

1. Ajout du traitement des contrats exclus

JxPRO_TRA_DEF_R4R5

JxPRO_TRA_DEF_CONS_CEF

JxPRO_CHG_CONTREEXCL_CEF

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_TRA_CALCULS_P2

2. Séquence du traitement des contrats exclus

SEQ_TRA_CALCULS_DEFAUT

3. Modification de la séquence

SEQ_TRA_CALCULS_P2

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_CHARGEMENTS

1. Modification du job JXPRO_CHG_CONTRAT_BP

JxPRO_CHG_CONTRAT_BP

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_CHARGEMENTS

2. Création du job de chargement des contreparties

JxPRO_CHG_CONTREPARTIE_ORA

TRAITEMENTS DEVELOPES

Evolution au niveau de la séquence: SEQ_CHARGEMENTS

3. Création du job de chargement des contrats exclus

JxPRO_CHG_CONTREEXCL_CEF

Synthèse

Créations de jobs

13

Créations de séquences des jobs

2

4

Modifications de séquences des jobs

Bilan PFE

- Complexité fonctionnelle du projet

+ Maitrise Datastage

- Problème d'accessibilité VM

+ Autonomie

- Manque de connaissances métier

+ Esprit d'équipe

- Manque d'information DataStage sur web

+ Analyse et correction des incidents

Merci de votre attention

Université Abdelmalek Essaâdi

Ecole Nationale des Sciences Appliquées

Al Hoceima

Filière : Génie informatique – Business Intelligence

Projet de Fin d’études

Mise en place d'une solution d'aide à la provision

Nora El Haouirich