Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

SVM for Credit Risk

No description
by

PABLO CAMPOS

on 24 November 2014

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of SVM for Credit Risk

Grupo de Innovación
Un poco de historia
1974:
Empieza el desarrollo de Statistical Learning Theory.
Theory of pattern recognition.
(Chervonenkis, Vapnik)

1979:
Primera aparición de una noción de SVM.
Estimation of Dependences Based on Empirical Data.
(Vapnik)

1992:
Aparición de SVM cerca de su formulación actual.
A Training Algorithm for Optimal Margin Classifiers.
(Boser, Guyon, Vapnik)

1995:
Aparición de la formulación soft-margin de SVM.
Support-vector networks.
(Cortes, Vapnik).

1998:
Desarrollo de un algoritmo alternativo a QP para resolver el problema de optimización de SVM.
Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines
(Platt).

1999:
Extensión a probabilidades.
Probabilistic outputs for support vector machines and comparison to regularized likelihood methods
(Platt).





Kernel Alignment
Support Vector Machines
para Riesgo de Crédito

Selección del modelo
Grid Search
Grid Search
Cross Validation
Clases No Balanceo
En ocasiones, las proporciones de la información son muy desiguales.
Por ejemplo: carteras de clientes con tasa de incumplimiento del 2%
Resampling
Resampling

KERNEL

METHODS
Support
Vector Machines
Gaussian
Processes
Kernel
Principal Components Analysis
Spectral
Clustering
Kernel
Adaptive
Filtering
Dada una muestra
y el producto interno
el alignment es:
k muestras
AUC Test
Bootstrapping
Radial Basis Function Kernel
Estimar la distribución muestral de un estimador
Derivar estimadores robustos de los errores estándares
Intervalos de confianza para parámetros poblacionales como: media, mediana correlaciones o coeficientes de regresiones
KERNELS
Polynomial
Gaussian
Radial

Hyperbolic
Tangent
Bessel
String Kernel

En particular, nos interesa analizar el GINI
Platt's Method
En algunos casos nos interesa, además de la clasificación, el nivel de creencia de pertenecer a esa clase.
Parece que se distribuyen exponencial cuando está del lado equivocado del margen
Usando Bayes:
donde los parámetros y se encuentran al minimizar el negativo de la log verosimilitud
donde
Ejemplo:
Palabras: "cat", "car", "bat", "bar".

Si
k=2
, se tiene un feature space 8-dimensional.


Caso Linealmente Separable
La distancia entre un punto y el hiperplano separador es de la forma:

La solución a este problema se encuentra resolviendo:
Equivalentemente:
Caso Linealmente No Separable
La solución se encuentra relajando las restricciones a través de variables de holgura no negativas:
Restricciones:
SVM: Caso no Lineal
Los clasificadores lineales pueden no ser adecuados
En el marco de las SVM, se introducen los "Features Spaces" vía los "Feature Maps"
genera separadores con forma de cónicas (círculos, elipses, parábolas, hipérbolas)
La dimensión del "Feature Space" puede ser muy grande, inclusive infinita pero el problema de optimización admite una escritura análoga a la del problema lineal
Formulación dual:
Con función de decisión:
donde introducimos el Kernel
Vemos de esta forma que el problema depende del "Feature Map" a través del
Kernel
Idea:
Encontrar un (hiper)plano separador
que maximice la distancia al punto más cercano de alguna de las clases.
Esto tiene implicaciones importantes:
Desde el punto de vista computacional, el reto es idéntico al problema lineal
Desde el punto de vista teórico, las consecuencias son mayores:
Definición:
LLamamos
Kernel
a toda función
Simétrica, semidefinida positiva y continua
Teorema
(Mercer 1909): Dado un Kernel, existe un "Feature Map" y un "Feature Space" que lo realiza
SVM: Kernel Polinomial
Formulación Primal
Formulación Dual
¡Problema de QP!
Por ejemplo, el siguiente mapeo polinomial
Es decir,
tal que
Omar Díaz Landa
Pablo Campos Viana
Ramón Jiménez Esparza
Alejandro Gallardo Garduño
Full transcript