Verbesserung der SVM-Klassifikation von Diabetes

Ich benutze SVM, um Diabetes vorherzusagen. Ich verwende den BRFSS- Datensatz für diesen Zweck. Der Datensatz hat die Abmessungen und ist verzerrt. Der Prozentsatz von s in der Zielvariablen beträgt während die s die verbleibenden .11 % 89 $432607 \times 136$Y$11\%$N$89\%$

Ich verwende nur 15aus 136unabhängigen Variablen aus dem Datensatz. Einer der Gründe für die Reduzierung des Datensatzes bestand darin, mehr Trainingsmuster zu haben, wenn Zeilen mit NAs weggelassen wurden.

Diese 15Variablen wurden ausgewählt, nachdem statistische Methoden wie Zufallsbäume, logistische Regression ausgeführt und herausgefunden wurden, welche Variablen aus den resultierenden Modellen signifikant sind. Nach dem Ausführen der logistischen Regression haben wir beispielsweise p-valuedie wichtigsten Variablen sortiert.

Ist meine Methode zur Variablenauswahl korrekt? Anregungen zu ist sehr willkommen.

Das Folgende ist meine RImplementierung.

library(e1071) # Support Vector Machines

#--------------------------------------------------------------------
# read brfss file (huge 135 MB file)
#--------------------------------------------------------------------
y <- read.csv("http://www.hofroe.net/stat579/brfss%2009/brfss-2009-clean.csv")
indicator <- c("DIABETE2", "GENHLTH", "PERSDOC2", "SEX", "FLUSHOT3", "PNEUVAC3", 
    "X_RFHYPE5", "X_RFCHOL", "RACE2", "X_SMOKER3", "X_AGE_G", "X_BMI4CAT", 
    "X_INCOMG", "X_RFDRHV3", "X_RFDRHV3", "X_STATE");
target <- "DIABETE2";
diabetes <- y[, indicator];

#--------------------------------------------------------------------
# recode DIABETE2
#--------------------------------------------------------------------
x <- diabetes$DIABETE2;
x[x > 1]  <- 'N';
x[x != 'N']  <- 'Y';
diabetes$DIABETE2 <- x; 
rm(x);

#--------------------------------------------------------------------
# remove NA
#--------------------------------------------------------------------
x <- na.omit(diabetes);
diabetes <- x;
rm(x);

#--------------------------------------------------------------------
# reproducible research 
#--------------------------------------------------------------------
set.seed(1612);
nsamples <- 1000; 
sample.diabetes <- diabetes[sample(nrow(diabetes), nsamples), ]; 

#--------------------------------------------------------------------
# split the dataset into training and test
#--------------------------------------------------------------------
ratio <- 0.7;
train.samples <- ratio*nsamples;
train.rows <- c(sample(nrow(sample.diabetes), trunc(train.samples)));

train.set  <- sample.diabetes[train.rows, ];
test.set   <- sample.diabetes[-train.rows, ];

train.result <- train.set[ , which(names(train.set) == target)];
test.result  <- test.set[ , which(names(test.set) == target)];

#--------------------------------------------------------------------
# SVM 
#--------------------------------------------------------------------
formula <- as.formula(factor(DIABETE2) ~ . );
svm.tune <- tune.svm(formula, data = train.set, 
    gamma = 10^(-3:0), cost = 10^(-1:1));
svm.model <- svm(formula, data = train.set, 
    kernel = "linear", 
    gamma = svm.tune$best.parameters$gamma, 
    cost  = svm.tune$best.parameters$cost);

#--------------------------------------------------------------------
# Confusion matrix
#--------------------------------------------------------------------
train.pred <- predict(svm.model, train.set);
test.pred  <- predict(svm.model, test.set);
svm.table <- table(pred = test.pred, true = test.result);
print(svm.table);

Ich lief mit (Training = und Test = ) Proben, da es in meinem Laptop schneller ist. Die Verwirrungsmatrix für die Testdaten ( Proben), die ich bekomme, ist ziemlich schlecht.700 300 $1000$$700$$300$$300$

    true
pred   N   Y
   N 262  38
   Y   0   0

Ich muss meine Vorhersage für die YKlasse verbessern . Tatsächlich muss ich so genau wie möglich sein, Yauch wenn ich schlecht abschneide N. Vorschläge zur Verbesserung der Genauigkeit der Klassifizierung sind sehr willkommen.

Ich habe 4 Vorschläge:

1. Wie wählen Sie die Variablen aus, die in Ihr Modell aufgenommen werden sollen? Möglicherweise fehlen Ihnen einige der Schlüsselindikatoren aus dem größeren Datensatz.
2. Fast alle von Ihnen verwendeten Indikatoren (wie Geschlecht, Raucher usw.) sollten als Faktoren behandelt werden. Die Behandlung dieser Variablen als numerisch ist falsch und trägt wahrscheinlich zum Fehler in Ihrem Modell bei.
3. Warum verwenden Sie eine SVM? Haben Sie einfachere Methoden wie die lineare Diskriminanzanalyse oder sogar die lineare Regression ausprobiert? Möglicherweise führt ein einfacher Ansatz für einen größeren Datensatz zu einem besseren Ergebnis.
4. Probieren Sie das Caret- Paket. Es hilft Ihnen bei der Kreuzvalidierung der Modellgenauigkeit, ist parallelisiert, sodass Sie schneller arbeiten können, und erleichtert die Untersuchung verschiedener Modelltypen.

Hier ist ein Beispielcode für Caret:

library(caret)

#Parallize
library(doSMP)
w <- startWorkers()
registerDoSMP(w)

#Build model
X <- train.set[,-1]
Y <- factor(train.set[,1],levels=c('N','Y'))
model <- train(X,Y,method='lda')

#Evaluate model on test set
print(model)
predY <- predict(model,test.set[,-1])
confusionMatrix(predY,test.set[,1])
stopWorkers(w)

Dieses LDA-Modell schlägt Ihre SVM, und ich habe Ihre Faktoren nicht einmal behoben. Ich bin sicher, wenn Sie Sex, Raucher usw. als Faktoren umkodieren, werden Sie bessere Ergebnisse erzielen.

Wenn Sie einen linearen Kernel verwenden, ist die Auswahl von Features möglicherweise eine schlechte Idee, und durch die Regularisierung kann eine Überanpassung effektiver verhindert werden als durch die Auswahl von Features. Beachten Sie, dass die Leistungsgrenzen, die die SVM ungefähr implementiert, unabhängig von der Dimension des Feature-Space sind, der eines der Verkaufsargumente der SVM war.

Ich hatte dieses Problem vor kurzem und fand ein paar Dinge, die helfen. Probieren Sie zunächst ein Naive Bayes-Modell (Paket klaR) aus, das manchmal bessere Ergebnisse liefert, wenn die Minderheitsklasse in einem Klassifizierungsproblem winzig ist. Wenn Sie sich für eine SVM entscheiden, möchten Sie möglicherweise versuchen, die Minderheitsklasse zu überabtasten. Im Wesentlichen möchten Sie weitere Beispiele für die Minderheitsklasse einfügen oder Fälle für die Minderheitsklasse synthetisch erstellen

Dieses Papier: http: //www.it.iitb.ac.in/~kamlesh/Page/Reports/highlySkewed.pdf

Hat einige Diskussionen und Beispiele dieser Techniken in Weka implementiert, aber es ist auch möglich, sie selbst in R zu implementieren.

Zusätzlich zu dem, was bereits erwähnt wurde, korrigieren Sie Ihr bestes Modell für die Verwendung eines linearen Kernels. Sie sollten vorhersagen, dass Sie das beste Modell verwenden, das optimiert wurde, einschließlich des gleichen Kernels, der in Ihrer Optimierungsphase verwendet / gefunden wurde (von dem ich annehme, dass es RBF ist, da Sie Gamma optimieren).