In [ ]:
# Ciljna promenljiva
y = df["Outcome"]
# Prediktori
X = df.drop(columns=["Outcome"])
# Podela na trening i test skup
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)
# Važno je napomenuti da postoje i opštije ansambl metode zasnovane na prostoj agregaciji
# kod kojih se može birati bazni model pomoću odgovarajućeg parametra, ali se kod slučajnih šuma
# bazni modeli unapred uzimaju kao stabla odlučivanja.
# Formiranje Random Forest modela
model = RandomForestClassifier(
n_estimators=200, # broj stabala
max_depth=None, # maksimalna dubina stabala
max_features="sqrt", # broj atributa koji se razmatra pri svakoj podeli
bootstrap=True, # za svako stablo koristi se bootstrap uzorak
random_state=42,
n_jobs=-1 # hocemo da koristimo sva jezgra procesora
)
# Obučavanje modela
model.fit(X_train, y_train)
# Predikcija na test skupu
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1]
# Evaluacija modela
print("Confusion matrix:")
print(confusion_matrix(y_test, y_pred))
acc = accuracy_score(y_test, y_pred)
auc = roc_auc_score(y_test, y_prob)
print(f"Accuracy = {acc:.4f}")
print(f"ROC AUC = {auc:.4f}")
# Važnost atributa
importances = pd.Series(model.feature_importances_, index=X.columns).sort_values(ascending=False)
print("\nFeature importance:")
for naziv, vrednost in importances.items():
print(f"{naziv:25s} {vrednost:.6f}")
plt.barh(list(X.columns), model.feature_importances_)
plt.show()
Confusion matrix: [[83 17] [22 32]] Accuracy = 0.7468 ROC AUC = 0.8133 Feature importance: Glucose 0.266073 BMI 0.161420 Age 0.130861 DiabetesPedigreeFunction 0.127089 BloodPressure 0.086335 Pregnancies 0.084277 Insulin 0.073752 SkinThickness 0.070194
