Machine Learning/Statistical Learning
Rina Deka 2023-07-20
The Most Interesting Statistical Learning Method I’ve Learned
By far, I would say that the most interesting statistical learning method that we’ve covered so far would be decision trees. This method can be used to regression or classification. Bagging (bootstrap aggregation) is a similar method in that we ensemble a bunch of tree models, except with boosting we grow the trees sequentially. Also, each of the trees are grown by using information from previously grown trees! That means that in this method, the model learns slowly.
Boosted Tree Example
Here’s an example of a boosted tree model’s implementation. I’ll use the iris data set.
library(datasets)
data(iris)
summary(iris)
## Sepal.Length Sepal.Width Petal.Length Petal.Width Species
## Min. :4.300 Min. :2.000 Min. :1.000 Min. :0.100 setosa :50
## 1st Qu.:5.100 1st Qu.:2.800 1st Qu.:1.600 1st Qu.:0.300 versicolor:50
## Median :5.800 Median :3.000 Median :4.350 Median :1.300 virginica :50
## Mean :5.843 Mean :3.057 Mean :3.758 Mean :1.199
## 3rd Qu.:6.400 3rd Qu.:3.300 3rd Qu.:5.100 3rd Qu.:1.800
## Max. :7.900 Max. :4.400 Max. :6.900 Max. :2.500
library(gbm)
## Warning: package 'gbm' was built under R version 4.2.3
## Loaded gbm 2.1.8.1
library(rpart)
library(caret)
## Warning: package 'caret' was built under R version 4.2.3
## Loading required package: ggplot2
## Warning: package 'ggplot2' was built under R version 4.2.3
## Loading required package: lattice
library(tidyverse)
## Warning: package 'tidyverse' was built under R version 4.2.3
## Warning: package 'tibble' was built under R version 4.2.3
## Warning: package 'tidyr' was built under R version 4.2.3
## Warning: package 'readr' was built under R version 4.2.3
## Warning: package 'dplyr' was built under R version 4.2.3
## ── Attaching core tidyverse packages ───────────────────────────────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr 1.1.2 ✔ readr 2.1.4
## ✔ forcats 1.0.0 ✔ stringr 1.5.0
## ✔ lubridate 1.9.2 ✔ tibble 3.2.1
## ✔ purrr 1.0.1 ✔ tidyr 1.3.0
## ── Conflicts ─────────────────────────────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ✖ purrr::lift() masks caret::lift()
## ℹ Use the ]8;;http://conflicted.r-lib.org/conflicted package]8;; to force all conflicts to become errors
Above are some useful packages. Now, let’s try to implement! First, let’s split the data into a training and testing set with an 80/20 split.
set.seed(123)
trainIndex <- createDataPartition(y = iris$Species, p= 0.8, list = FALSE)
training <- iris[trainIndex,]
testing <- iris[-trainIndex,]
Let’s center and scale the data.
preprocess <- preProcess(training, method = c("center", "scale"))
TrainPreprocessed <- predict(preprocess, training)
TestPreprocessed <- predict(preprocess, testing)
control <- trainControl(method = "repeatedcv", number = 10, repeats = 3)
tuningGrid <- expand.grid(n.trees = c(25, 50, 100, 150, 200),
interaction.depth = 1:4,
shrinkage = 0.1,
n.minobsinnode = 10)
boosted_tree_model <- train(Species ~ ., data =TrainPreprocessed, method = "gbm",
trControl = control, tuneGrid = tuningGrid)
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2767
## 2 0.9067 nan 0.1000 0.2092
## 3 0.7617 nan 0.1000 0.1741
## 4 0.6450 nan 0.1000 0.1309
## 5 0.5481 nan 0.1000 0.0969
## 6 0.4792 nan 0.1000 0.0907
## 7 0.4140 nan 0.1000 0.0669
## 8 0.3606 nan 0.1000 0.0564
## 9 0.3206 nan 0.1000 0.0478
## 10 0.2811 nan 0.1000 0.0317
## 20 0.1230 nan 0.1000 -0.0008
## 40 0.0493 nan 0.1000 -0.0012
## 60 0.0285 nan 0.1000 -0.0011
## 80 0.0115 nan 0.1000 -0.0021
## 100 0.0075 nan 0.1000 -0.0005
## 120 0.0055 nan 0.1000 -0.0016
## 140 0.0043 nan 0.1000 -0.0009
## 160 0.0030 nan 0.1000 -0.0012
## 180 0.0027 nan 0.1000 -0.0006
## 200 0.0022 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3919
## 2 0.8502 nan 0.1000 0.2718
## 3 0.6759 nan 0.1000 0.1976
## 4 0.5475 nan 0.1000 0.1458
## 5 0.4484 nan 0.1000 0.0742
## 6 0.3891 nan 0.1000 0.0907
## 7 0.3261 nan 0.1000 0.0727
## 8 0.2768 nan 0.1000 0.0371
## 9 0.2454 nan 0.1000 0.0370
## 10 0.2134 nan 0.1000 0.0355
## 20 0.0894 nan 0.1000 -0.0051
## 40 0.0282 nan 0.1000 -0.0027
## 60 0.0175 nan 0.1000 -0.0017
## 80 0.0074 nan 0.1000 -0.0009
## 100 0.0081 nan 0.1000 -0.0021
## 120 0.0050 nan 0.1000 -0.0019
## 140 0.0031 nan 0.1000 -0.0005
## 160 0.0012 nan 0.1000 -0.0002
## 180 0.0005 nan 0.1000 -0.0002
## 200 0.0004 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2746
## 2 0.8947 nan 0.1000 0.2100
## 3 0.7450 nan 0.1000 0.2240
## 4 0.6012 nan 0.1000 0.1639
## 5 0.4878 nan 0.1000 0.1143
## 6 0.4035 nan 0.1000 0.0939
## 7 0.3414 nan 0.1000 0.0800
## 8 0.2852 nan 0.1000 0.0478
## 9 0.2415 nan 0.1000 0.0411
## 10 0.2054 nan 0.1000 0.0304
## 20 0.0679 nan 0.1000 -0.0030
## 40 0.0251 nan 0.1000 -0.0061
## 60 0.0186 nan 0.1000 -0.0026
## 80 0.0143 nan 0.1000 -0.0045
## 100 0.0081 nan 0.1000 0.0009
## 120 0.0034 nan 0.1000 -0.0001
## 140 0.0024 nan 0.1000 -0.0003
## 160 0.0009 nan 0.1000 -0.0003
## 180 0.0005 nan 0.1000 -0.0001
## 200 0.0004 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3845
## 2 0.8388 nan 0.1000 0.2208
## 3 0.6914 nan 0.1000 0.1921
## 4 0.5652 nan 0.1000 0.1000
## 5 0.4831 nan 0.1000 0.1200
## 6 0.4000 nan 0.1000 0.0877
## 7 0.3342 nan 0.1000 0.0642
## 8 0.2850 nan 0.1000 0.0502
## 9 0.2430 nan 0.1000 0.0450
## 10 0.2064 nan 0.1000 0.0208
## 20 0.0761 nan 0.1000 -0.0034
## 40 0.0268 nan 0.1000 -0.0072
## 60 0.0185 nan 0.1000 -0.0024
## 80 0.0080 nan 0.1000 -0.0017
## 100 0.0053 nan 0.1000 -0.0014
## 120 0.0023 nan 0.1000 -0.0004
## 140 0.0029 nan 0.1000 -0.0009
## 160 0.0013 nan 0.1000 -0.0002
## 180 0.0008 nan 0.1000 -0.0001
## 200 0.0006 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2829
## 2 0.9118 nan 0.1000 0.2053
## 3 0.7680 nan 0.1000 0.1590
## 4 0.6564 nan 0.1000 0.1098
## 5 0.5667 nan 0.1000 0.1001
## 6 0.4980 nan 0.1000 0.0934
## 7 0.4339 nan 0.1000 0.0790
## 8 0.3806 nan 0.1000 0.0622
## 9 0.3348 nan 0.1000 0.0490
## 10 0.2977 nan 0.1000 0.0446
## 20 0.1173 nan 0.1000 0.0020
## 40 0.0481 nan 0.1000 -0.0031
## 60 0.0334 nan 0.1000 0.0035
## 80 0.0199 nan 0.1000 -0.0001
## 100 0.0118 nan 0.1000 -0.0008
## 120 0.0066 nan 0.1000 -0.0012
## 140 0.0044 nan 0.1000 -0.0007
## 160 0.0028 nan 0.1000 -0.0001
## 180 0.0022 nan 0.1000 -0.0003
## 200 0.0017 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3163
## 2 0.8717 nan 0.1000 0.2243
## 3 0.7194 nan 0.1000 0.2188
## 4 0.5770 nan 0.1000 0.1549
## 5 0.4765 nan 0.1000 0.1151
## 6 0.3954 nan 0.1000 0.0645
## 7 0.3448 nan 0.1000 0.0686
## 8 0.2916 nan 0.1000 0.0625
## 9 0.2494 nan 0.1000 0.0525
## 10 0.2119 nan 0.1000 0.0362
## 20 0.0748 nan 0.1000 -0.0042
## 40 0.0264 nan 0.1000 -0.0043
## 60 0.0113 nan 0.1000 -0.0015
## 80 0.0056 nan 0.1000 -0.0010
## 100 0.0027 nan 0.1000 0.0001
## 120 0.0023 nan 0.1000 -0.0002
## 140 0.0010 nan 0.1000 -0.0000
## 160 0.0007 nan 0.1000 -0.0002
## 180 0.0004 nan 0.1000 -0.0002
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3431
## 2 0.8672 nan 0.1000 0.2703
## 3 0.6831 nan 0.1000 0.1582
## 4 0.5621 nan 0.1000 0.1451
## 5 0.4681 nan 0.1000 0.1159
## 6 0.3902 nan 0.1000 0.0969
## 7 0.3253 nan 0.1000 0.0661
## 8 0.2751 nan 0.1000 0.0548
## 9 0.2351 nan 0.1000 0.0402
## 10 0.2004 nan 0.1000 0.0311
## 20 0.0692 nan 0.1000 -0.0114
## 40 0.0220 nan 0.1000 -0.0003
## 60 0.0078 nan 0.1000 -0.0014
## 80 0.0046 nan 0.1000 -0.0005
## 100 0.0018 nan 0.1000 -0.0002
## 120 0.0024 nan 0.1000 -0.0008
## 140 0.0011 nan 0.1000 -0.0001
## 160 0.0008 nan 0.1000 -0.0000
## 180 0.0006 nan 0.1000 -0.0001
## 200 0.0004 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2825
## 2 0.8938 nan 0.1000 0.2405
## 3 0.7108 nan 0.1000 0.2094
## 4 0.5706 nan 0.1000 0.1575
## 5 0.4648 nan 0.1000 0.0983
## 6 0.3871 nan 0.1000 0.0897
## 7 0.3221 nan 0.1000 0.0678
## 8 0.2719 nan 0.1000 0.0448
## 9 0.2337 nan 0.1000 0.0449
## 10 0.1952 nan 0.1000 0.0365
## 20 0.0721 nan 0.1000 0.0005
## 40 0.0261 nan 0.1000 -0.0035
## 60 0.0089 nan 0.1000 -0.0012
## 80 0.0047 nan 0.1000 -0.0009
## 100 0.0034 nan 0.1000 -0.0005
## 120 0.0025 nan 0.1000 -0.0012
## 140 0.0023 nan 0.1000 -0.0001
## 160 0.0013 nan 0.1000 -0.0005
## 180 0.0009 nan 0.1000 -0.0004
## 200 0.0005 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2684
## 2 0.9029 nan 0.1000 0.2114
## 3 0.7565 nan 0.1000 0.1575
## 4 0.6397 nan 0.1000 0.1210
## 5 0.5561 nan 0.1000 0.1034
## 6 0.4766 nan 0.1000 0.0768
## 7 0.4178 nan 0.1000 0.0620
## 8 0.3701 nan 0.1000 0.0413
## 9 0.3310 nan 0.1000 0.0460
## 10 0.2931 nan 0.1000 0.0384
## 20 0.1220 nan 0.1000 -0.0072
## 40 0.0462 nan 0.1000 -0.0026
## 60 0.0279 nan 0.1000 -0.0011
## 80 0.0186 nan 0.1000 -0.0018
## 100 0.0134 nan 0.1000 -0.0014
## 120 0.0106 nan 0.1000 -0.0005
## 140 0.0080 nan 0.1000 0.0002
## 160 0.0047 nan 0.1000 -0.0005
## 180 0.0035 nan 0.1000 0.0000
## 200 0.0026 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3311
## 2 0.8760 nan 0.1000 0.2810
## 3 0.7012 nan 0.1000 0.1955
## 4 0.5699 nan 0.1000 0.1501
## 5 0.4693 nan 0.1000 0.1099
## 6 0.3874 nan 0.1000 0.0830
## 7 0.3269 nan 0.1000 0.0668
## 8 0.2780 nan 0.1000 0.0590
## 9 0.2382 nan 0.1000 0.0420
## 10 0.2066 nan 0.1000 0.0316
## 20 0.0756 nan 0.1000 0.0065
## 40 0.0319 nan 0.1000 -0.0015
## 60 0.0178 nan 0.1000 -0.0040
## 80 0.0119 nan 0.1000 -0.0029
## 100 0.0076 nan 0.1000 -0.0031
## 120 0.0037 nan 0.1000 -0.0010
## 140 0.0027 nan 0.1000 -0.0002
## 160 0.0016 nan 0.1000 -0.0001
## 180 0.0008 nan 0.1000 -0.0004
## 200 0.0006 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4000
## 2 0.8483 nan 0.1000 0.2658
## 3 0.6727 nan 0.1000 0.1896
## 4 0.5431 nan 0.1000 0.1450
## 5 0.4455 nan 0.1000 0.1143
## 6 0.3678 nan 0.1000 0.0711
## 7 0.3162 nan 0.1000 0.0646
## 8 0.2687 nan 0.1000 0.0495
## 9 0.2306 nan 0.1000 0.0398
## 10 0.2001 nan 0.1000 0.0244
## 20 0.0701 nan 0.1000 -0.0050
## 40 0.0238 nan 0.1000 -0.0044
## 60 0.0110 nan 0.1000 -0.0029
## 80 0.0060 nan 0.1000 -0.0011
## 100 0.0026 nan 0.1000 -0.0004
## 120 0.0013 nan 0.1000 -0.0003
## 140 0.0008 nan 0.1000 -0.0002
## 160 0.0004 nan 0.1000 -0.0001
## 180 0.0004 nan 0.1000 -0.0002
## 200 0.0003 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2933
## 2 0.8770 nan 0.1000 0.2108
## 3 0.7311 nan 0.1000 0.1920
## 4 0.5964 nan 0.1000 0.1058
## 5 0.5039 nan 0.1000 0.1432
## 6 0.4150 nan 0.1000 0.0995
## 7 0.3485 nan 0.1000 0.0854
## 8 0.2953 nan 0.1000 0.0657
## 9 0.2512 nan 0.1000 0.0482
## 10 0.2155 nan 0.1000 0.0338
## 20 0.0828 nan 0.1000 -0.0058
## 40 0.0285 nan 0.1000 -0.0053
## 60 0.0132 nan 0.1000 -0.0007
## 80 0.0082 nan 0.1000 -0.0007
## 100 0.0041 nan 0.1000 0.0003
## 120 0.0024 nan 0.1000 -0.0009
## 140 0.0012 nan 0.1000 -0.0002
## 160 0.0009 nan 0.1000 -0.0002
## 180 0.0007 nan 0.1000 -0.0001
## 200 0.0006 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2913
## 2 0.8982 nan 0.1000 0.2183
## 3 0.7485 nan 0.1000 0.1741
## 4 0.6339 nan 0.1000 0.1261
## 5 0.5463 nan 0.1000 0.1168
## 6 0.4666 nan 0.1000 0.0933
## 7 0.4046 nan 0.1000 0.0784
## 8 0.3505 nan 0.1000 0.0629
## 9 0.3049 nan 0.1000 0.0539
## 10 0.2663 nan 0.1000 0.0469
## 20 0.0939 nan 0.1000 0.0072
## 40 0.0317 nan 0.1000 -0.0047
## 60 0.0152 nan 0.1000 -0.0045
## 80 0.0102 nan 0.1000 -0.0016
## 100 0.0072 nan 0.1000 -0.0008
## 120 0.0051 nan 0.1000 -0.0020
## 140 0.0038 nan 0.1000 -0.0012
## 160 0.0026 nan 0.1000 -0.0007
## 180 0.0012 nan 0.1000 -0.0002
## 200 0.0011 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3390
## 2 0.8582 nan 0.1000 0.2987
## 3 0.6754 nan 0.1000 0.2012
## 4 0.5452 nan 0.1000 0.1404
## 5 0.4467 nan 0.1000 0.1286
## 6 0.3634 nan 0.1000 0.0929
## 7 0.2970 nan 0.1000 0.0779
## 8 0.2458 nan 0.1000 0.0566
## 9 0.2077 nan 0.1000 0.0461
## 10 0.1773 nan 0.1000 0.0320
## 20 0.0499 nan 0.1000 0.0050
## 40 0.0154 nan 0.1000 -0.0022
## 60 0.0123 nan 0.1000 -0.0052
## 80 0.0050 nan 0.1000 -0.0016
## 100 0.0019 nan 0.1000 -0.0004
## 120 0.0015 nan 0.1000 -0.0000
## 140 0.0018 nan 0.1000 -0.0000
## 160 0.0021 nan 0.1000 -0.0000
## 180 0.0013 nan 0.1000 -0.0006
## 200 0.0025 nan 0.1000 0.0011
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4131
## 2 0.8304 nan 0.1000 0.2580
## 3 0.6521 nan 0.1000 0.1442
## 4 0.5417 nan 0.1000 0.1537
## 5 0.4425 nan 0.1000 0.1062
## 6 0.3689 nan 0.1000 0.0827
## 7 0.3077 nan 0.1000 0.0800
## 8 0.2543 nan 0.1000 0.0600
## 9 0.2112 nan 0.1000 0.0381
## 10 0.1827 nan 0.1000 0.0355
## 20 0.0594 nan 0.1000 -0.0222
## 40 0.0257 nan 0.1000 -0.0055
## 60 0.0106 nan 0.1000 0.0020
## 80 0.0050 nan 0.1000 -0.0014
## 100 0.0047 nan 0.1000 -0.0024
## 120 0.0020 nan 0.1000 -0.0000
## 140 0.0012 nan 0.1000 -0.0000
## 160 0.0006 nan 0.1000 0.0000
## 180 0.0003 nan 0.1000 -0.0002
## 200 0.0008 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3847
## 2 0.8388 nan 0.1000 0.2958
## 3 0.6590 nan 0.1000 0.1939
## 4 0.5330 nan 0.1000 0.1552
## 5 0.4301 nan 0.1000 0.1189
## 6 0.3508 nan 0.1000 0.0850
## 7 0.2888 nan 0.1000 0.0719
## 8 0.2410 nan 0.1000 0.0531
## 9 0.2034 nan 0.1000 0.0362
## 10 0.1729 nan 0.1000 0.0350
## 20 0.0465 nan 0.1000 0.0010
## 40 0.0126 nan 0.1000 -0.0026
## 60 0.0085 nan 0.1000 -0.0018
## 80 0.0028 nan 0.1000 -0.0004
## 100 0.0010 nan 0.1000 -0.0001
## 120 0.0009 nan 0.1000 -0.0000
## 140 0.0004 nan 0.1000 -0.0001
## 160 0.0002 nan 0.1000 -0.0001
## 180 0.0003 nan 0.1000 -0.0002
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2905
## 2 0.8986 nan 0.1000 0.2011
## 3 0.7540 nan 0.1000 0.1665
## 4 0.6414 nan 0.1000 0.1227
## 5 0.5485 nan 0.1000 0.1166
## 6 0.4685 nan 0.1000 0.0932
## 7 0.4065 nan 0.1000 0.0728
## 8 0.3552 nan 0.1000 0.0582
## 9 0.3117 nan 0.1000 0.0471
## 10 0.2745 nan 0.1000 0.0497
## 20 0.1020 nan 0.1000 0.0085
## 40 0.0327 nan 0.1000 0.0001
## 60 0.0164 nan 0.1000 -0.0037
## 80 0.0073 nan 0.1000 0.0002
## 100 0.0046 nan 0.1000 -0.0007
## 120 0.0025 nan 0.1000 0.0001
## 140 0.0020 nan 0.1000 -0.0005
## 160 0.0012 nan 0.1000 -0.0000
## 180 0.0008 nan 0.1000 -0.0003
## 200 0.0008 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3843
## 2 0.8515 nan 0.1000 0.1923
## 3 0.7033 nan 0.1000 0.2117
## 4 0.5633 nan 0.1000 0.1610
## 5 0.4538 nan 0.1000 0.1167
## 6 0.3726 nan 0.1000 0.0885
## 7 0.3144 nan 0.1000 0.0686
## 8 0.2647 nan 0.1000 0.0529
## 9 0.2264 nan 0.1000 0.0273
## 10 0.1972 nan 0.1000 0.0379
## 20 0.0649 nan 0.1000 -0.0020
## 40 0.0176 nan 0.1000 -0.0026
## 60 0.0120 nan 0.1000 -0.0013
## 80 0.0093 nan 0.1000 -0.0002
## 100 0.0041 nan 0.1000 -0.0010
## 120 0.0022 nan 0.1000 -0.0008
## 140 0.0020 nan 0.1000 -0.0001
## 160 0.0030 nan 0.1000 -0.0011
## 180 0.0012 nan 0.1000 -0.0006
## 200 0.0006 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3141
## 2 0.8780 nan 0.1000 0.2386
## 3 0.7099 nan 0.1000 0.2164
## 4 0.5673 nan 0.1000 0.1383
## 5 0.4732 nan 0.1000 0.1289
## 6 0.3894 nan 0.1000 0.1029
## 7 0.3257 nan 0.1000 0.0674
## 8 0.2740 nan 0.1000 0.0600
## 9 0.2328 nan 0.1000 0.0498
## 10 0.1958 nan 0.1000 0.0340
## 20 0.0646 nan 0.1000 0.0069
## 40 0.0164 nan 0.1000 -0.0037
## 60 0.0090 nan 0.1000 -0.0032
## 80 0.0046 nan 0.1000 -0.0005
## 100 0.0058 nan 0.1000 -0.0002
## 120 0.0033 nan 0.1000 -0.0014
## 140 0.0014 nan 0.1000 -0.0004
## 160 0.0008 nan 0.1000 -0.0003
## 180 0.0003 nan 0.1000 0.0000
## 200 0.0002 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3771
## 2 0.8388 nan 0.1000 0.2835
## 3 0.6582 nan 0.1000 0.1797
## 4 0.5302 nan 0.1000 0.1442
## 5 0.4347 nan 0.1000 0.1094
## 6 0.3568 nan 0.1000 0.0926
## 7 0.2954 nan 0.1000 0.0653
## 8 0.2519 nan 0.1000 0.0463
## 9 0.2168 nan 0.1000 0.0391
## 10 0.1841 nan 0.1000 0.0354
## 20 0.0553 nan 0.1000 -0.0076
## 40 0.0174 nan 0.1000 -0.0046
## 60 0.0061 nan 0.1000 -0.0010
## 80 0.0034 nan 0.1000 -0.0003
## 100 0.0021 nan 0.1000 -0.0003
## 120 0.0007 nan 0.1000 -0.0001
## 140 0.0004 nan 0.1000 -0.0000
## 160 0.0002 nan 0.1000 -0.0000
## 180 0.0001 nan 0.1000 -0.0000
## 200 0.0000 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2737
## 2 0.9062 nan 0.1000 0.2033
## 3 0.7595 nan 0.1000 0.1602
## 4 0.6469 nan 0.1000 0.1195
## 5 0.5568 nan 0.1000 0.0968
## 6 0.4830 nan 0.1000 0.0878
## 7 0.4207 nan 0.1000 0.0707
## 8 0.3637 nan 0.1000 0.0488
## 9 0.3242 nan 0.1000 0.0494
## 10 0.2893 nan 0.1000 0.0315
## 20 0.1247 nan 0.1000 0.0066
## 40 0.0466 nan 0.1000 0.0000
## 60 0.0236 nan 0.1000 0.0008
## 80 0.0133 nan 0.1000 -0.0036
## 100 0.0094 nan 0.1000 -0.0003
## 120 0.0066 nan 0.1000 -0.0005
## 140 0.0037 nan 0.1000 -0.0003
## 160 0.0028 nan 0.1000 -0.0003
## 180 0.0022 nan 0.1000 -0.0002
## 200 0.0018 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3868
## 2 0.8615 nan 0.1000 0.2464
## 3 0.6955 nan 0.1000 0.1705
## 4 0.5804 nan 0.1000 0.1532
## 5 0.4781 nan 0.1000 0.1249
## 6 0.3959 nan 0.1000 0.0953
## 7 0.3323 nan 0.1000 0.0662
## 8 0.2806 nan 0.1000 0.0604
## 9 0.2401 nan 0.1000 0.0397
## 10 0.2103 nan 0.1000 0.0318
## 20 0.0889 nan 0.1000 -0.0062
## 40 0.0231 nan 0.1000 0.0004
## 60 0.0091 nan 0.1000 -0.0016
## 80 0.0060 nan 0.1000 -0.0015
## 100 0.0033 nan 0.1000 0.0000
## 120 0.0012 nan 0.1000 -0.0000
## 140 0.0008 nan 0.1000 -0.0001
## 160 0.0005 nan 0.1000 -0.0001
## 180 0.0003 nan 0.1000 -0.0000
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4030
## 2 0.8474 nan 0.1000 0.2626
## 3 0.6779 nan 0.1000 0.1645
## 4 0.5620 nan 0.1000 0.1027
## 5 0.4793 nan 0.1000 0.1111
## 6 0.4005 nan 0.1000 0.0839
## 7 0.3421 nan 0.1000 0.0778
## 8 0.2841 nan 0.1000 0.0509
## 9 0.2445 nan 0.1000 0.0418
## 10 0.2140 nan 0.1000 0.0439
## 20 0.0838 nan 0.1000 0.0007
## 40 0.0323 nan 0.1000 -0.0057
## 60 0.0168 nan 0.1000 -0.0023
## 80 0.0110 nan 0.1000 -0.0016
## 100 0.0045 nan 0.1000 -0.0003
## 120 0.0022 nan 0.1000 -0.0003
## 140 0.0017 nan 0.1000 -0.0002
## 160 0.0014 nan 0.1000 -0.0006
## 180 0.0009 nan 0.1000 -0.0003
## 200 0.0006 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3657
## 2 0.8495 nan 0.1000 0.2602
## 3 0.6730 nan 0.1000 0.2005
## 4 0.5465 nan 0.1000 0.1193
## 5 0.4545 nan 0.1000 0.1108
## 6 0.3785 nan 0.1000 0.0590
## 7 0.3300 nan 0.1000 0.0684
## 8 0.2783 nan 0.1000 0.0561
## 9 0.2407 nan 0.1000 0.0430
## 10 0.2105 nan 0.1000 0.0298
## 20 0.0706 nan 0.1000 0.0004
## 40 0.0269 nan 0.1000 0.0015
## 60 0.0141 nan 0.1000 -0.0001
## 80 0.0088 nan 0.1000 -0.0009
## 100 0.0038 nan 0.1000 -0.0007
## 120 0.0016 nan 0.1000 -0.0002
## 140 0.0009 nan 0.1000 -0.0002
## 160 0.0005 nan 0.1000 -0.0000
## 180 0.0003 nan 0.1000 -0.0000
## 200 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2820
## 2 0.9005 nan 0.1000 0.2192
## 3 0.7564 nan 0.1000 0.1640
## 4 0.6407 nan 0.1000 0.1065
## 5 0.5549 nan 0.1000 0.1024
## 6 0.4793 nan 0.1000 0.0844
## 7 0.4207 nan 0.1000 0.0687
## 8 0.3720 nan 0.1000 0.0604
## 9 0.3266 nan 0.1000 0.0447
## 10 0.2919 nan 0.1000 0.0467
## 20 0.1205 nan 0.1000 0.0099
## 40 0.0542 nan 0.1000 -0.0042
## 60 0.0291 nan 0.1000 -0.0083
## 80 0.0236 nan 0.1000 -0.0039
## 100 0.0181 nan 0.1000 -0.0013
## 120 0.0131 nan 0.1000 -0.0043
## 140 0.0102 nan 0.1000 -0.0007
## 160 0.0088 nan 0.1000 -0.0008
## 180 0.0052 nan 0.1000 -0.0005
## 200 0.0032 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3599
## 2 0.8505 nan 0.1000 0.1723
## 3 0.7142 nan 0.1000 0.2189
## 4 0.5743 nan 0.1000 0.1555
## 5 0.4675 nan 0.1000 0.1163
## 6 0.3870 nan 0.1000 0.0752
## 7 0.3322 nan 0.1000 0.0711
## 8 0.2805 nan 0.1000 0.0468
## 9 0.2425 nan 0.1000 0.0357
## 10 0.2124 nan 0.1000 0.0211
## 20 0.0724 nan 0.1000 -0.0027
## 40 0.0274 nan 0.1000 -0.0009
## 60 0.0094 nan 0.1000 -0.0006
## 80 0.0089 nan 0.1000 -0.0024
## 100 0.0050 nan 0.1000 -0.0016
## 120 0.0047 nan 0.1000 -0.0005
## 140 0.0030 nan 0.1000 -0.0006
## 160 0.0015 nan 0.1000 -0.0001
## 180 0.0008 nan 0.1000 -0.0001
## 200 0.0005 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2848
## 2 0.8876 nan 0.1000 0.2845
## 3 0.6950 nan 0.1000 0.1894
## 4 0.5634 nan 0.1000 0.1517
## 5 0.4614 nan 0.1000 0.1149
## 6 0.3876 nan 0.1000 0.0774
## 7 0.3319 nan 0.1000 0.0752
## 8 0.2792 nan 0.1000 0.0526
## 9 0.2380 nan 0.1000 0.0363
## 10 0.2066 nan 0.1000 0.0277
## 20 0.0722 nan 0.1000 -0.0039
## 40 0.0181 nan 0.1000 -0.0045
## 60 0.0059 nan 0.1000 -0.0002
## 80 0.0072 nan 0.1000 -0.0018
## 100 0.0036 nan 0.1000 -0.0000
## 120 0.0011 nan 0.1000 -0.0001
## 140 0.0006 nan 0.1000 -0.0001
## 160 0.0004 nan 0.1000 -0.0001
## 180 0.0003 nan 0.1000 0.0000
## 200 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3162
## 2 0.8815 nan 0.1000 0.2688
## 3 0.7031 nan 0.1000 0.1802
## 4 0.5701 nan 0.1000 0.1681
## 5 0.4662 nan 0.1000 0.1052
## 6 0.3919 nan 0.1000 0.0906
## 7 0.3306 nan 0.1000 0.0659
## 8 0.2824 nan 0.1000 0.0658
## 9 0.2397 nan 0.1000 0.0538
## 10 0.2048 nan 0.1000 0.0330
## 20 0.0754 nan 0.1000 0.0029
## 40 0.0225 nan 0.1000 -0.0016
## 60 0.0136 nan 0.1000 0.0002
## 80 0.0050 nan 0.1000 -0.0009
## 100 0.0028 nan 0.1000 -0.0003
## 120 0.0020 nan 0.1000 -0.0003
## 140 0.0026 nan 0.1000 -0.0001
## 160 0.0022 nan 0.1000 -0.0000
## 180 0.0005 nan 0.1000 -0.0002
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2924
## 2 0.9008 nan 0.1000 0.2277
## 3 0.7550 nan 0.1000 0.1491
## 4 0.6491 nan 0.1000 0.1356
## 5 0.5557 nan 0.1000 0.1116
## 6 0.4779 nan 0.1000 0.0874
## 7 0.4137 nan 0.1000 0.0762
## 8 0.3622 nan 0.1000 0.0652
## 9 0.3135 nan 0.1000 0.0497
## 10 0.2755 nan 0.1000 0.0360
## 20 0.0978 nan 0.1000 0.0074
## 40 0.0320 nan 0.1000 0.0006
## 60 0.0162 nan 0.1000 -0.0006
## 80 0.0109 nan 0.1000 0.0001
## 100 0.0065 nan 0.1000 -0.0008
## 120 0.0041 nan 0.1000 -0.0000
## 140 0.0024 nan 0.1000 -0.0002
## 160 0.0018 nan 0.1000 -0.0007
## 180 0.0011 nan 0.1000 -0.0001
## 200 0.0007 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2984
## 2 0.8769 nan 0.1000 0.2954
## 3 0.6869 nan 0.1000 0.2103
## 4 0.5437 nan 0.1000 0.1559
## 5 0.4420 nan 0.1000 0.1189
## 6 0.3642 nan 0.1000 0.0850
## 7 0.3018 nan 0.1000 0.0665
## 8 0.2546 nan 0.1000 0.0482
## 9 0.2182 nan 0.1000 0.0412
## 10 0.1876 nan 0.1000 0.0384
## 20 0.0566 nan 0.1000 0.0031
## 40 0.0152 nan 0.1000 -0.0009
## 60 0.0059 nan 0.1000 -0.0007
## 80 0.0024 nan 0.1000 0.0000
## 100 0.0028 nan 0.1000 -0.0009
## 120 0.0016 nan 0.1000 0.0001
## 140 0.0014 nan 0.1000 -0.0002
## 160 0.0014 nan 0.1000 -0.0002
## 180 0.0007 nan 0.1000 -0.0000
## 200 0.0003 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2920
## 2 0.8848 nan 0.1000 0.2887
## 3 0.6869 nan 0.1000 0.2089
## 4 0.5489 nan 0.1000 0.1507
## 5 0.4487 nan 0.1000 0.1161
## 6 0.3721 nan 0.1000 0.0845
## 7 0.3119 nan 0.1000 0.0773
## 8 0.2593 nan 0.1000 0.0462
## 9 0.2226 nan 0.1000 0.0507
## 10 0.1874 nan 0.1000 0.0357
## 20 0.0546 nan 0.1000 -0.0015
## 40 0.0224 nan 0.1000 -0.0050
## 60 0.0128 nan 0.1000 -0.0051
## 80 0.0072 nan 0.1000 -0.0026
## 100 0.0039 nan 0.1000 -0.0013
## 120 0.0013 nan 0.1000 -0.0001
## 140 0.0005 nan 0.1000 -0.0000
## 160 0.0004 nan 0.1000 0.0001
## 180 0.0001 nan 0.1000 -0.0000
## 200 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4008
## 2 0.8457 nan 0.1000 0.2546
## 3 0.6663 nan 0.1000 0.1899
## 4 0.5435 nan 0.1000 0.1577
## 5 0.4430 nan 0.1000 0.1028
## 6 0.3746 nan 0.1000 0.0922
## 7 0.3117 nan 0.1000 0.0690
## 8 0.2620 nan 0.1000 0.0583
## 9 0.2195 nan 0.1000 0.0446
## 10 0.1850 nan 0.1000 0.0346
## 20 0.0465 nan 0.1000 0.0008
## 40 0.0130 nan 0.1000 -0.0003
## 60 0.0060 nan 0.1000 -0.0001
## 80 0.0041 nan 0.1000 -0.0015
## 100 0.0017 nan 0.1000 -0.0006
## 120 0.0008 nan 0.1000 -0.0001
## 140 0.0004 nan 0.1000 -0.0001
## 160 0.0002 nan 0.1000 -0.0000
## 180 0.0001 nan 0.1000 -0.0000
## 200 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2654
## 2 0.8994 nan 0.1000 0.2006
## 3 0.7549 nan 0.1000 0.1624
## 4 0.6379 nan 0.1000 0.1164
## 5 0.5515 nan 0.1000 0.1051
## 6 0.4788 nan 0.1000 0.0880
## 7 0.4167 nan 0.1000 0.0698
## 8 0.3646 nan 0.1000 0.0575
## 9 0.3198 nan 0.1000 0.0519
## 10 0.2806 nan 0.1000 0.0437
## 20 0.1063 nan 0.1000 0.0075
## 40 0.0470 nan 0.1000 -0.0097
## 60 0.0248 nan 0.1000 -0.0026
## 80 0.0191 nan 0.1000 -0.0011
## 100 0.0103 nan 0.1000 -0.0002
## 120 0.0058 nan 0.1000 -0.0005
## 140 0.0038 nan 0.1000 -0.0000
## 160 0.0019 nan 0.1000 -0.0005
## 180 0.0013 nan 0.1000 -0.0002
## 200 0.0010 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4038
## 2 0.8423 nan 0.1000 0.2691
## 3 0.6650 nan 0.1000 0.1850
## 4 0.5394 nan 0.1000 0.1477
## 5 0.4438 nan 0.1000 0.1099
## 6 0.3670 nan 0.1000 0.0876
## 7 0.3076 nan 0.1000 0.0650
## 8 0.2599 nan 0.1000 0.0500
## 9 0.2218 nan 0.1000 0.0404
## 10 0.1916 nan 0.1000 0.0239
## 20 0.0643 nan 0.1000 0.0018
## 40 0.0200 nan 0.1000 -0.0042
## 60 0.0071 nan 0.1000 -0.0016
## 80 0.0037 nan 0.1000 -0.0006
## 100 0.0023 nan 0.1000 -0.0005
## 120 0.0020 nan 0.1000 -0.0006
## 140 0.0009 nan 0.1000 0.0000
## 160 0.0004 nan 0.1000 -0.0002
## 180 0.0002 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3529
## 2 0.8540 nan 0.1000 0.2598
## 3 0.6857 nan 0.1000 0.2020
## 4 0.5464 nan 0.1000 0.1487
## 5 0.4491 nan 0.1000 0.1083
## 6 0.3749 nan 0.1000 0.0715
## 7 0.3165 nan 0.1000 0.0658
## 8 0.2686 nan 0.1000 0.0496
## 9 0.2321 nan 0.1000 0.0471
## 10 0.1968 nan 0.1000 0.0342
## 20 0.0611 nan 0.1000 0.0035
## 40 0.0173 nan 0.1000 -0.0031
## 60 0.0083 nan 0.1000 -0.0022
## 80 0.0063 nan 0.1000 -0.0001
## 100 0.0037 nan 0.1000 -0.0000
## 120 0.0028 nan 0.1000 -0.0005
## 140 0.0021 nan 0.1000 -0.0012
## 160 0.0013 nan 0.1000 -0.0005
## 180 0.0007 nan 0.1000 -0.0001
## 200 0.0003 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3807
## 2 0.8586 nan 0.1000 0.2758
## 3 0.6763 nan 0.1000 0.1982
## 4 0.5483 nan 0.1000 0.1418
## 5 0.4471 nan 0.1000 0.0994
## 6 0.3738 nan 0.1000 0.0906
## 7 0.3103 nan 0.1000 0.0654
## 8 0.2632 nan 0.1000 0.0486
## 9 0.2266 nan 0.1000 0.0447
## 10 0.1934 nan 0.1000 0.0310
## 20 0.0618 nan 0.1000 0.0023
## 40 0.0218 nan 0.1000 -0.0025
## 60 0.0105 nan 0.1000 0.0010
## 80 0.0083 nan 0.1000 -0.0030
## 100 0.0027 nan 0.1000 -0.0000
## 120 0.0018 nan 0.1000 -0.0006
## 140 0.0007 nan 0.1000 0.0000
## 160 0.0006 nan 0.1000 -0.0001
## 180 0.0004 nan 0.1000 -0.0002
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2699
## 2 0.9006 nan 0.1000 0.1991
## 3 0.7549 nan 0.1000 0.1590
## 4 0.6421 nan 0.1000 0.1227
## 5 0.5507 nan 0.1000 0.1156
## 6 0.4709 nan 0.1000 0.0931
## 7 0.4079 nan 0.1000 0.0743
## 8 0.3536 nan 0.1000 0.0671
## 9 0.3071 nan 0.1000 0.0527
## 10 0.2698 nan 0.1000 0.0487
## 20 0.0949 nan 0.1000 0.0092
## 40 0.0300 nan 0.1000 0.0010
## 60 0.0125 nan 0.1000 -0.0014
## 80 0.0068 nan 0.1000 -0.0003
## 100 0.0041 nan 0.1000 -0.0001
## 120 0.0019 nan 0.1000 -0.0005
## 140 0.0014 nan 0.1000 -0.0001
## 160 0.0007 nan 0.1000 -0.0000
## 180 0.0005 nan 0.1000 -0.0002
## 200 0.0003 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2658
## 2 0.9011 nan 0.1000 0.1900
## 3 0.7544 nan 0.1000 0.2395
## 4 0.6045 nan 0.1000 0.1752
## 5 0.4913 nan 0.1000 0.1298
## 6 0.4059 nan 0.1000 0.0964
## 7 0.3380 nan 0.1000 0.0884
## 8 0.2782 nan 0.1000 0.0505
## 9 0.2358 nan 0.1000 0.0531
## 10 0.2019 nan 0.1000 0.0338
## 20 0.0583 nan 0.1000 0.0019
## 40 0.0139 nan 0.1000 -0.0013
## 60 0.0089 nan 0.1000 -0.0014
## 80 0.0027 nan 0.1000 -0.0000
## 100 0.0011 nan 0.1000 -0.0001
## 120 0.0005 nan 0.1000 -0.0000
## 140 0.0003 nan 0.1000 -0.0000
## 160 0.0003 nan 0.1000 -0.0000
## 180 0.0001 nan 0.1000 -0.0000
## 200 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4146
## 2 0.8432 nan 0.1000 0.2674
## 3 0.6618 nan 0.1000 0.1631
## 4 0.5379 nan 0.1000 0.1467
## 5 0.4352 nan 0.1000 0.1152
## 6 0.3560 nan 0.1000 0.0869
## 7 0.2969 nan 0.1000 0.0590
## 8 0.2507 nan 0.1000 0.0510
## 9 0.2131 nan 0.1000 0.0390
## 10 0.1828 nan 0.1000 0.0374
## 20 0.0531 nan 0.1000 0.0040
## 40 0.0204 nan 0.1000 -0.0012
## 60 0.0069 nan 0.1000 -0.0008
## 80 0.0031 nan 0.1000 -0.0009
## 100 0.0022 nan 0.1000 -0.0003
## 120 0.0014 nan 0.1000 -0.0007
## 140 0.0013 nan 0.1000 -0.0005
## 160 0.0009 nan 0.1000 -0.0004
## 180 0.0006 nan 0.1000 0.0000
## 200 0.0003 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3944
## 2 0.8448 nan 0.1000 0.2798
## 3 0.6670 nan 0.1000 0.1981
## 4 0.5380 nan 0.1000 0.1503
## 5 0.4316 nan 0.1000 0.0969
## 6 0.3621 nan 0.1000 0.0781
## 7 0.3001 nan 0.1000 0.0503
## 8 0.2615 nan 0.1000 0.0561
## 9 0.2188 nan 0.1000 0.0422
## 10 0.1835 nan 0.1000 0.0340
## 20 0.0511 nan 0.1000 0.0023
## 40 0.0140 nan 0.1000 -0.0019
## 60 0.0066 nan 0.1000 -0.0020
## 80 0.0029 nan 0.1000 0.0001
## 100 0.0011 nan 0.1000 0.0000
## 120 0.0011 nan 0.1000 -0.0002
## 140 0.0006 nan 0.1000 -0.0001
## 160 0.0003 nan 0.1000 -0.0002
## 180 0.0001 nan 0.1000 -0.0000
## 200 0.0000 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2771
## 2 0.9044 nan 0.1000 0.1980
## 3 0.7617 nan 0.1000 0.1631
## 4 0.6441 nan 0.1000 0.1150
## 5 0.5562 nan 0.1000 0.1021
## 6 0.4808 nan 0.1000 0.0714
## 7 0.4207 nan 0.1000 0.0740
## 8 0.3674 nan 0.1000 0.0621
## 9 0.3243 nan 0.1000 0.0545
## 10 0.2869 nan 0.1000 0.0460
## 20 0.1182 nan 0.1000 0.0127
## 40 0.0482 nan 0.1000 -0.0072
## 60 0.0279 nan 0.1000 -0.0039
## 80 0.0171 nan 0.1000 -0.0001
## 100 0.0139 nan 0.1000 -0.0007
## 120 0.0095 nan 0.1000 -0.0007
## 140 0.0067 nan 0.1000 -0.0005
## 160 0.0045 nan 0.1000 -0.0000
## 180 0.0027 nan 0.1000 -0.0004
## 200 0.0016 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3919
## 2 0.8454 nan 0.1000 0.2460
## 3 0.6756 nan 0.1000 0.1936
## 4 0.5455 nan 0.1000 0.1399
## 5 0.4443 nan 0.1000 0.1015
## 6 0.3684 nan 0.1000 0.0838
## 7 0.3045 nan 0.1000 0.0578
## 8 0.2621 nan 0.1000 0.0510
## 9 0.2254 nan 0.1000 0.0217
## 10 0.2049 nan 0.1000 0.0289
## 20 0.0765 nan 0.1000 0.0006
## 40 0.0312 nan 0.1000 0.0016
## 60 0.0231 nan 0.1000 -0.0007
## 80 0.0091 nan 0.1000 -0.0007
## 100 0.0057 nan 0.1000 0.0010
## 120 0.0044 nan 0.1000 -0.0012
## 140 0.0053 nan 0.1000 -0.0026
## 160 0.0041 nan 0.1000 -0.0018
## 180 0.0030 nan 0.1000 0.0003
## 200 0.0024 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3437
## 2 0.8628 nan 0.1000 0.2841
## 3 0.6794 nan 0.1000 0.1854
## 4 0.5502 nan 0.1000 0.1323
## 5 0.4556 nan 0.1000 0.1245
## 6 0.3776 nan 0.1000 0.0956
## 7 0.3148 nan 0.1000 0.0609
## 8 0.2682 nan 0.1000 0.0527
## 9 0.2305 nan 0.1000 0.0482
## 10 0.1984 nan 0.1000 0.0372
## 20 0.0649 nan 0.1000 0.0059
## 40 0.0215 nan 0.1000 0.0017
## 60 0.0100 nan 0.1000 -0.0019
## 80 0.0094 nan 0.1000 -0.0037
## 100 0.0041 nan 0.1000 -0.0017
## 120 0.0036 nan 0.1000 -0.0014
## 140 0.0018 nan 0.1000 -0.0006
## 160 0.0008 nan 0.1000 -0.0000
## 180 0.0004 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3658
## 2 0.8471 nan 0.1000 0.2540
## 3 0.6811 nan 0.1000 0.1832
## 4 0.5547 nan 0.1000 0.1475
## 5 0.4526 nan 0.1000 0.0961
## 6 0.3812 nan 0.1000 0.0739
## 7 0.3305 nan 0.1000 0.0663
## 8 0.2822 nan 0.1000 0.0586
## 9 0.2397 nan 0.1000 0.0431
## 10 0.2041 nan 0.1000 0.0396
## 20 0.0713 nan 0.1000 0.0079
## 40 0.0301 nan 0.1000 -0.0136
## 60 0.0151 nan 0.1000 -0.0005
## 80 0.0079 nan 0.1000 -0.0016
## 100 0.0042 nan 0.1000 -0.0003
## 120 0.0034 nan 0.1000 -0.0010
## 140 0.0023 nan 0.1000 -0.0012
## 160 0.0015 nan 0.1000 0.0001
## 180 0.0010 nan 0.1000 -0.0004
## 200 0.0006 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2806
## 2 0.9031 nan 0.1000 0.2325
## 3 0.7516 nan 0.1000 0.1626
## 4 0.6403 nan 0.1000 0.1345
## 5 0.5461 nan 0.1000 0.0943
## 6 0.4762 nan 0.1000 0.0744
## 7 0.4206 nan 0.1000 0.0706
## 8 0.3709 nan 0.1000 0.0631
## 9 0.3293 nan 0.1000 0.0565
## 10 0.2901 nan 0.1000 0.0423
## 20 0.1092 nan 0.1000 0.0080
## 40 0.0362 nan 0.1000 -0.0041
## 60 0.0225 nan 0.1000 -0.0060
## 80 0.0113 nan 0.1000 -0.0012
## 100 0.0082 nan 0.1000 -0.0002
## 120 0.0049 nan 0.1000 -0.0008
## 140 0.0034 nan 0.1000 -0.0002
## 160 0.0024 nan 0.1000 -0.0005
## 180 0.0016 nan 0.1000 -0.0002
## 200 0.0010 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2655
## 2 0.9039 nan 0.1000 0.2766
## 3 0.7157 nan 0.1000 0.2134
## 4 0.5777 nan 0.1000 0.1475
## 5 0.4771 nan 0.1000 0.1147
## 6 0.3976 nan 0.1000 0.0965
## 7 0.3335 nan 0.1000 0.0676
## 8 0.2843 nan 0.1000 0.0464
## 9 0.2445 nan 0.1000 0.0474
## 10 0.2097 nan 0.1000 0.0346
## 20 0.0747 nan 0.1000 0.0073
## 40 0.0188 nan 0.1000 -0.0015
## 60 0.0093 nan 0.1000 -0.0013
## 80 0.0043 nan 0.1000 -0.0004
## 100 0.0039 nan 0.1000 0.0000
## 120 0.0019 nan 0.1000 -0.0002
## 140 0.0011 nan 0.1000 -0.0003
## 160 0.0013 nan 0.1000 -0.0006
## 180 0.0007 nan 0.1000 -0.0002
## 200 0.0004 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3657
## 2 0.8537 nan 0.1000 0.2771
## 3 0.6781 nan 0.1000 0.2031
## 4 0.5451 nan 0.1000 0.1347
## 5 0.4471 nan 0.1000 0.1125
## 6 0.3662 nan 0.1000 0.0735
## 7 0.3125 nan 0.1000 0.0634
## 8 0.2641 nan 0.1000 0.0493
## 9 0.2285 nan 0.1000 0.0400
## 10 0.1989 nan 0.1000 0.0259
## 20 0.0670 nan 0.1000 -0.0068
## 40 0.0188 nan 0.1000 0.0008
## 60 0.0063 nan 0.1000 -0.0013
## 80 0.0045 nan 0.1000 -0.0018
## 100 0.0059 nan 0.1000 -0.0029
## 120 0.0020 nan 0.1000 0.0004
## 140 0.0010 nan 0.1000 -0.0000
## 160 0.0006 nan 0.1000 -0.0002
## 180 0.0005 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3915
## 2 0.8444 nan 0.1000 0.2635
## 3 0.6685 nan 0.1000 0.1944
## 4 0.5426 nan 0.1000 0.1040
## 5 0.4686 nan 0.1000 0.1023
## 6 0.3910 nan 0.1000 0.0956
## 7 0.3255 nan 0.1000 0.0763
## 8 0.2739 nan 0.1000 0.0569
## 9 0.2313 nan 0.1000 0.0379
## 10 0.1985 nan 0.1000 0.0352
## 20 0.0638 nan 0.1000 0.0018
## 40 0.0207 nan 0.1000 -0.0015
## 60 0.0098 nan 0.1000 0.0009
## 80 0.0074 nan 0.1000 -0.0026
## 100 0.0049 nan 0.1000 -0.0018
## 120 0.0020 nan 0.1000 -0.0003
## 140 0.0010 nan 0.1000 -0.0001
## 160 0.0007 nan 0.1000 -0.0000
## 180 0.0006 nan 0.1000 -0.0002
## 200 0.0009 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2939
## 2 0.9010 nan 0.1000 0.2153
## 3 0.7518 nan 0.1000 0.1514
## 4 0.6472 nan 0.1000 0.1226
## 5 0.5573 nan 0.1000 0.1044
## 6 0.4827 nan 0.1000 0.0948
## 7 0.4190 nan 0.1000 0.0730
## 8 0.3707 nan 0.1000 0.0699
## 9 0.3254 nan 0.1000 0.0488
## 10 0.2891 nan 0.1000 0.0476
## 20 0.1182 nan 0.1000 0.0087
## 40 0.0410 nan 0.1000 -0.0066
## 60 0.0241 nan 0.1000 -0.0014
## 80 0.0168 nan 0.1000 -0.0034
## 100 0.0110 nan 0.1000 -0.0012
## 120 0.0085 nan 0.1000 -0.0028
## 140 0.0085 nan 0.1000 0.0006
## 160 0.0059 nan 0.1000 -0.0003
## 180 0.0060 nan 0.1000 -0.0016
## 200 0.0036 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3898
## 2 0.8433 nan 0.1000 0.2670
## 3 0.6708 nan 0.1000 0.1935
## 4 0.5415 nan 0.1000 0.1317
## 5 0.4508 nan 0.1000 0.1115
## 6 0.3746 nan 0.1000 0.0650
## 7 0.3273 nan 0.1000 0.0728
## 8 0.2724 nan 0.1000 0.0531
## 9 0.2347 nan 0.1000 0.0418
## 10 0.2003 nan 0.1000 0.0372
## 20 0.0693 nan 0.1000 0.0057
## 40 0.0266 nan 0.1000 -0.0043
## 60 0.0183 nan 0.1000 -0.0024
## 80 0.0074 nan 0.1000 -0.0008
## 100 0.0033 nan 0.1000 -0.0001
## 120 0.0020 nan 0.1000 -0.0001
## 140 0.0028 nan 0.1000 0.0007
## 160 0.0015 nan 0.1000 -0.0004
## 180 0.0009 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3722
## 2 0.8547 nan 0.1000 0.2735
## 3 0.6732 nan 0.1000 0.1929
## 4 0.5443 nan 0.1000 0.1474
## 5 0.4477 nan 0.1000 0.1081
## 6 0.3717 nan 0.1000 0.0714
## 7 0.3171 nan 0.1000 0.0619
## 8 0.2701 nan 0.1000 0.0575
## 9 0.2261 nan 0.1000 0.0414
## 10 0.1951 nan 0.1000 0.0343
## 20 0.0711 nan 0.1000 0.0013
## 40 0.0196 nan 0.1000 -0.0011
## 60 0.0121 nan 0.1000 -0.0036
## 80 0.0093 nan 0.1000 -0.0009
## 100 0.0060 nan 0.1000 0.0008
## 120 0.0022 nan 0.1000 -0.0006
## 140 0.0009 nan 0.1000 -0.0000
## 160 0.0004 nan 0.1000 0.0000
## 180 0.0002 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3958
## 2 0.8565 nan 0.1000 0.2761
## 3 0.6773 nan 0.1000 0.1772
## 4 0.5531 nan 0.1000 0.1367
## 5 0.4601 nan 0.1000 0.0723
## 6 0.3945 nan 0.1000 0.0897
## 7 0.3269 nan 0.1000 0.0743
## 8 0.2773 nan 0.1000 0.0559
## 9 0.2371 nan 0.1000 0.0398
## 10 0.2047 nan 0.1000 0.0315
## 20 0.0730 nan 0.1000 -0.0072
## 40 0.0238 nan 0.1000 -0.0074
## 60 0.0174 nan 0.1000 -0.0009
## 80 0.0076 nan 0.1000 -0.0019
## 100 0.0048 nan 0.1000 -0.0015
## 120 0.0025 nan 0.1000 -0.0009
## 140 0.0010 nan 0.1000 -0.0002
## 160 0.0007 nan 0.1000 -0.0001
## 180 0.0005 nan 0.1000 -0.0001
## 200 0.0004 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2999
## 2 0.9070 nan 0.1000 0.1831
## 3 0.7647 nan 0.1000 0.1522
## 4 0.6524 nan 0.1000 0.1205
## 5 0.5601 nan 0.1000 0.1104
## 6 0.4854 nan 0.1000 0.0886
## 7 0.4231 nan 0.1000 0.0758
## 8 0.3714 nan 0.1000 0.0592
## 9 0.3324 nan 0.1000 0.0479
## 10 0.2946 nan 0.1000 0.0417
## 20 0.1167 nan 0.1000 -0.0019
## 40 0.0521 nan 0.1000 -0.0059
## 60 0.0339 nan 0.1000 0.0002
## 80 0.0185 nan 0.1000 -0.0023
## 100 0.0119 nan 0.1000 -0.0012
## 120 0.0092 nan 0.1000 -0.0005
## 140 0.0057 nan 0.1000 -0.0020
## 160 0.0044 nan 0.1000 -0.0009
## 180 0.0031 nan 0.1000 -0.0008
## 200 0.0019 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3762
## 2 0.8516 nan 0.1000 0.2553
## 3 0.6776 nan 0.1000 0.1561
## 4 0.5611 nan 0.1000 0.1538
## 5 0.4581 nan 0.1000 0.0991
## 6 0.3835 nan 0.1000 0.0857
## 7 0.3189 nan 0.1000 0.0634
## 8 0.2704 nan 0.1000 0.0493
## 9 0.2348 nan 0.1000 0.0373
## 10 0.2036 nan 0.1000 0.0359
## 20 0.0811 nan 0.1000 0.0035
## 40 0.0262 nan 0.1000 -0.0046
## 60 0.0116 nan 0.1000 -0.0018
## 80 0.0046 nan 0.1000 -0.0010
## 100 0.0031 nan 0.1000 -0.0013
## 120 0.0015 nan 0.1000 -0.0003
## 140 0.0006 nan 0.1000 -0.0000
## 160 0.0003 nan 0.1000 -0.0001
## 180 0.0002 nan 0.1000 -0.0000
## 200 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3152
## 2 0.8727 nan 0.1000 0.2441
## 3 0.7093 nan 0.1000 0.1892
## 4 0.5765 nan 0.1000 0.1097
## 5 0.4906 nan 0.1000 0.1200
## 6 0.4064 nan 0.1000 0.0970
## 7 0.3396 nan 0.1000 0.0787
## 8 0.2888 nan 0.1000 0.0570
## 9 0.2440 nan 0.1000 0.0420
## 10 0.2109 nan 0.1000 0.0291
## 20 0.0652 nan 0.1000 -0.0023
## 40 0.0200 nan 0.1000 -0.0031
## 60 0.0108 nan 0.1000 -0.0029
## 80 0.0083 nan 0.1000 0.0013
## 100 0.0034 nan 0.1000 -0.0008
## 120 0.0016 nan 0.1000 -0.0005
## 140 0.0025 nan 0.1000 -0.0009
## 160 0.0010 nan 0.1000 -0.0004
## 180 0.0006 nan 0.1000 -0.0003
## 200 0.0005 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3690
## 2 0.8553 nan 0.1000 0.2553
## 3 0.6796 nan 0.1000 0.1738
## 4 0.5574 nan 0.1000 0.1088
## 5 0.4803 nan 0.1000 0.1130
## 6 0.4050 nan 0.1000 0.0816
## 7 0.3473 nan 0.1000 0.0726
## 8 0.2917 nan 0.1000 0.0664
## 9 0.2455 nan 0.1000 0.0402
## 10 0.2114 nan 0.1000 0.0379
## 20 0.0769 nan 0.1000 -0.0003
## 40 0.0266 nan 0.1000 -0.0035
## 60 0.0129 nan 0.1000 -0.0015
## 80 0.0050 nan 0.1000 -0.0025
## 100 0.0028 nan 0.1000 -0.0007
## 120 0.0021 nan 0.1000 -0.0005
## 140 0.0008 nan 0.1000 -0.0001
## 160 0.0005 nan 0.1000 -0.0000
## 180 0.0003 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2729
## 2 0.9096 nan 0.1000 0.2055
## 3 0.7638 nan 0.1000 0.1632
## 4 0.6526 nan 0.1000 0.1287
## 5 0.5606 nan 0.1000 0.0991
## 6 0.4889 nan 0.1000 0.0976
## 7 0.4255 nan 0.1000 0.0729
## 8 0.3756 nan 0.1000 0.0590
## 9 0.3346 nan 0.1000 0.0509
## 10 0.3000 nan 0.1000 0.0423
## 20 0.1161 nan 0.1000 0.0009
## 40 0.0490 nan 0.1000 -0.0065
## 60 0.0289 nan 0.1000 -0.0001
## 80 0.0205 nan 0.1000 -0.0064
## 100 0.0131 nan 0.1000 -0.0040
## 120 0.0094 nan 0.1000 -0.0017
## 140 0.0068 nan 0.1000 -0.0007
## 160 0.0043 nan 0.1000 -0.0012
## 180 0.0028 nan 0.1000 -0.0003
## 200 0.0023 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3655
## 2 0.8516 nan 0.1000 0.2374
## 3 0.6831 nan 0.1000 0.2019
## 4 0.5462 nan 0.1000 0.1439
## 5 0.4568 nan 0.1000 0.0954
## 6 0.3862 nan 0.1000 0.0925
## 7 0.3212 nan 0.1000 0.0609
## 8 0.2773 nan 0.1000 0.0602
## 9 0.2360 nan 0.1000 0.0375
## 10 0.2066 nan 0.1000 0.0382
## 20 0.0854 nan 0.1000 -0.0190
## 40 0.0339 nan 0.1000 -0.0037
## 60 0.0123 nan 0.1000 -0.0041
## 80 0.0098 nan 0.1000 -0.0001
## 100 0.0065 nan 0.1000 -0.0006
## 120 0.0037 nan 0.1000 -0.0018
## 140 0.0017 nan 0.1000 -0.0002
## 160 0.0010 nan 0.1000 -0.0001
## 180 0.0009 nan 0.1000 -0.0001
## 200 0.0011 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3793
## 2 0.8546 nan 0.1000 0.2734
## 3 0.6734 nan 0.1000 0.1977
## 4 0.5420 nan 0.1000 0.1378
## 5 0.4490 nan 0.1000 0.1153
## 6 0.3742 nan 0.1000 0.0834
## 7 0.3156 nan 0.1000 0.0676
## 8 0.2673 nan 0.1000 0.0466
## 9 0.2316 nan 0.1000 0.0368
## 10 0.2017 nan 0.1000 0.0324
## 20 0.0683 nan 0.1000 -0.0036
## 40 0.0234 nan 0.1000 -0.0069
## 60 0.0131 nan 0.1000 -0.0030
## 80 0.0065 nan 0.1000 -0.0011
## 100 0.0031 nan 0.1000 -0.0006
## 120 0.0019 nan 0.1000 -0.0003
## 140 0.0013 nan 0.1000 -0.0001
## 160 0.0006 nan 0.1000 -0.0000
## 180 0.0004 nan 0.1000 0.0000
## 200 0.0005 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2699
## 2 0.9040 nan 0.1000 0.2954
## 3 0.7203 nan 0.1000 0.2159
## 4 0.5834 nan 0.1000 0.0996
## 5 0.5014 nan 0.1000 0.1254
## 6 0.4218 nan 0.1000 0.0919
## 7 0.3543 nan 0.1000 0.0692
## 8 0.2997 nan 0.1000 0.0455
## 9 0.2609 nan 0.1000 0.0558
## 10 0.2224 nan 0.1000 0.0361
## 20 0.0691 nan 0.1000 0.0043
## 40 0.0195 nan 0.1000 -0.0027
## 60 0.0128 nan 0.1000 -0.0011
## 80 0.0043 nan 0.1000 -0.0012
## 100 0.0026 nan 0.1000 -0.0007
## 120 0.0015 nan 0.1000 0.0000
## 140 0.0012 nan 0.1000 -0.0001
## 160 0.0015 nan 0.1000 -0.0007
## 180 0.0009 nan 0.1000 -0.0004
## 200 0.0008 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2908
## 2 0.8995 nan 0.1000 0.2058
## 3 0.7501 nan 0.1000 0.1596
## 4 0.6358 nan 0.1000 0.1269
## 5 0.5462 nan 0.1000 0.0926
## 6 0.4754 nan 0.1000 0.0905
## 7 0.4055 nan 0.1000 0.0787
## 8 0.3529 nan 0.1000 0.0659
## 9 0.3054 nan 0.1000 0.0442
## 10 0.2673 nan 0.1000 0.0416
## 20 0.0983 nan 0.1000 0.0093
## 40 0.0347 nan 0.1000 -0.0048
## 60 0.0122 nan 0.1000 0.0001
## 80 0.0073 nan 0.1000 -0.0029
## 100 0.0059 nan 0.1000 -0.0010
## 120 0.0047 nan 0.1000 -0.0000
## 140 0.0031 nan 0.1000 -0.0006
## 160 0.0017 nan 0.1000 -0.0000
## 180 0.0012 nan 0.1000 -0.0003
## 200 0.0013 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2938
## 2 0.8893 nan 0.1000 0.3076
## 3 0.6927 nan 0.1000 0.2025
## 4 0.5551 nan 0.1000 0.1583
## 5 0.4519 nan 0.1000 0.1259
## 6 0.3694 nan 0.1000 0.1017
## 7 0.3066 nan 0.1000 0.0656
## 8 0.2581 nan 0.1000 0.0567
## 9 0.2158 nan 0.1000 0.0474
## 10 0.1802 nan 0.1000 0.0336
## 20 0.0513 nan 0.1000 0.0028
## 40 0.0134 nan 0.1000 -0.0011
## 60 0.0064 nan 0.1000 -0.0001
## 80 0.0029 nan 0.1000 -0.0008
## 100 0.0019 nan 0.1000 -0.0004
## 120 0.0013 nan 0.1000 -0.0004
## 140 0.0006 nan 0.1000 -0.0001
## 160 0.0002 nan 0.1000 -0.0000
## 180 0.0001 nan 0.1000 0.0000
## 200 0.0001 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4135
## 2 0.8430 nan 0.1000 0.2697
## 3 0.6602 nan 0.1000 0.1726
## 4 0.5410 nan 0.1000 0.1529
## 5 0.4355 nan 0.1000 0.1122
## 6 0.3589 nan 0.1000 0.0824
## 7 0.2978 nan 0.1000 0.0734
## 8 0.2427 nan 0.1000 0.0535
## 9 0.2046 nan 0.1000 0.0278
## 10 0.1805 nan 0.1000 0.0309
## 20 0.0561 nan 0.1000 0.0007
## 40 0.0119 nan 0.1000 -0.0026
## 60 0.0034 nan 0.1000 -0.0011
## 80 0.0021 nan 0.1000 -0.0001
## 100 0.0013 nan 0.1000 -0.0000
## 120 0.0007 nan 0.1000 -0.0003
## 140 0.0005 nan 0.1000 -0.0002
## 160 0.0007 nan 0.1000 -0.0000
## 180 0.0002 nan 0.1000 -0.0000
## 200 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3973
## 2 0.8422 nan 0.1000 0.2734
## 3 0.6581 nan 0.1000 0.1971
## 4 0.5302 nan 0.1000 0.1214
## 5 0.4447 nan 0.1000 0.1208
## 6 0.3593 nan 0.1000 0.0958
## 7 0.2940 nan 0.1000 0.0713
## 8 0.2434 nan 0.1000 0.0517
## 9 0.2062 nan 0.1000 0.0375
## 10 0.1762 nan 0.1000 0.0348
## 20 0.0478 nan 0.1000 -0.0043
## 40 0.0128 nan 0.1000 -0.0033
## 60 0.0071 nan 0.1000 -0.0006
## 80 0.0015 nan 0.1000 -0.0001
## 100 0.0010 nan 0.1000 -0.0005
## 120 0.0006 nan 0.1000 -0.0000
## 140 0.0011 nan 0.1000 -0.0000
## 160 0.0002 nan 0.1000 -0.0000
## 180 0.0001 nan 0.1000 -0.0000
## 200 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2334
## 2 0.9179 nan 0.1000 0.2210
## 3 0.7636 nan 0.1000 0.1467
## 4 0.6555 nan 0.1000 0.1488
## 5 0.5547 nan 0.1000 0.1041
## 6 0.4797 nan 0.1000 0.0959
## 7 0.4168 nan 0.1000 0.0734
## 8 0.3647 nan 0.1000 0.0619
## 9 0.3181 nan 0.1000 0.0480
## 10 0.2828 nan 0.1000 0.0519
## 20 0.0957 nan 0.1000 0.0086
## 40 0.0310 nan 0.1000 -0.0012
## 60 0.0160 nan 0.1000 -0.0024
## 80 0.0110 nan 0.1000 -0.0023
## 100 0.0065 nan 0.1000 -0.0021
## 120 0.0036 nan 0.1000 0.0003
## 140 0.0026 nan 0.1000 -0.0008
## 160 0.0020 nan 0.1000 -0.0000
## 180 0.0010 nan 0.1000 -0.0003
## 200 0.0004 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3467
## 2 0.8735 nan 0.1000 0.2801
## 3 0.6929 nan 0.1000 0.2074
## 4 0.5576 nan 0.1000 0.1501
## 5 0.4558 nan 0.1000 0.1250
## 6 0.3734 nan 0.1000 0.0919
## 7 0.3076 nan 0.1000 0.0541
## 8 0.2691 nan 0.1000 0.0600
## 9 0.2281 nan 0.1000 0.0447
## 10 0.1950 nan 0.1000 0.0429
## 20 0.0599 nan 0.1000 -0.0012
## 40 0.0181 nan 0.1000 -0.0026
## 60 0.0071 nan 0.1000 -0.0006
## 80 0.0077 nan 0.1000 0.0012
## 100 0.0051 nan 0.1000 0.0013
## 120 0.0025 nan 0.1000 -0.0003
## 140 0.0015 nan 0.1000 0.0001
## 160 0.0006 nan 0.1000 0.0002
## 180 0.0002 nan 0.1000 -0.0000
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3949
## 2 0.8498 nan 0.1000 0.2752
## 3 0.6642 nan 0.1000 0.1518
## 4 0.5587 nan 0.1000 0.1558
## 5 0.4556 nan 0.1000 0.1217
## 6 0.3744 nan 0.1000 0.0907
## 7 0.3102 nan 0.1000 0.0742
## 8 0.2598 nan 0.1000 0.0533
## 9 0.2217 nan 0.1000 0.0406
## 10 0.1899 nan 0.1000 0.0389
## 20 0.0569 nan 0.1000 0.0006
## 40 0.0194 nan 0.1000 0.0001
## 60 0.0096 nan 0.1000 -0.0027
## 80 0.0058 nan 0.1000 -0.0019
## 100 0.0025 nan 0.1000 -0.0002
## 120 0.0011 nan 0.1000 -0.0002
## 140 0.0008 nan 0.1000 0.0001
## 160 0.0007 nan 0.1000 -0.0002
## 180 0.0003 nan 0.1000 -0.0000
## 200 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2651
## 2 0.8679 nan 0.1000 0.2815
## 3 0.6837 nan 0.1000 0.2131
## 4 0.5489 nan 0.1000 0.1109
## 5 0.4675 nan 0.1000 0.1295
## 6 0.3817 nan 0.1000 0.0930
## 7 0.3172 nan 0.1000 0.0822
## 8 0.2639 nan 0.1000 0.0378
## 9 0.2301 nan 0.1000 0.0370
## 10 0.2028 nan 0.1000 0.0389
## 20 0.0623 nan 0.1000 0.0031
## 40 0.0212 nan 0.1000 0.0014
## 60 0.0110 nan 0.1000 0.0000
## 80 0.0078 nan 0.1000 -0.0002
## 100 0.0041 nan 0.1000 -0.0005
## 120 0.0019 nan 0.1000 -0.0007
## 140 0.0011 nan 0.1000 -0.0002
## 160 0.0010 nan 0.1000 -0.0005
## 180 0.0006 nan 0.1000 -0.0001
## 200 0.0003 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2921
## 2 0.8966 nan 0.1000 0.2049
## 3 0.7510 nan 0.1000 0.1569
## 4 0.6382 nan 0.1000 0.1368
## 5 0.5459 nan 0.1000 0.1147
## 6 0.4702 nan 0.1000 0.0865
## 7 0.4115 nan 0.1000 0.0703
## 8 0.3604 nan 0.1000 0.0669
## 9 0.3178 nan 0.1000 0.0547
## 10 0.2793 nan 0.1000 0.0427
## 20 0.1009 nan 0.1000 0.0060
## 40 0.0339 nan 0.1000 -0.0024
## 60 0.0127 nan 0.1000 -0.0030
## 80 0.0078 nan 0.1000 -0.0009
## 100 0.0032 nan 0.1000 -0.0006
## 120 0.0027 nan 0.1000 -0.0003
## 140 0.0024 nan 0.1000 -0.0004
## 160 0.0022 nan 0.1000 -0.0001
## 180 0.0007 nan 0.1000 -0.0003
## 200 0.0007 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2846
## 2 0.8925 nan 0.1000 0.2783
## 3 0.7098 nan 0.1000 0.2062
## 4 0.5720 nan 0.1000 0.1667
## 5 0.4619 nan 0.1000 0.1147
## 6 0.3823 nan 0.1000 0.0974
## 7 0.3147 nan 0.1000 0.0762
## 8 0.2597 nan 0.1000 0.0597
## 9 0.2163 nan 0.1000 0.0441
## 10 0.1834 nan 0.1000 0.0321
## 20 0.0547 nan 0.1000 -0.0010
## 40 0.0130 nan 0.1000 0.0005
## 60 0.0040 nan 0.1000 -0.0005
## 80 0.0021 nan 0.1000 -0.0000
## 100 0.0012 nan 0.1000 -0.0005
## 120 0.0007 nan 0.1000 -0.0003
## 140 0.0010 nan 0.1000 -0.0000
## 160 0.0016 nan 0.1000 -0.0007
## 180 0.0027 nan 0.1000 -0.0000
## 200 0.0015 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3910
## 2 0.8346 nan 0.1000 0.2566
## 3 0.6659 nan 0.1000 0.2029
## 4 0.5312 nan 0.1000 0.1430
## 5 0.4308 nan 0.1000 0.1169
## 6 0.3518 nan 0.1000 0.0840
## 7 0.2928 nan 0.1000 0.0741
## 8 0.2430 nan 0.1000 0.0503
## 9 0.2061 nan 0.1000 0.0467
## 10 0.1734 nan 0.1000 0.0341
## 20 0.0485 nan 0.1000 0.0007
## 40 0.0102 nan 0.1000 0.0008
## 60 0.0031 nan 0.1000 -0.0003
## 80 0.0022 nan 0.1000 -0.0008
## 100 0.0011 nan 0.1000 -0.0006
## 120 0.0008 nan 0.1000 -0.0004
## 140 0.0003 nan 0.1000 -0.0001
## 160 0.0002 nan 0.1000 0.0000
## 180 0.0001 nan 0.1000 -0.0000
## 200 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4072
## 2 0.8426 nan 0.1000 0.2421
## 3 0.6815 nan 0.1000 0.2017
## 4 0.5441 nan 0.1000 0.1485
## 5 0.4423 nan 0.1000 0.1164
## 6 0.3675 nan 0.1000 0.0994
## 7 0.3029 nan 0.1000 0.0688
## 8 0.2544 nan 0.1000 0.0554
## 9 0.2144 nan 0.1000 0.0387
## 10 0.1826 nan 0.1000 0.0296
## 20 0.0559 nan 0.1000 0.0065
## 40 0.0106 nan 0.1000 0.0002
## 60 0.0052 nan 0.1000 -0.0010
## 80 0.0067 nan 0.1000 -0.0002
## 100 0.0026 nan 0.1000 -0.0013
## 120 0.0022 nan 0.1000 -0.0001
## 140 0.0012 nan 0.1000 -0.0006
## 160 0.0017 nan 0.1000 -0.0004
## 180 0.0005 nan 0.1000 0.0003
## 200 0.0004 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2936
## 2 0.9022 nan 0.1000 0.2164
## 3 0.7569 nan 0.1000 0.1701
## 4 0.6417 nan 0.1000 0.1389
## 5 0.5519 nan 0.1000 0.0869
## 6 0.4798 nan 0.1000 0.0868
## 7 0.4189 nan 0.1000 0.0820
## 8 0.3633 nan 0.1000 0.0608
## 9 0.3207 nan 0.1000 0.0508
## 10 0.2834 nan 0.1000 0.0343
## 20 0.1124 nan 0.1000 -0.0056
## 40 0.0460 nan 0.1000 -0.0007
## 60 0.0285 nan 0.1000 -0.0033
## 80 0.0156 nan 0.1000 -0.0007
## 100 0.0104 nan 0.1000 -0.0040
## 120 0.0081 nan 0.1000 -0.0009
## 140 0.0054 nan 0.1000 -0.0014
## 160 0.0050 nan 0.1000 -0.0004
## 180 0.0023 nan 0.1000 -0.0004
## 200 0.0016 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3686
## 2 0.8577 nan 0.1000 0.2063
## 3 0.7124 nan 0.1000 0.2181
## 4 0.5695 nan 0.1000 0.1056
## 5 0.4921 nan 0.1000 0.1356
## 6 0.4059 nan 0.1000 0.0963
## 7 0.3333 nan 0.1000 0.0772
## 8 0.2832 nan 0.1000 0.0575
## 9 0.2395 nan 0.1000 0.0416
## 10 0.2061 nan 0.1000 0.0325
## 20 0.0724 nan 0.1000 0.0000
## 40 0.0273 nan 0.1000 -0.0038
## 60 0.0122 nan 0.1000 -0.0051
## 80 0.0071 nan 0.1000 -0.0029
## 100 0.0027 nan 0.1000 -0.0003
## 120 0.0011 nan 0.1000 -0.0000
## 140 0.0007 nan 0.1000 -0.0001
## 160 0.0005 nan 0.1000 -0.0003
## 180 0.0005 nan 0.1000 0.0002
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4005
## 2 0.8346 nan 0.1000 0.2674
## 3 0.6611 nan 0.1000 0.1444
## 4 0.5572 nan 0.1000 0.1496
## 5 0.4539 nan 0.1000 0.1165
## 6 0.3708 nan 0.1000 0.0868
## 7 0.3094 nan 0.1000 0.0730
## 8 0.2634 nan 0.1000 0.0508
## 9 0.2264 nan 0.1000 0.0420
## 10 0.1918 nan 0.1000 0.0313
## 20 0.0600 nan 0.1000 -0.0011
## 40 0.0209 nan 0.1000 -0.0071
## 60 0.0096 nan 0.1000 -0.0028
## 80 0.0075 nan 0.1000 -0.0014
## 100 0.0062 nan 0.1000 -0.0002
## 120 0.0019 nan 0.1000 -0.0009
## 140 0.0019 nan 0.1000 -0.0008
## 160 0.0012 nan 0.1000 -0.0007
## 180 0.0010 nan 0.1000 -0.0003
## 200 0.0006 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3736
## 2 0.8530 nan 0.1000 0.2762
## 3 0.6733 nan 0.1000 0.1423
## 4 0.5709 nan 0.1000 0.1579
## 5 0.4597 nan 0.1000 0.0863
## 6 0.3903 nan 0.1000 0.0854
## 7 0.3288 nan 0.1000 0.0739
## 8 0.2756 nan 0.1000 0.0542
## 9 0.2365 nan 0.1000 0.0501
## 10 0.1990 nan 0.1000 0.0355
## 20 0.0627 nan 0.1000 0.0043
## 40 0.0183 nan 0.1000 0.0006
## 60 0.0069 nan 0.1000 -0.0011
## 80 0.0056 nan 0.1000 -0.0023
## 100 0.0039 nan 0.1000 -0.0019
## 120 0.0023 nan 0.1000 -0.0009
## 140 0.0016 nan 0.1000 -0.0005
## 160 0.0011 nan 0.1000 -0.0004
## 180 0.0004 nan 0.1000 -0.0001
## 200 0.0006 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2582
## 2 0.9028 nan 0.1000 0.1985
## 3 0.7534 nan 0.1000 0.1601
## 4 0.6385 nan 0.1000 0.1270
## 5 0.5547 nan 0.1000 0.1002
## 6 0.4855 nan 0.1000 0.0947
## 7 0.4208 nan 0.1000 0.0710
## 8 0.3695 nan 0.1000 0.0502
## 9 0.3288 nan 0.1000 0.0431
## 10 0.2947 nan 0.1000 0.0461
## 20 0.1161 nan 0.1000 -0.0002
## 40 0.0422 nan 0.1000 -0.0094
## 60 0.0269 nan 0.1000 -0.0075
## 80 0.0169 nan 0.1000 0.0001
## 100 0.0128 nan 0.1000 -0.0007
## 120 0.0073 nan 0.1000 -0.0006
## 140 0.0050 nan 0.1000 -0.0013
## 160 0.0040 nan 0.1000 -0.0005
## 180 0.0028 nan 0.1000 0.0001
## 200 0.0023 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3535
## 2 0.8533 nan 0.1000 0.2667
## 3 0.6782 nan 0.1000 0.1928
## 4 0.5479 nan 0.1000 0.1447
## 5 0.4545 nan 0.1000 0.1075
## 6 0.3828 nan 0.1000 0.0969
## 7 0.3191 nan 0.1000 0.0645
## 8 0.2688 nan 0.1000 0.0536
## 9 0.2302 nan 0.1000 0.0370
## 10 0.1989 nan 0.1000 0.0297
## 20 0.0714 nan 0.1000 0.0025
## 40 0.0232 nan 0.1000 -0.0058
## 60 0.0140 nan 0.1000 -0.0007
## 80 0.0098 nan 0.1000 -0.0009
## 100 0.0039 nan 0.1000 -0.0003
## 120 0.0023 nan 0.1000 -0.0002
## 140 0.0012 nan 0.1000 -0.0003
## 160 0.0011 nan 0.1000 -0.0001
## 180 0.0005 nan 0.1000 -0.0003
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3513
## 2 0.8747 nan 0.1000 0.2616
## 3 0.6911 nan 0.1000 0.1843
## 4 0.5609 nan 0.1000 0.1349
## 5 0.4667 nan 0.1000 0.1207
## 6 0.3839 nan 0.1000 0.0962
## 7 0.3208 nan 0.1000 0.0606
## 8 0.2722 nan 0.1000 0.0534
## 9 0.2356 nan 0.1000 0.0392
## 10 0.2049 nan 0.1000 0.0227
## 20 0.0732 nan 0.1000 -0.0025
## 40 0.0370 nan 0.1000 -0.0035
## 60 0.0187 nan 0.1000 -0.0040
## 80 0.0067 nan 0.1000 -0.0017
## 100 0.0039 nan 0.1000 0.0001
## 120 0.0029 nan 0.1000 -0.0004
## 140 0.0014 nan 0.1000 -0.0001
## 160 0.0012 nan 0.1000 0.0003
## 180 0.0007 nan 0.1000 -0.0003
## 200 0.0005 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3717
## 2 0.8518 nan 0.1000 0.2556
## 3 0.6777 nan 0.1000 0.2037
## 4 0.5444 nan 0.1000 0.1410
## 5 0.4447 nan 0.1000 0.1144
## 6 0.3682 nan 0.1000 0.0891
## 7 0.3088 nan 0.1000 0.0676
## 8 0.2612 nan 0.1000 0.0346
## 9 0.2231 nan 0.1000 0.0462
## 10 0.1927 nan 0.1000 0.0340
## 20 0.0688 nan 0.1000 -0.0010
## 40 0.0249 nan 0.1000 -0.0038
## 60 0.0126 nan 0.1000 -0.0018
## 80 0.0053 nan 0.1000 -0.0009
## 100 0.0035 nan 0.1000 -0.0009
## 120 0.0025 nan 0.1000 -0.0001
## 140 0.0009 nan 0.1000 -0.0001
## 160 0.0006 nan 0.1000 -0.0002
## 180 0.0005 nan 0.1000 -0.0002
## 200 0.0007 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2706
## 2 0.9061 nan 0.1000 0.1900
## 3 0.7656 nan 0.1000 0.1852
## 4 0.6486 nan 0.1000 0.1408
## 5 0.5518 nan 0.1000 0.0995
## 6 0.4800 nan 0.1000 0.0875
## 7 0.4187 nan 0.1000 0.0719
## 8 0.3671 nan 0.1000 0.0522
## 9 0.3228 nan 0.1000 0.0522
## 10 0.2817 nan 0.1000 0.0381
## 20 0.1166 nan 0.1000 0.0102
## 40 0.0569 nan 0.1000 -0.0098
## 60 0.0350 nan 0.1000 -0.0041
## 80 0.0174 nan 0.1000 -0.0066
## 100 0.0126 nan 0.1000 -0.0025
## 120 0.0095 nan 0.1000 -0.0005
## 140 0.0071 nan 0.1000 0.0001
## 160 0.0046 nan 0.1000 -0.0002
## 180 0.0039 nan 0.1000 -0.0007
## 200 0.0035 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3886
## 2 0.8388 nan 0.1000 0.2356
## 3 0.6738 nan 0.1000 0.1936
## 4 0.5444 nan 0.1000 0.1404
## 5 0.4453 nan 0.1000 0.1073
## 6 0.3728 nan 0.1000 0.0805
## 7 0.3153 nan 0.1000 0.0487
## 8 0.2794 nan 0.1000 0.0551
## 9 0.2367 nan 0.1000 0.0509
## 10 0.2020 nan 0.1000 0.0386
## 20 0.0673 nan 0.1000 -0.0010
## 40 0.0213 nan 0.1000 -0.0023
## 60 0.0102 nan 0.1000 -0.0031
## 80 0.0075 nan 0.1000 -0.0023
## 100 0.0033 nan 0.1000 -0.0003
## 120 0.0020 nan 0.1000 0.0000
## 140 0.0010 nan 0.1000 -0.0000
## 160 0.0008 nan 0.1000 -0.0001
## 180 0.0005 nan 0.1000 -0.0001
## 200 0.0003 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2983
## 2 0.8845 nan 0.1000 0.2284
## 3 0.7249 nan 0.1000 0.2094
## 4 0.5886 nan 0.1000 0.1574
## 5 0.4796 nan 0.1000 0.1135
## 6 0.3982 nan 0.1000 0.0882
## 7 0.3336 nan 0.1000 0.0727
## 8 0.2793 nan 0.1000 0.0475
## 9 0.2393 nan 0.1000 0.0321
## 10 0.2114 nan 0.1000 0.0276
## 20 0.0771 nan 0.1000 0.0011
## 40 0.0239 nan 0.1000 -0.0065
## 60 0.0111 nan 0.1000 0.0002
## 80 0.0060 nan 0.1000 -0.0019
## 100 0.0036 nan 0.1000 -0.0010
## 120 0.0016 nan 0.1000 -0.0002
## 140 0.0006 nan 0.1000 -0.0001
## 160 0.0004 nan 0.1000 -0.0000
## 180 0.0002 nan 0.1000 -0.0000
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2865
## 2 0.8938 nan 0.1000 0.2873
## 3 0.7007 nan 0.1000 0.2108
## 4 0.5653 nan 0.1000 0.1177
## 5 0.4807 nan 0.1000 0.1183
## 6 0.3984 nan 0.1000 0.0982
## 7 0.3340 nan 0.1000 0.0698
## 8 0.2867 nan 0.1000 0.0288
## 9 0.2578 nan 0.1000 0.0457
## 10 0.2255 nan 0.1000 0.0249
## 20 0.0719 nan 0.1000 0.0044
## 40 0.0264 nan 0.1000 -0.0027
## 60 0.0096 nan 0.1000 -0.0012
## 80 0.0048 nan 0.1000 0.0000
## 100 0.0019 nan 0.1000 -0.0001
## 120 0.0013 nan 0.1000 -0.0003
## 140 0.0010 nan 0.1000 -0.0002
## 160 0.0005 nan 0.1000 -0.0001
## 180 0.0002 nan 0.1000 0.0000
## 200 0.0001 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2719
## 2 0.9061 nan 0.1000 0.2066
## 3 0.7625 nan 0.1000 0.1587
## 4 0.6462 nan 0.1000 0.1314
## 5 0.5527 nan 0.1000 0.1005
## 6 0.4798 nan 0.1000 0.0855
## 7 0.4232 nan 0.1000 0.0788
## 8 0.3697 nan 0.1000 0.0478
## 9 0.3277 nan 0.1000 0.0414
## 10 0.2927 nan 0.1000 0.0356
## 20 0.1201 nan 0.1000 0.0017
## 40 0.0461 nan 0.1000 -0.0032
## 60 0.0328 nan 0.1000 -0.0098
## 80 0.0180 nan 0.1000 -0.0051
## 100 0.0181 nan 0.1000 -0.0027
## 120 0.0113 nan 0.1000 -0.0017
## 140 0.0089 nan 0.1000 -0.0006
## 160 0.0072 nan 0.1000 -0.0012
## 180 0.0047 nan 0.1000 -0.0010
## 200 0.0032 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3619
## 2 0.8429 nan 0.1000 0.2219
## 3 0.6896 nan 0.1000 0.2058
## 4 0.5541 nan 0.1000 0.1280
## 5 0.4640 nan 0.1000 0.1204
## 6 0.3864 nan 0.1000 0.0779
## 7 0.3277 nan 0.1000 0.0627
## 8 0.2813 nan 0.1000 0.0562
## 9 0.2387 nan 0.1000 0.0449
## 10 0.2061 nan 0.1000 0.0339
## 20 0.0755 nan 0.1000 -0.0000
## 40 0.0335 nan 0.1000 0.0014
## 60 0.0157 nan 0.1000 -0.0015
## 80 0.0077 nan 0.1000 -0.0008
## 100 0.0042 nan 0.1000 -0.0001
## 120 0.0031 nan 0.1000 -0.0003
## 140 0.0023 nan 0.1000 -0.0004
## 160 0.0017 nan 0.1000 -0.0003
## 180 0.0014 nan 0.1000 -0.0003
## 200 0.0005 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3685
## 2 0.8481 nan 0.1000 0.2796
## 3 0.6686 nan 0.1000 0.1948
## 4 0.5429 nan 0.1000 0.1206
## 5 0.4505 nan 0.1000 0.1084
## 6 0.3713 nan 0.1000 0.0705
## 7 0.3180 nan 0.1000 0.0714
## 8 0.2704 nan 0.1000 0.0570
## 9 0.2295 nan 0.1000 0.0400
## 10 0.1978 nan 0.1000 0.0391
## 20 0.0698 nan 0.1000 0.0029
## 40 0.0217 nan 0.1000 -0.0001
## 60 0.0111 nan 0.1000 -0.0030
## 80 0.0066 nan 0.1000 0.0004
## 100 0.0033 nan 0.1000 -0.0002
## 120 0.0017 nan 0.1000 -0.0006
## 140 0.0008 nan 0.1000 -0.0002
## 160 0.0005 nan 0.1000 -0.0001
## 180 0.0003 nan 0.1000 -0.0001
## 200 0.0003 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2957
## 2 0.8946 nan 0.1000 0.2814
## 3 0.7000 nan 0.1000 0.1975
## 4 0.5644 nan 0.1000 0.1097
## 5 0.4828 nan 0.1000 0.1206
## 6 0.3998 nan 0.1000 0.0895
## 7 0.3344 nan 0.1000 0.0707
## 8 0.2821 nan 0.1000 0.0604
## 9 0.2408 nan 0.1000 0.0450
## 10 0.2079 nan 0.1000 0.0347
## 20 0.0745 nan 0.1000 0.0008
## 40 0.0220 nan 0.1000 -0.0024
## 60 0.0124 nan 0.1000 -0.0052
## 80 0.0064 nan 0.1000 -0.0026
## 100 0.0028 nan 0.1000 -0.0010
## 120 0.0017 nan 0.1000 -0.0004
## 140 0.0011 nan 0.1000 -0.0004
## 160 0.0007 nan 0.1000 -0.0001
## 180 0.0005 nan 0.1000 0.0001
## 200 0.0003 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2967
## 2 0.8988 nan 0.1000 0.2053
## 3 0.7479 nan 0.1000 0.1648
## 4 0.6298 nan 0.1000 0.1334
## 5 0.5399 nan 0.1000 0.1136
## 6 0.4606 nan 0.1000 0.0942
## 7 0.3992 nan 0.1000 0.0748
## 8 0.3490 nan 0.1000 0.0672
## 9 0.3036 nan 0.1000 0.0433
## 10 0.2685 nan 0.1000 0.0343
## 20 0.0911 nan 0.1000 0.0005
## 40 0.0276 nan 0.1000 0.0012
## 60 0.0125 nan 0.1000 -0.0002
## 80 0.0072 nan 0.1000 -0.0019
## 100 0.0034 nan 0.1000 -0.0013
## 120 0.0019 nan 0.1000 0.0004
## 140 0.0012 nan 0.1000 -0.0002
## 160 0.0006 nan 0.1000 -0.0000
## 180 0.0005 nan 0.1000 -0.0000
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4012
## 2 0.8346 nan 0.1000 0.2545
## 3 0.6631 nan 0.1000 0.2079
## 4 0.5277 nan 0.1000 0.1474
## 5 0.4301 nan 0.1000 0.1213
## 6 0.3510 nan 0.1000 0.0931
## 7 0.2910 nan 0.1000 0.0707
## 8 0.2444 nan 0.1000 0.0578
## 9 0.2053 nan 0.1000 0.0262
## 10 0.1815 nan 0.1000 0.0371
## 20 0.0529 nan 0.1000 -0.0059
## 40 0.0224 nan 0.1000 -0.0013
## 60 0.0064 nan 0.1000 0.0002
## 80 0.0033 nan 0.1000 -0.0001
## 100 0.0017 nan 0.1000 -0.0004
## 120 0.0008 nan 0.1000 -0.0001
## 140 0.0004 nan 0.1000 -0.0001
## 160 0.0002 nan 0.1000 0.0000
## 180 0.0001 nan 0.1000 -0.0000
## 200 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2926
## 2 0.8942 nan 0.1000 0.2845
## 3 0.7027 nan 0.1000 0.2089
## 4 0.5643 nan 0.1000 0.1515
## 5 0.4554 nan 0.1000 0.1156
## 6 0.3741 nan 0.1000 0.0697
## 7 0.3231 nan 0.1000 0.0718
## 8 0.2736 nan 0.1000 0.0570
## 9 0.2319 nan 0.1000 0.0405
## 10 0.1984 nan 0.1000 0.0322
## 20 0.0514 nan 0.1000 0.0040
## 40 0.0147 nan 0.1000 -0.0007
## 60 0.0074 nan 0.1000 -0.0018
## 80 0.0040 nan 0.1000 0.0014
## 100 0.0014 nan 0.1000 -0.0002
## 120 0.0005 nan 0.1000 -0.0000
## 140 0.0003 nan 0.1000 0.0000
## 160 0.0002 nan 0.1000 0.0000
## 180 0.0001 nan 0.1000 -0.0001
## 200 0.0001 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3873
## 2 0.8433 nan 0.1000 0.2812
## 3 0.6644 nan 0.1000 0.1756
## 4 0.5430 nan 0.1000 0.1505
## 5 0.4458 nan 0.1000 0.1226
## 6 0.3619 nan 0.1000 0.0930
## 7 0.2999 nan 0.1000 0.0772
## 8 0.2497 nan 0.1000 0.0610
## 9 0.2071 nan 0.1000 0.0403
## 10 0.1740 nan 0.1000 0.0270
## 20 0.0449 nan 0.1000 0.0035
## 40 0.0120 nan 0.1000 -0.0030
## 60 0.0078 nan 0.1000 0.0004
## 80 0.0054 nan 0.1000 0.0010
## 100 0.0035 nan 0.1000 -0.0005
## 120 0.0011 nan 0.1000 -0.0004
## 140 0.0007 nan 0.1000 -0.0002
## 160 0.0006 nan 0.1000 0.0001
## 180 0.0005 nan 0.1000 -0.0002
## 200 0.0004 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3011
## 2 0.9053 nan 0.1000 0.1867
## 3 0.7616 nan 0.1000 0.1566
## 4 0.6496 nan 0.1000 0.1270
## 5 0.5581 nan 0.1000 0.1082
## 6 0.4834 nan 0.1000 0.0916
## 7 0.4182 nan 0.1000 0.0706
## 8 0.3656 nan 0.1000 0.0602
## 9 0.3224 nan 0.1000 0.0454
## 10 0.2847 nan 0.1000 0.0402
## 20 0.1074 nan 0.1000 0.0090
## 40 0.0373 nan 0.1000 -0.0000
## 60 0.0215 nan 0.1000 -0.0023
## 80 0.0128 nan 0.1000 -0.0039
## 100 0.0091 nan 0.1000 0.0000
## 120 0.0068 nan 0.1000 -0.0022
## 140 0.0044 nan 0.1000 -0.0007
## 160 0.0035 nan 0.1000 0.0001
## 180 0.0034 nan 0.1000 -0.0013
## 200 0.0019 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2819
## 2 0.8933 nan 0.1000 0.2371
## 3 0.7268 nan 0.1000 0.2089
## 4 0.5865 nan 0.1000 0.1615
## 5 0.4780 nan 0.1000 0.1106
## 6 0.3985 nan 0.1000 0.0827
## 7 0.3385 nan 0.1000 0.0766
## 8 0.2848 nan 0.1000 0.0590
## 9 0.2402 nan 0.1000 0.0383
## 10 0.2079 nan 0.1000 0.0319
## 20 0.0751 nan 0.1000 0.0060
## 40 0.0257 nan 0.1000 -0.0060
## 60 0.0104 nan 0.1000 -0.0013
## 80 0.0049 nan 0.1000 -0.0014
## 100 0.0024 nan 0.1000 -0.0004
## 120 0.0015 nan 0.1000 0.0001
## 140 0.0009 nan 0.1000 0.0001
## 160 0.0006 nan 0.1000 -0.0002
## 180 0.0005 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3734
## 2 0.8597 nan 0.1000 0.2704
## 3 0.6780 nan 0.1000 0.2044
## 4 0.5487 nan 0.1000 0.1427
## 5 0.4495 nan 0.1000 0.1052
## 6 0.3750 nan 0.1000 0.0648
## 7 0.3267 nan 0.1000 0.0691
## 8 0.2748 nan 0.1000 0.0501
## 9 0.2366 nan 0.1000 0.0458
## 10 0.2022 nan 0.1000 0.0321
## 20 0.0646 nan 0.1000 -0.0007
## 40 0.0261 nan 0.1000 -0.0018
## 60 0.0105 nan 0.1000 -0.0002
## 80 0.0050 nan 0.1000 -0.0008
## 100 0.0024 nan 0.1000 -0.0002
## 120 0.0016 nan 0.1000 -0.0003
## 140 0.0012 nan 0.1000 -0.0000
## 160 0.0005 nan 0.1000 0.0000
## 180 0.0003 nan 0.1000 -0.0001
## 200 0.0001 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3929
## 2 0.8504 nan 0.1000 0.2072
## 3 0.7045 nan 0.1000 0.1938
## 4 0.5698 nan 0.1000 0.1594
## 5 0.4643 nan 0.1000 0.1212
## 6 0.3838 nan 0.1000 0.0929
## 7 0.3232 nan 0.1000 0.0722
## 8 0.2721 nan 0.1000 0.0542
## 9 0.2329 nan 0.1000 0.0377
## 10 0.1991 nan 0.1000 0.0320
## 20 0.0716 nan 0.1000 0.0070
## 40 0.0223 nan 0.1000 -0.0047
## 60 0.0103 nan 0.1000 0.0001
## 80 0.0089 nan 0.1000 -0.0006
## 100 0.0035 nan 0.1000 -0.0011
## 120 0.0035 nan 0.1000 0.0011
## 140 0.0015 nan 0.1000 -0.0002
## 160 0.0008 nan 0.1000 -0.0002
## 180 0.0005 nan 0.1000 -0.0001
## 200 0.0003 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2805
## 2 0.9103 nan 0.1000 0.2039
## 3 0.7660 nan 0.1000 0.1646
## 4 0.6570 nan 0.1000 0.1325
## 5 0.5658 nan 0.1000 0.1068
## 6 0.4922 nan 0.1000 0.0792
## 7 0.4298 nan 0.1000 0.0718
## 8 0.3809 nan 0.1000 0.0692
## 9 0.3350 nan 0.1000 0.0481
## 10 0.2938 nan 0.1000 0.0446
## 20 0.1172 nan 0.1000 0.0056
## 40 0.0426 nan 0.1000 -0.0063
## 60 0.0224 nan 0.1000 -0.0033
## 80 0.0131 nan 0.1000 -0.0048
## 100 0.0132 nan 0.1000 -0.0031
## 120 0.0089 nan 0.1000 -0.0010
## 140 0.0057 nan 0.1000 -0.0010
## 160 0.0041 nan 0.1000 -0.0000
## 180 0.0039 nan 0.1000 -0.0006
## 200 0.0029 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3755
## 2 0.8535 nan 0.1000 0.1997
## 3 0.7145 nan 0.1000 0.2104
## 4 0.5738 nan 0.1000 0.1556
## 5 0.4731 nan 0.1000 0.1234
## 6 0.3896 nan 0.1000 0.0647
## 7 0.3421 nan 0.1000 0.0783
## 8 0.2884 nan 0.1000 0.0592
## 9 0.2478 nan 0.1000 0.0470
## 10 0.2149 nan 0.1000 0.0359
## 20 0.0727 nan 0.1000 -0.0068
## 40 0.0283 nan 0.1000 -0.0012
## 60 0.0230 nan 0.1000 -0.0072
## 80 0.0091 nan 0.1000 0.0000
## 100 0.0063 nan 0.1000 0.0001
## 120 0.0033 nan 0.1000 -0.0000
## 140 0.0020 nan 0.1000 0.0000
## 160 0.0011 nan 0.1000 -0.0003
## 180 0.0009 nan 0.1000 -0.0000
## 200 0.0008 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3805
## 2 0.8388 nan 0.1000 0.1834
## 3 0.7009 nan 0.1000 0.2012
## 4 0.5701 nan 0.1000 0.1568
## 5 0.4690 nan 0.1000 0.1130
## 6 0.3909 nan 0.1000 0.0840
## 7 0.3307 nan 0.1000 0.0762
## 8 0.2796 nan 0.1000 0.0591
## 9 0.2374 nan 0.1000 0.0473
## 10 0.2054 nan 0.1000 0.0331
## 20 0.0707 nan 0.1000 0.0011
## 40 0.0208 nan 0.1000 -0.0010
## 60 0.0084 nan 0.1000 -0.0000
## 80 0.0051 nan 0.1000 0.0002
## 100 0.0024 nan 0.1000 -0.0004
## 120 0.0014 nan 0.1000 -0.0005
## 140 0.0010 nan 0.1000 -0.0000
## 160 0.0007 nan 0.1000 -0.0001
## 180 0.0007 nan 0.1000 -0.0001
## 200 0.0004 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3735
## 2 0.8516 nan 0.1000 0.2212
## 3 0.6999 nan 0.1000 0.2056
## 4 0.5658 nan 0.1000 0.1371
## 5 0.4676 nan 0.1000 0.1145
## 6 0.3887 nan 0.1000 0.0806
## 7 0.3282 nan 0.1000 0.0660
## 8 0.2825 nan 0.1000 0.0557
## 9 0.2404 nan 0.1000 0.0337
## 10 0.2104 nan 0.1000 0.0267
## 20 0.0967 nan 0.1000 -0.0039
## 40 0.0244 nan 0.1000 -0.0029
## 60 0.0127 nan 0.1000 0.0011
## 80 0.0074 nan 0.1000 -0.0020
## 100 0.0037 nan 0.1000 -0.0010
## 120 0.0022 nan 0.1000 -0.0006
## 140 0.0012 nan 0.1000 -0.0003
## 160 0.0009 nan 0.1000 0.0001
## 180 0.0004 nan 0.1000 -0.0000
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2918
## 2 0.9021 nan 0.1000 0.2156
## 3 0.7545 nan 0.1000 0.1660
## 4 0.6371 nan 0.1000 0.1277
## 5 0.5479 nan 0.1000 0.0969
## 6 0.4715 nan 0.1000 0.0790
## 7 0.4140 nan 0.1000 0.0704
## 8 0.3613 nan 0.1000 0.0552
## 9 0.3210 nan 0.1000 0.0472
## 10 0.2828 nan 0.1000 0.0473
## 20 0.1087 nan 0.1000 0.0029
## 40 0.0482 nan 0.1000 -0.0045
## 60 0.0309 nan 0.1000 -0.0049
## 80 0.0172 nan 0.1000 0.0006
## 100 0.0137 nan 0.1000 -0.0042
## 120 0.0091 nan 0.1000 -0.0013
## 140 0.0062 nan 0.1000 -0.0009
## 160 0.0054 nan 0.1000 -0.0013
## 180 0.0035 nan 0.1000 -0.0005
## 200 0.0029 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3845
## 2 0.8537 nan 0.1000 0.2269
## 3 0.6949 nan 0.1000 0.2067
## 4 0.5526 nan 0.1000 0.1411
## 5 0.4581 nan 0.1000 0.1166
## 6 0.3822 nan 0.1000 0.0895
## 7 0.3199 nan 0.1000 0.0616
## 8 0.2763 nan 0.1000 0.0570
## 9 0.2374 nan 0.1000 0.0393
## 10 0.2048 nan 0.1000 0.0396
## 20 0.0719 nan 0.1000 0.0025
## 40 0.0238 nan 0.1000 -0.0014
## 60 0.0084 nan 0.1000 -0.0011
## 80 0.0045 nan 0.1000 -0.0012
## 100 0.0032 nan 0.1000 0.0003
## 120 0.0024 nan 0.1000 -0.0002
## 140 0.0010 nan 0.1000 0.0000
## 160 0.0007 nan 0.1000 -0.0001
## 180 0.0003 nan 0.1000 -0.0000
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3697
## 2 0.8563 nan 0.1000 0.2462
## 3 0.6917 nan 0.1000 0.1672
## 4 0.5742 nan 0.1000 0.1644
## 5 0.4644 nan 0.1000 0.1201
## 6 0.3785 nan 0.1000 0.0919
## 7 0.3134 nan 0.1000 0.0726
## 8 0.2662 nan 0.1000 0.0496
## 9 0.2276 nan 0.1000 0.0391
## 10 0.1959 nan 0.1000 0.0402
## 20 0.0664 nan 0.1000 -0.0037
## 40 0.0203 nan 0.1000 -0.0036
## 60 0.0083 nan 0.1000 -0.0008
## 80 0.0053 nan 0.1000 0.0011
## 100 0.0027 nan 0.1000 -0.0004
## 120 0.0024 nan 0.1000 -0.0006
## 140 0.0013 nan 0.1000 -0.0004
## 160 0.0006 nan 0.1000 0.0000
## 180 0.0004 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3744
## 2 0.8388 nan 0.1000 0.2636
## 3 0.6661 nan 0.1000 0.1605
## 4 0.5497 nan 0.1000 0.1498
## 5 0.4538 nan 0.1000 0.1101
## 6 0.3735 nan 0.1000 0.0905
## 7 0.3100 nan 0.1000 0.0652
## 8 0.2647 nan 0.1000 0.0458
## 9 0.2274 nan 0.1000 0.0382
## 10 0.1957 nan 0.1000 0.0204
## 20 0.0708 nan 0.1000 -0.0030
## 40 0.0197 nan 0.1000 -0.0024
## 60 0.0078 nan 0.1000 -0.0026
## 80 0.0038 nan 0.1000 0.0002
## 100 0.0031 nan 0.1000 -0.0013
## 120 0.0022 nan 0.1000 0.0000
## 140 0.0013 nan 0.1000 -0.0003
## 160 0.0008 nan 0.1000 -0.0001
## 180 0.0008 nan 0.1000 0.0001
## 200 0.0003 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2781
## 2 0.9096 nan 0.1000 0.2160
## 3 0.7641 nan 0.1000 0.1713
## 4 0.6505 nan 0.1000 0.1321
## 5 0.5591 nan 0.1000 0.0991
## 6 0.4861 nan 0.1000 0.0925
## 7 0.4219 nan 0.1000 0.0684
## 8 0.3715 nan 0.1000 0.0555
## 9 0.3302 nan 0.1000 0.0334
## 10 0.2968 nan 0.1000 0.0259
## 20 0.1183 nan 0.1000 0.0045
## 40 0.0500 nan 0.1000 -0.0097
## 60 0.0264 nan 0.1000 -0.0036
## 80 0.0162 nan 0.1000 -0.0030
## 100 0.0109 nan 0.1000 -0.0012
## 120 0.0084 nan 0.1000 -0.0009
## 140 0.0074 nan 0.1000 -0.0001
## 160 0.0055 nan 0.1000 -0.0006
## 180 0.0038 nan 0.1000 -0.0000
## 200 0.0022 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3050
## 2 0.8968 nan 0.1000 0.2709
## 3 0.7190 nan 0.1000 0.2207
## 4 0.5768 nan 0.1000 0.1456
## 5 0.4753 nan 0.1000 0.0882
## 6 0.4087 nan 0.1000 0.0985
## 7 0.3406 nan 0.1000 0.0705
## 8 0.2888 nan 0.1000 0.0654
## 9 0.2489 nan 0.1000 0.0445
## 10 0.2166 nan 0.1000 0.0285
## 20 0.0813 nan 0.1000 -0.0017
## 40 0.0320 nan 0.1000 0.0022
## 60 0.0205 nan 0.1000 -0.0069
## 80 0.0092 nan 0.1000 0.0015
## 100 0.0040 nan 0.1000 -0.0003
## 120 0.0021 nan 0.1000 -0.0000
## 140 0.0013 nan 0.1000 -0.0001
## 160 0.0007 nan 0.1000 -0.0002
## 180 0.0003 nan 0.1000 -0.0001
## 200 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3726
## 2 0.8488 nan 0.1000 0.2706
## 3 0.6723 nan 0.1000 0.1846
## 4 0.5493 nan 0.1000 0.1563
## 5 0.4480 nan 0.1000 0.0890
## 6 0.3855 nan 0.1000 0.0916
## 7 0.3226 nan 0.1000 0.0652
## 8 0.2731 nan 0.1000 0.0505
## 9 0.2347 nan 0.1000 0.0410
## 10 0.2044 nan 0.1000 0.0393
## 20 0.0673 nan 0.1000 0.0008
## 40 0.0337 nan 0.1000 -0.0062
## 60 0.0134 nan 0.1000 -0.0020
## 80 0.0093 nan 0.1000 -0.0041
## 100 0.0061 nan 0.1000 -0.0004
## 120 0.0031 nan 0.1000 -0.0002
## 140 0.0015 nan 0.1000 -0.0004
## 160 0.0008 nan 0.1000 -0.0001
## 180 0.0004 nan 0.1000 0.0000
## 200 0.0003 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3878
## 2 0.8496 nan 0.1000 0.1854
## 3 0.7091 nan 0.1000 0.2105
## 4 0.5689 nan 0.1000 0.1529
## 5 0.4664 nan 0.1000 0.1122
## 6 0.3816 nan 0.1000 0.0744
## 7 0.3270 nan 0.1000 0.0653
## 8 0.2819 nan 0.1000 0.0620
## 9 0.2390 nan 0.1000 0.0412
## 10 0.2052 nan 0.1000 0.0350
## 20 0.0659 nan 0.1000 0.0007
## 40 0.0174 nan 0.1000 -0.0032
## 60 0.0106 nan 0.1000 -0.0016
## 80 0.0061 nan 0.1000 -0.0017
## 100 0.0021 nan 0.1000 -0.0001
## 120 0.0008 nan 0.1000 -0.0000
## 140 0.0005 nan 0.1000 0.0000
## 160 0.0003 nan 0.1000 -0.0000
## 180 0.0002 nan 0.1000 -0.0000
## 200 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2872
## 2 0.9077 nan 0.1000 0.1974
## 3 0.7643 nan 0.1000 0.1657
## 4 0.6507 nan 0.1000 0.1235
## 5 0.5636 nan 0.1000 0.1106
## 6 0.4824 nan 0.1000 0.0938
## 7 0.4215 nan 0.1000 0.0636
## 8 0.3711 nan 0.1000 0.0603
## 9 0.3275 nan 0.1000 0.0456
## 10 0.2925 nan 0.1000 0.0440
## 20 0.1180 nan 0.1000 -0.0015
## 40 0.0472 nan 0.1000 0.0008
## 60 0.0238 nan 0.1000 -0.0015
## 80 0.0183 nan 0.1000 -0.0012
## 100 0.0119 nan 0.1000 -0.0011
## 120 0.0111 nan 0.1000 -0.0022
## 140 0.0081 nan 0.1000 -0.0008
## 160 0.0051 nan 0.1000 -0.0014
## 180 0.0040 nan 0.1000 -0.0003
## 200 0.0037 nan 0.1000 -0.0012
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3749
## 2 0.8486 nan 0.1000 0.2663
## 3 0.6766 nan 0.1000 0.1932
## 4 0.5477 nan 0.1000 0.1430
## 5 0.4507 nan 0.1000 0.1051
## 6 0.3720 nan 0.1000 0.0856
## 7 0.3111 nan 0.1000 0.0640
## 8 0.2675 nan 0.1000 0.0527
## 9 0.2315 nan 0.1000 0.0438
## 10 0.2028 nan 0.1000 0.0343
## 20 0.0757 nan 0.1000 0.0059
## 40 0.0254 nan 0.1000 -0.0047
## 60 0.0151 nan 0.1000 -0.0039
## 80 0.0067 nan 0.1000 -0.0005
## 100 0.0034 nan 0.1000 -0.0005
## 120 0.0025 nan 0.1000 -0.0001
## 140 0.0014 nan 0.1000 -0.0005
## 160 0.0009 nan 0.1000 -0.0001
## 180 0.0007 nan 0.1000 -0.0000
## 200 0.0005 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3848
## 2 0.8449 nan 0.1000 0.2692
## 3 0.6706 nan 0.1000 0.1813
## 4 0.5429 nan 0.1000 0.1298
## 5 0.4486 nan 0.1000 0.1006
## 6 0.3808 nan 0.1000 0.0884
## 7 0.3212 nan 0.1000 0.0696
## 8 0.2751 nan 0.1000 0.0511
## 9 0.2357 nan 0.1000 0.0408
## 10 0.2019 nan 0.1000 0.0302
## 20 0.0796 nan 0.1000 -0.0075
## 40 0.0213 nan 0.1000 -0.0032
## 60 0.0107 nan 0.1000 0.0013
## 80 0.0040 nan 0.1000 -0.0000
## 100 0.0025 nan 0.1000 0.0006
## 120 0.0008 nan 0.1000 -0.0002
## 140 0.0005 nan 0.1000 -0.0001
## 160 0.0003 nan 0.1000 -0.0001
## 180 0.0002 nan 0.1000 -0.0000
## 200 0.0001 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3918
## 2 0.8540 nan 0.1000 0.2703
## 3 0.6703 nan 0.1000 0.1969
## 4 0.5442 nan 0.1000 0.1494
## 5 0.4462 nan 0.1000 0.1013
## 6 0.3748 nan 0.1000 0.0852
## 7 0.3129 nan 0.1000 0.0613
## 8 0.2674 nan 0.1000 0.0466
## 9 0.2306 nan 0.1000 0.0340
## 10 0.1987 nan 0.1000 0.0255
## 20 0.0659 nan 0.1000 -0.0055
## 40 0.0210 nan 0.1000 -0.0023
## 60 0.0116 nan 0.1000 -0.0013
## 80 0.0059 nan 0.1000 -0.0013
## 100 0.0035 nan 0.1000 -0.0009
## 120 0.0021 nan 0.1000 -0.0007
## 140 0.0023 nan 0.1000 -0.0010
## 160 0.0011 nan 0.1000 -0.0002
## 180 0.0007 nan 0.1000 -0.0001
## 200 0.0007 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2774
## 2 0.8923 nan 0.1000 0.1971
## 3 0.7430 nan 0.1000 0.1877
## 4 0.6149 nan 0.1000 0.1507
## 5 0.5144 nan 0.1000 0.0987
## 6 0.4436 nan 0.1000 0.0930
## 7 0.3764 nan 0.1000 0.0782
## 8 0.3232 nan 0.1000 0.0659
## 9 0.2772 nan 0.1000 0.0508
## 10 0.2389 nan 0.1000 0.0515
## 20 0.0602 nan 0.1000 0.0110
## 40 0.0041 nan 0.1000 0.0004
## 60 0.0010 nan 0.1000 0.0000
## 80 0.0002 nan 0.1000 -0.0000
## 100 0.0001 nan 0.1000 0.0000
## 120 0.0002 nan 0.1000 -0.0001
## 140 0.0001 nan 0.1000 -0.0000
## 160 0.0002 nan 0.1000 -0.0001
## 180 0.0002 nan 0.1000 -0.0000
## 200 0.0001 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4194
## 2 0.8263 nan 0.1000 0.2848
## 3 0.6409 nan 0.1000 0.1509
## 4 0.5325 nan 0.1000 0.1640
## 5 0.4259 nan 0.1000 0.1330
## 6 0.3383 nan 0.1000 0.1048
## 7 0.2723 nan 0.1000 0.0727
## 8 0.2241 nan 0.1000 0.0580
## 9 0.1852 nan 0.1000 0.0421
## 10 0.1554 nan 0.1000 0.0353
## 20 0.0260 nan 0.1000 0.0036
## 40 0.0049 nan 0.1000 0.0001
## 60 0.0024 nan 0.1000 -0.0012
## 80 0.0040 nan 0.1000 -0.0021
## 100 0.0031 nan 0.1000 -0.0017
## 120 0.0033 nan 0.1000 -0.0012
## 140 0.0017 nan 0.1000 -0.0010
## 160 0.0017 nan 0.1000 -0.0000
## 180 0.0006 nan 0.1000 -0.0002
## 200 0.0001 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4173
## 2 0.8263 nan 0.1000 0.2824
## 3 0.6409 nan 0.1000 0.2150
## 4 0.5010 nan 0.1000 0.1165
## 5 0.4180 nan 0.1000 0.0906
## 6 0.3527 nan 0.1000 0.1082
## 7 0.2815 nan 0.1000 0.0858
## 8 0.2258 nan 0.1000 0.0618
## 9 0.1851 nan 0.1000 0.0481
## 10 0.1528 nan 0.1000 0.0382
## 20 0.0271 nan 0.1000 0.0041
## 40 0.0018 nan 0.1000 0.0000
## 60 0.0009 nan 0.1000 0.0000
## 80 0.0004 nan 0.1000 -0.0001
## 100 0.0001 nan 0.1000 -0.0000
## 120 0.0002 nan 0.1000 -0.0000
## 140 0.0001 nan 0.1000 0.0000
## 160 0.0001 nan 0.1000 -0.0000
## 180 0.0000 nan 0.1000 0.0000
## 200 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.4394
## 2 0.8221 nan 0.1000 0.2946
## 3 0.6334 nan 0.1000 0.1843
## 4 0.5044 nan 0.1000 0.1559
## 5 0.4014 nan 0.1000 0.1221
## 6 0.3238 nan 0.1000 0.0786
## 7 0.2698 nan 0.1000 0.0819
## 8 0.2174 nan 0.1000 0.0652
## 9 0.1755 nan 0.1000 0.0506
## 10 0.1418 nan 0.1000 0.0411
## 20 0.0218 nan 0.1000 0.0054
## 40 0.0023 nan 0.1000 0.0000
## 60 0.0038 nan 0.1000 -0.0018
## 80 0.0011 nan 0.1000 -0.0007
## 100 0.0021 nan 0.1000 -0.0000
## 120 0.0011 nan 0.1000 -0.0005
## 140 0.0020 nan 0.1000 -0.0012
## 160 0.0008 nan 0.1000 -0.0000
## 180 0.0005 nan 0.1000 -0.0000
## 200 0.0005 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2417
## 2 0.9009 nan 0.1000 0.2079
## 3 0.7572 nan 0.1000 0.1480
## 4 0.6461 nan 0.1000 0.1418
## 5 0.5490 nan 0.1000 0.1102
## 6 0.4753 nan 0.1000 0.0778
## 7 0.4175 nan 0.1000 0.0734
## 8 0.3671 nan 0.1000 0.0497
## 9 0.3295 nan 0.1000 0.0490
## 10 0.2928 nan 0.1000 0.0406
## 20 0.1213 nan 0.1000 0.0049
## 40 0.0500 nan 0.1000 -0.0056
## 60 0.0293 nan 0.1000 -0.0036
## 80 0.0177 nan 0.1000 -0.0009
## 100 0.0135 nan 0.1000 0.0009
## 120 0.0088 nan 0.1000 -0.0002
## 140 0.0077 nan 0.1000 -0.0002
## 160 0.0042 nan 0.1000 -0.0004
## 180 0.0028 nan 0.1000 -0.0003
## 200 0.0022 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3408
## 2 0.8513 nan 0.1000 0.2603
## 3 0.6744 nan 0.1000 0.1980
## 4 0.5372 nan 0.1000 0.1479
## 5 0.4377 nan 0.1000 0.0806
## 6 0.3783 nan 0.1000 0.0792
## 7 0.3190 nan 0.1000 0.0746
## 8 0.2683 nan 0.1000 0.0502
## 9 0.2296 nan 0.1000 0.0321
## 10 0.2045 nan 0.1000 0.0325
## 20 0.0744 nan 0.1000 -0.0049
## 40 0.0202 nan 0.1000 -0.0035
## 60 0.0115 nan 0.1000 -0.0011
## 80 0.0095 nan 0.1000 -0.0030
## 100 0.0065 nan 0.1000 0.0007
## 120 0.0038 nan 0.1000 0.0004
## 140 0.0025 nan 0.1000 -0.0007
## 160 0.0011 nan 0.1000 0.0002
## 180 0.0005 nan 0.1000 -0.0000
## 200 0.0004 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3868
## 2 0.8448 nan 0.1000 0.1964
## 3 0.7034 nan 0.1000 0.2068
## 4 0.5706 nan 0.1000 0.1461
## 5 0.4746 nan 0.1000 0.1187
## 6 0.3986 nan 0.1000 0.0964
## 7 0.3318 nan 0.1000 0.0757
## 8 0.2823 nan 0.1000 0.0505
## 9 0.2412 nan 0.1000 0.0332
## 10 0.2090 nan 0.1000 0.0417
## 20 0.0690 nan 0.1000 -0.0091
## 40 0.0351 nan 0.1000 -0.0061
## 60 0.0127 nan 0.1000 -0.0026
## 80 0.0073 nan 0.1000 -0.0010
## 100 0.0048 nan 0.1000 -0.0002
## 120 0.0039 nan 0.1000 -0.0016
## 140 0.0021 nan 0.1000 -0.0002
## 160 0.0014 nan 0.1000 0.0000
## 180 0.0010 nan 0.1000 -0.0004
## 200 0.0004 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.3729
## 2 0.8429 nan 0.1000 0.1807
## 3 0.7115 nan 0.1000 0.2004
## 4 0.5738 nan 0.1000 0.1450
## 5 0.4668 nan 0.1000 0.1143
## 6 0.3833 nan 0.1000 0.0905
## 7 0.3219 nan 0.1000 0.0641
## 8 0.2757 nan 0.1000 0.0549
## 9 0.2347 nan 0.1000 0.0371
## 10 0.2037 nan 0.1000 0.0347
## 20 0.0646 nan 0.1000 0.0011
## 40 0.0223 nan 0.1000 -0.0022
## 60 0.0152 nan 0.1000 -0.0041
## 80 0.0114 nan 0.1000 -0.0039
## 100 0.0059 nan 0.1000 -0.0020
## 120 0.0036 nan 0.1000 -0.0008
## 140 0.0022 nan 0.1000 -0.0005
## 160 0.0013 nan 0.1000 -0.0005
## 180 0.0008 nan 0.1000 -0.0001
## 200 0.0007 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0986 nan 0.1000 0.2699
## 2 0.8970 nan 0.1000 0.2816
## 3 0.7068 nan 0.1000 0.2093
## 4 0.5692 nan 0.1000 0.1122
## 5 0.4863 nan 0.1000 0.0823
## 6 0.4232 nan 0.1000 0.1047
## 7 0.3554 nan 0.1000 0.0793
## 8 0.3021 nan 0.1000 0.0676
## 9 0.2554 nan 0.1000 0.0535
## 10 0.2176 nan 0.1000 0.0397
## 20 0.0717 nan 0.1000 -0.0004
## 25 0.0527 nan 0.1000 -0.0034
boosted_tree_predictions <- predict(boosted_tree_model, newdata = TestPreprocessed)
How did it do?
confusionMatrix(TestPreprocessed$Species, boosted_tree_predictions)
## Confusion Matrix and Statistics
##
## Reference
## Prediction setosa versicolor virginica
## setosa 10 0 0
## versicolor 0 10 0
## virginica 0 2 8
##
## Overall Statistics
##
## Accuracy : 0.9333
## 95% CI : (0.7793, 0.9918)
## No Information Rate : 0.4
## P-Value [Acc > NIR] : 1.181e-09
##
## Kappa : 0.9
##
## Mcnemar's Test P-Value : NA
##
## Statistics by Class:
##
## Class: setosa Class: versicolor Class: virginica
## Sensitivity 1.0000 0.8333 1.0000
## Specificity 1.0000 1.0000 0.9091
## Pos Pred Value 1.0000 1.0000 0.8000
## Neg Pred Value 1.0000 0.9000 1.0000
## Prevalence 0.3333 0.4000 0.2667
## Detection Rate 0.3333 0.3333 0.2667
## Detection Prevalence 0.3333 0.3333 0.3333
## Balanced Accuracy 1.0000 0.9167 0.9545
This model appears to have done pretty well, with a 93% accuracy.