栏目分类
发布日期：2025-03-18 03:28 点击次数：112
图片
图片
图片
图片
图片
图片
图片
图片
CatBoost是一种基于决议树的梯度普及算法。它由Yandex（俄罗斯搜索巨头）征询东说念主员和工程师开辟，用于Yandex和其他公司（包括CERN、Cloudflare、Careem出租车）的搜索、推选系统、个东说念主助理、自动驾驶汽车、天气预告和许多其他任务。它是开源的，任何东说念主齐不错使用。提供Python、R、号召行等多种版块。
CatBoost和之前先容过的XGBoost、LightGBM并称为GBDT的三大主流神器。
本文目次：
特点先容
装配
快速上手
数据准备
进修模子
稽察效用
交叉考证
新数据权衡
模子评价
污辱矩阵
ROC弧线
PR弧线
校准弧线
决议弧线
进修集盘算
参数先容
超参数调优
模子解说
特点先容
说真话官网先容的这几个特点我合计相配引诱我！
无需超参数调优即可得到高质地效用：CatBoost默许参数得到的模子就依然弥散优秀，省去普遍调优技术不需要对分类变量重编码：多数模子齐需要在启动前对分类变量进行一些预解决，比如捏造变量调节等，然则CatBoost不需要这些操作！它会自动为你解决这些分类变量撑捏GPU：这个没啥说的，其他算法也有更高的准确率：过拟合的可能性更小，效用准确率更高更快的速率：比比XGBoost和LightGBM更快追想来说即是：CatBoost比XGBoost和LightGBM更准、更快、更给力！选CatBoost就对了！
看下官方给出的模子性能比拟：
图片
再看下速率对比，快了不是小数点！
图片
装配不错奏凯用以下代码在线装配，我写这篇推文时（2024.3.25）最新的版块是1.2.5，防备版块不要写错！这个算法的更新速率马上，github一直在更新中，这亦然我这样晚才先容这个算法的原因之一。
不同平台的装配表情略有不同，可参考官网教程：https://catboost.ai/en/docs/installation/r-installation-binary-installation
底下是windows的装配身手，在线装配对收罗有条目。
#install.packages('remotes')remotes::install_url('https://github.com/catboost/catboost/releases/download/v1.2.5/catboost-R-windows-x86_64-1.2.5.tgz'， INSTALL_opts = c("--no-multiarch"， "--no-test-load"))要是你网不行，那照旧遴选把装配包下载下来，土产货装配，下载地址是：https://github.com/catboost/catboost/releases
防备遴选顺应的版块：
成人卡通漫画remotes::install_local("E:/R/R包/catboost-R-windows-x86_64-1.2.5.tgz")快速上手领先加载数据和R包。
library(catboost)
数据就用驰名的德国信用评分数据。这个数据一共有4454行，14列，其中Status是效用变量，二分类，因子型，good示意信用评分好，bad示意信用评分差，其余列是权衡变量，权衡变量既稀奇值型也有分类型，分类型的齐是factor。何况这个数据有部分缺失值。
library(modeldata)data("credit_data")dim(credit_data)## [1] 4454 14str(credit_data)## 'data.frame': 4454 obs. of 14 variables:## $ Status : Factor w/ 2 levels "bad"，"good": 2 2 1 2 2 2 2 2 2 1 ...## $ Seniority: int 9 17 10 0 0 1 29 9 0 0 ...## $ Home : Factor w/ 6 levels "ignore"，"other"，..: 6 6 3 6 6 3 3 4 3 4 ...## $ Time : int 60 60 36 60 36 60 60 12 60 48 ...## $ Age : int 30 58 46 24 26 36 44 27 32 41 ...## $ Marital : Factor w/ 5 levels "divorced"，"married"，..: 2 5 2 4 4 2 2 4 2 2 ...## $ Records : Factor w/ 2 levels "no"，"yes": 1 1 2 1 1 1 1 1 1 1 ...## $ Job : Factor w/ 4 levels "fixed"，"freelance"，..: 2 1 2 1 1 1 1 1 2 4 ...## $ Expenses : int 73 48 90 63 46 75 75 35 90 90 ...## $ Income : int 129 131 200 182 107 214 125 80 107 80 ...## $ Assets : int 0 0 3000 2500 0 3500 10000 0 15000 0 ...## $ Debt : int 0 0 0 0 0 0 0 0 0 0 ...## $ Amount : int 800 1000 2000 900 310 650 1600 200 1200 1200 ...## $ Price : int 846 1658 2985 1325 910 1645 1800 1093 1957 1468 ...先按照7：3差别个进修集和测试集：
set.seed(6354)ind <- sample(1:nrow(credit_data)，0.7*nrow(credit_data))train <- credit_data[ind，]test <- credit_data[-ind，]dim(train)## [1] 3117 14dim(test)## [1] 1337 14数据准备
与XGBoost和LightGBM相通，CatBoost在使用时也需要专用的体式，也使用专用的函数进行封装。
封装前亦然要把权衡变量和效用变量单独拿出来，不成放一说念，效用变量必须用数字1和0示意，分类变量提议使用因子型，狡计时会自动进行预解决，然后使用catboost.load_pool()函数进行封装：
features <- train[，-1]labels <- ifelse(train$Status == "good"，1，0)train_pool <- catboost.load_pool(data = features，label = labels)train_pool## catboost.Pool## 3117 rows， 13 columns进修模子
封装好之后就不错提供给算法进行学习了，使用的函数是catboost.train()：
model <- catboost.train(train_pool， NULL， params = list(loss_function = 'Logloss'， # 亏空函数 iterations = 100， # 100棵树 metric_period=10 # 每10棵树狡计1次盘算 #prediction_type=c("Class"，"Probability") ) )## Learning rate set to 0.13828## 0: learn: 0.6445127 total: 159ms remaining: 15.8s## 10: learn: 0.4703331 total: 245ms remaining: 1.98s## 20: learn: 0.4236971 total: 329ms remaining: 1.24s## 30: learn: 0.4003478 total: 415ms remaining: 925ms## 40: learn: 0.3891287 total: 502ms remaining: 722ms## 50: learn: 0.3798819 total: 594ms remaining: 571ms## 60: learn: 0.3711200 total: 682ms remaining: 436ms## 70: learn: 0.3646432 total: 770ms remaining: 314ms## 80: learn: 0.3577685 total: 857ms remaining: 201ms## 90: learn: 0.3532076 total: 943ms remaining: 93.2ms## 99: learn: 0.3474675 total: 1.02s remaining: 0us稽察效用默许的效用，平平无奇：
model## CatBoost model (100 trees)## Loss function: Logloss## Fit to 13 feature(s)
获取变量进犯性：
catboost.get_feature_importance(model)## [，1]## Seniority 13.704942## Home 4.409678## Time 4.220234## Age 2.819654## Marital 1.347322## Records 11.865015## Job 10.489621## Expenses 4.141522## Income 16.671911## Assets 7.982805## Debt 2.387191## Amount 13.280631## Price 6.679474
稽察模子的多样参数：
# 太长不放出来了catboost.get_model_params(model)交叉考证
认真使用的时候细目是要用交叉考证或者bootstrap这种重抽样身手的，此时不错用catboost.cv()：
model_cv <- catboost.cv(train_pool， fold_count = 5， # 5折交叉考证 params = list(loss_function = 'Logloss'， # 亏空函数 iterations = 100， # 100棵树，默许是1000 metric_period=10 # 每10棵树狡计1次盘算 ，verbose=0 # 减少日记输出 ，random_seed=1234 ) )## Training on fold [0/5]## ## bestTest = 0.4371081209## bestIteration = 99## ## Training on fold [1/5]## ## bestTest = 0.4414686541## bestIteration = 99## ## Training on fold [2/5]## ## bestTest = 0.3944321369## bestIteration = 99## ## Training on fold [3/5]## ## bestTest = 0.4309943666## bestIteration = 99## ## Training on fold [4/5]## ## bestTest = 0.4337864039## bestIteration = 99
效用有11行，分别是分析集和评估集（这个观念不懂的请参考tidymodels-rsample：数据差别）的模子盘算，因为咱们成就的是每10棵树狡计1次盘算，一共有100棵树，是以有11行，要是改成每20棵树狡计一次，即是有6行：
model_cv## test.Logloss.mean test.Logloss.std train.Logloss.mean train.Logloss.std## 1 0.6776724 0.001077025 0.6769152 0.001407418## 2 0.5717982 0.005433284 0.5655896 0.002684553## 3 0.5189984 0.006360272 0.5075464 0.004846065## 4 0.4890277 0.009908884 0.4719268 0.005552004## 5 0.4681056 0.012011841 0.4474683 0.005473089## 6 0.4540802 0.012673318 0.4295447 0.005890671## 7 0.4454735 0.014272786 0.4175673 0.005970905## 8 0.4380360 0.015334895 0.4058692 0.006510348## 9 0.4329628 0.016470751 0.3966050 0.006976306## 10 0.4294426 0.017505843 0.3890955 0.007753856## 11 0.4275579 0.018925086 0.3832895 0.007536350
给你顺遂画个图，望望迭代次数（也即是树的数目）和模子性能的干系：
library(ggplot2)library(tidyr)library(dplyr)model_cv %>% mutate(iteration = (row_number()-1)*10) %>% pivot_longer(cols = c(1，3)，names_to = "sets"，values_to = "Logloss.mean") %>% ggplot(.， aes(iteration，Logloss.mean))+ geom_line(aes(group=sets，color=sets)，linewidth=2)
图片
树越多越准确哈，然则太多了容易过拟合。
新数据权衡这样这个模子就进修好了，底下就不错对新的数据进行权衡了。
权衡前亦然需要先用catboost.load_pool()把数据封装起来，然后使用catboost.predict()即可：
test_pool <- catboost.load_pool(test[，-1])# 权衡类别概率pred_prob <- catboost.predict(model， test_pool， prediction_type = "Probability")head(pred_prob)## [1] 0.4514856 0.9225333 0.1778611 0.9073103 0.9636420 0.3190501
二分类数据撑捏以下权衡类型：
ProbabilityClassRawFormulaValExponentLogProbabilityVirtEnsemblesTotalUncertainty使用起来毫无难度，是不是很easy呢？
模子评价模子评价照旧那一套，污辱矩阵、准确率、敏锐度、特异度、ROC弧线等等。咱们需要的即是拿到模子的权衡效用就好了，分类变量的效用有2种：权衡类别或者权衡的某种类别的概率。
有些模子只可给出其中1种，有的模子齐能给，比如catboost。
获取测试集的权衡概率和类别：
# 权衡类别pred_status <- catboost.predict(model， test_pool， prediction_type = "Class")# 得把1，0这种再变且归才好比拟pred_status <- ifelse(pred_status==1，"good"，"bad")# 再酿成因子型，得和原始数据保捏一致levels(test$Status)## [1] "bad" "good"pred_status <- factor(pred_status，levels = levels(test$Status))head(pred_status)## [1] bad good bad good good bad ## Levels: bad good污辱矩阵
借助caret稽察污辱矩阵，这个功能是现在R内部最深广的，莫得敌手：
caret::confusionMatrix(pred_status，test$Status， mode="everything")## Confusion Matrix and Statistics## ## Reference## Prediction bad good## bad 180 98## good 198 861## ## Accuracy : 0.7786 ## 95% CI : (0.7554， 0.8006)## No Information Rate : 0.7173 ## P-Value [Acc > NIR] : 2.014e-07 ## ## Kappa : 0.4066 ## ## Mcnemar's Test P-Value : 8.702e-09 ## ## Sensitivity : 0.4762 ## Specificity : 0.8978 ## Pos Pred Value : 0.6475 ## Neg Pred Value : 0.8130 ## Precision : 0.6475 ## Recall : 0.4762 ## F1 : 0.5488 ## Prevalence : 0.2827 ## Detection Rate : 0.1346 ## Detection Prevalence : 0.2079 ## Balanced Accuracy : 0.6870 ## ## 'Positive' Class : bad ##ROC弧线
画个ROC弧线，就用ROCR包吧，3步走：
library(ROCR)pred <- prediction(pred_prob，test$Status) # 权衡概率，果然类别perf <- performance(pred， "tpr"，"fpr")auc <- round(performance(pred， "auc")@y.values[[1]]，digits = 4)#aucplot(perf，lwd=2，col="tomato")abline(0，1，lty=2)legend("bottomright"， legend=paste("测试集AUC: "，auc)， col="tomato"， lwd=2，bty = "n")图片
AUC是0.82以上，效用还不错，然则要防备这个是good的AUC哦。
PR弧线顺遂再画个PR弧线吧，这个弧线很常见，然则在我之前的推文中画的不是许多，其实也很轻便的，照旧用ROCR就不错画，横坐标是查全率（recall，也叫调回率、机灵度、真阳性率），纵坐标是查准率（precision，又叫精准率）。
library(ROCR)pred <- prediction(pred_prob，test$Status) # 权衡概率，果然类别perf <- performance(pred， "prec"，"rec")auc <- round(performance(pred， "auc")@y.values[[1]]，digits = 4)plot(perf，lwd=2，col="tomato")legend("bottomright"， legend=paste("AUC: "，auc)， col="tomato"， lwd=2，bty = "n")图片
这个即是PR弧线，它的弧线底下积亦然AUC（area under the curve），只不外这个是PR-AUC，上头的阿谁是ROC-AUC。
校准弧线公众号后台回话校准弧线可获取书册，稽察多样千般的校准弧线绘图，我这里给环球先容最新的身手（其实之前也先容过了），用probably这个包绘图：
library(probably)## Warning: package 'probably' was built under R version 4.3.3library(dplyr)test %>% select(Status) %>% bind_cols(.pred_good = pred_prob) %>% cal_plot_breaks(Status， .pred_good，event_level = "second"，conf_level = 0.95)
图片
然则现在这个版块（1.0.3）有个bug，第3个参数estimate，必须是.pred_xxx，其中的xxx必须是果然效用中的某一个类别，比如我这个数据Status中的类别即是good和bad，那么这个名字就必须是.pred_good或者.pred_bad，其他齐会报错（下标出界）！！
决议弧线顺遂再画个决议弧线，这个决议弧线是临床权衡模子中才有的骨子，其他骨子基本上齐是机器学习的基础学问。公众号后台回话决议弧线即可获取书册：
source("datasets/dca.r")# 需要果然效用和权衡概率dca_data <- data.frame(truth_status = test$Status， pred_prob = pred_prob)# 效用变量酿成0，1dca_data$truth_status <- ifelse(dca_data$truth_status == "good"，1，0)dc <- dca(data = dca_data， # 测试集 outcome = "truth_status"， predictors = "pred_prob"， probability = T )图片
太轻便！
前几年stdca.r和dca.r这两个剧本是不错在收罗中免费下载的，然则从2022年底傍边这个网站就不提供这两段代码的下载了。因为我很早就下载好了，是以我把这两段代码放在粉丝qq群文献里，环球有需要的加群下载即可。天然我还先容了许多其他身手，公众号后台回话决议弧线即可获取书册。
进修集盘算有的时候写著述还需要同期写上进修集的多样盘算，很轻便，把数据换成进修集即可得到进修集的效用：
pred_status <- catboost.predict(model， train_pool， # 这里写进修集 prediction_type = "Class")pred_prob <- catboost.predict(model， train_pool， prediction_type = "Probability")pred_status <- ifelse(pred_status==1，"good"，"bad")pred_status <- factor(pred_status，levels = levels(train$Status))# 污辱矩阵caret::confusionMatrix(train$Status， pred_status， mode="everything")## Confusion Matrix and Statistics## ## Reference## Prediction bad good## bad 546 330## good 138 2103## ## Accuracy : 0.8499 ## 95% CI : (0.8368， 0.8622)## No Information Rate : 0.7806 ## P-Value [Acc > NIR] : < 2.2e-16 ## ## Kappa : 0.6019 ## ## Mcnemar's Test P-Value : < 2.2e-16 ## ## Sensitivity : 0.7982 ## Specificity : 0.8644 ## Pos Pred Value : 0.6233 ## Neg Pred Value : 0.9384 ## Precision : 0.6233 ## Recall : 0.7982 ## F1 : 0.7000 ## Prevalence : 0.2194 ## Detection Rate : 0.1752 ## Detection Prevalence : 0.2810 ## Balanced Accuracy : 0.8313 ## ## 'Positive' Class : bad ##
ROC弧线和PR弧线亦然相通的画，这里只演示下ROC：
library(ROCR)pred <- prediction(pred_prob，train$Status) # 权衡概率，果然类别perf <- performance(pred， "tpr"，"fpr")auc <- round(performance(pred， "auc")@y.values[[1]]，digits = 4)#aucplot(perf，lwd=2，col="tomato")abline(0，1，lty=2)legend("bottomright"， legend=paste("进修集AUC: "，auc)， col="tomato"， lwd=2，bty = "n")图片
有点过拟合了，不外还不错，一般来说进修集细目是要比测试集高小数的，因为这种身手并不正规，你把进修用的数据重新给模子权衡，这样属于“泄题举止”~。
参数先容catboost.load_pool的参数没啥荒谬的，主要的作用即是封装数据，环球不错看下匡助文档。与catboost.load_pool对应的还有个catboost.save_pool是用来保存数据的，保存的体式亦然CatBoost撑捏的体式，看名字也知说念有点访佛于R中的save()和load()。
重心说下catboost.train()的参数。catboost.train()提及来独一3个参数：
learn_pool：用来进修模子的数据test_pool：测试数据，用来防患过拟合的，默许值是NULL，即不使用params：这个才是最进犯的参数，内部是一个列表，包括了相配多的超参数然则呢也不要发怵，因为CatBoost的上风之一即是使用默许的参数即可得到相配棒的效用，是以要是你不短长常懂这些参数，不要粗率改，你改的可能还不如默许的好。
另外即是这些参数天然相配多（未必数了下果然有78个！），然则多数参数齐是和树模子关联的参数以及和普及算法关联的参数，比如树的数目、树的深度等等。剩下的参数即是一些为止输出的、为止日记的、和catboost算法自身关联的等等。
环球使用时信得过需要和谐的可能照旧亏空函数、学习率、树的数目、输的深度等这种参数艳照门之风云再起。这小数不错和XGBoost和LightGBM对照着学习。
超参数调优 本站仅提供存储劳动，总共骨子均由用户发布，如发现存害或侵权骨子，请点击举报。