知行合一

ブログ

参数正则化

· 机器学习

参数正则化通过在损失函数中加入惩罚项来控制模型复杂度，降低过拟合风险。本文概述L1/L2正则化及其在线性回归与优化中的作用与差异。

adaboost原理

· 机器学习

AdaBoost是一种基于样本加权的提升方法，通过迭代训练弱学习器并加权集成提升分类或回归性能。本文概述其目标函数、权重更新与回归扩展的核心思想。

xgboost原理

· 机器学习

XGBoost是一种基于梯度提升的树模型集成方法，通过优化目标函数与正则项逐步拟合残差，广泛用于分类与回归任务。本文梳理其目标函数、正则项与树结构学习的核心推导。

梯度提升树（GBDT）原理

· 机器学习

GBDT 属于梯度提升框架的树模型，以加法模型与前向分步优化为核心，通过拟合损失函数的负梯度逐步提升预测性能，适用于回归与分类任务。

决策树的特征选择标准

· 机器学习

决策树是一种基于特征划分数据的监督学习模型，常用于分类与回归。本文介绍决策树中特征选择的核心标准，包括信息熵、信息增益、信息增益比与基尼指数。

随机森林模型优化

· 机器学习

随机森林是一种基于多棵决策树的集成学习方法，常用于分类与回归任务。本文围绕其主要超参数，概述在构建与调优随机森林模型时的关键考量。

生存分析及R语言实现

· R语言/统计学

生存分析是一类用于研究事件发生时间及其影响因素的统计方法，广泛应用于医学随访、可靠性与风险研究等场景。

关于指数族的定义

· 统计学

指数族是可写成指数形式的一类分布族，以自然参数与充分统计量刻画分布结构，广泛用于广义线性模型、共轭先验与推断理论。