type
status
date
slug
summary
tags
category
icon
password
Property
Jun 30, 2025 07:57 AM
学习记录的笔记都是为了我自己回顾知识，不适合看客阅读，内容潦草不连贯很正常
全梯度下降
随机梯度下降
小批量梯度下降
w(x) + b
b是偏置
多项式扩展
波士顿房价预测案例
数据归一化处理
损失函数
分类任务损失是根据数据相同或者不相同来决定取值的，而感知器损失是根据数据拟合度来决定的，
所以是根据阈值来看拟合程度。
模型的偏差与模型的方差。
升维
θ的值越大，惩罚项越大。
假设J(θ) 与θ之间存在函数关系，按照线性函数思想，不考虑常数项，那么在二维空间内关系式应该是一个抛物线，在三维空间内是关于J轴 θ1轴 θ2轴 的一个抛物面，抛物面具象化然后画出等高线，再投影到θ1与θ2共同构建的平面中，就可以看出函数值与未知数之前的关系趋势，按照三维立体空间结构，可以得知，J(θ)的值随着θ12的值变化而呈现出线性变化，增大而增大，减小而减小。继而得出结论：此時不考虑常数项，那么c=0，也就是说，最终我们期望优化结果应该是J(θ)越小越好，但是异常样本数据会干扰θ的值，如果异常数据越大，那么会导致θ越大，所以，我们期望，θ的变化在一个范围内，因此就有 :
三维空间中抛物面应该是这样的形状
拉格朗日乘数法
Ridge-L2正则化与LASSO-L1正则化的比较
数据会决定机器学习的上限
机器学习调参
超参数与模型参数
受随机数种子的影响，结果具有偶然性。
（我个人认为偶然性的结果不具备说服力）
如何尽快能规避：交叉验证
选择一组合适的超参数
梯度下降
- 作者:fntp
- 链接:https://polofox.com/article/ml-5
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章
