离散属性 vs 连续属性的定义

2. “对立性质”与离散性的关系

• 二元属性：只有两个互斥取值（是/否、真/假），天然具有对立性。

• 多类别离散属性：如颜色（红/蓝/绿），虽无严格对立性，但仍为离散属性。

• 对立性（如二元属性）是离散属性的子集，但离散属性不一定需要对立性。

• 连续性由数值的可分性决定，与对立性无关。

3. 如何科学判断属性类型？

(1) 业务逻辑优先

• 离散：即使数值化（如学历：1=小学, 2=中学），若不可运算（小学+中学≠大学），则为离散。

• 连续：若数值可参与数学运算（如年龄、温度），则为连续。

(2) 数学检验方法

(3) 模型处理需求

• 树模型（如C4.5）可直接处理离散属性。

• 神经网络需对离散属性编码（如One-Hot）。

4. 特殊案例辨析

5. 实际应用建议

1. 预处理策略：
• 离散属性 → 哑编码（One-Hot）或嵌入（Embedding）。
• 连续属性 → 标准化（StandardScaler）或分箱（Binning）。

2. 业务沟通：
• 与领域专家确认属性的可计算性（如“客户等级”看似数值，实为离散标签）。

总结

• 对立性（如二元属性）仅是离散属性的一个子集，不能作为划分离散/连续的普适标准。

• 核心判断依据：属性的取值是否可枚举、是否支持数学运算。

• 模型适配：根据类型选择预处理方法，避免因误判导致性能下降。

核心概念

1. 似然函数（Likelihood Function）：
• 给定参数 θ 时，观测数据 X 的概率（或概率密度）称为似然函数，记作 L(θ∣X)。
• 对于独立同分布（i.i.d.）数据，似然函数是各数据点概率的乘积：L(θ∣X)=i=1∏nP(xi∣θ)

2. 极大似然估计：
• 通过最大化似然函数 L(θ∣X) 找到最优参数 θ^：θ^=argθmaxL(θ∣X)
• 实际计算中常对似然函数取对数（对数似然函数），将乘积转为求和以简化计算：logL(θ∣X)=i=1∑nlogP(xi∣θ)

步骤

1. 定义模型：假设数据服从某个概率分布（如正态分布 N(μσ2)）。

2. 写出似然函数：根据模型和观测数据构建 L(θ∣X)。

3. 最大化似然函数：
• 对似然函数求导（或对数似然函数），令导数为零，解方程得到参数估计值。
• 或使用数值优化方法（如梯度下降）。

例子

性质

• 一致性：当样本量增大时，MLE 收敛到真实参数值。

• 渐近正态性：在大样本下，MLE 服从正态分布。

• 不变性：若 θ^ 是 θ 的 MLE，则 g(θ^) 是 g(θ) 的 MLE。

局限性

• 需要明确概率模型假设。

• 可能因模型复杂导致计算困难（需数值优化）。

• 对少量数据可能过拟合。

与最小二乘法的关系