线性模型–分类例子
二维
多维
感知机
感知机的三种表达方式:
含多个w的感知机的表达方式:
激活函数:
线性函数与激活函数:
感知机与神经元:
第一步:
感知机创建了一个函数集(无数多的线性函数)
create a function set
误差函数(损失函数)
误差函数用于评价模型的好坏
降低误差高度:
离散 vs. 连续:
误差函数应该是连续和可微的:
离散预测 vs. 连续预测:
离散激活函数 vs. 连续激活函数:
离散的感知机 vs. 连续的感知机:
通过sigmoid函数, 将线性函数的输出结果变为概率:
最大似然法:
交叉熵
最大似然法存在的问题:
当数据点很多时, 所得乘积会很小, 不便于比较, 需要转化为加法, 使用log函数
交叉熵公式: 概率, 取对数, 取负数, 求和, 值越小越好
交叉熵公式是一种误差公式
误差函数公式
第二步:
定义什么样的模型是好的
define goodness of function
梯度下降算法
其中:
\(\alpha\)称为学习率(learning rate), 用于调整每次迭代的宽度
当计算出来的微分小于0时, 增加w; 大于0时, 减少w
第三步:
获得最好(次好)的模型
get the best function
