nlp贪心学院——时序模型、HMM、隐变量模型、EM算法
任务225: 时序模型
随时间维度变化的
每时每刻有相关性(t时刻数据t 1时刻数据有相关性)
时序数据长度不确定
时序数据:如股票价格、语音、文本、温度
任务226: HMM的介绍
观测值、隐式变量
z是一个隐式的状态
可以是生成模型,从状态生成观测值
也可以是判别模型
任务227: HMM的应用例子
掷硬币案例
A硬币出现正面的概率是 μ 1 \mu_{1} μ1
B硬币出现正面的概率是 μ 2 \mu_{2} μ2
小明和我隔着一块不透明的布
小明有自己的顺序投A还是投B,我只能看到硬币最后是正面还是反面朝上
由此产生两个问题
(1)inference问题
(2)parameter estimation参数估计问题
(3)P(正反正…),计算边缘概率
能不能通过观测值估算出所有的参数,能不能通过参数知道抛硬币的次序
词性标注案例
任务228: HMM的参数
A——状态转移的概率,从一个状态变成另一个状态
B——生成的概率,某一个状态下看到某个观测值的概率
π \pi π——某个状态是句首单词状态的概率
估计参数
(1)(x已知,z已知)complete case——>mle估计参数
(2)(x已知,z未知)incomplete case——>EM算法
任务229: HMM中的Inference问题
已知观测值、已知参数的情况下讨论
第一种方法:使用枚举法
枚举z不同情况的组合
第二种方法:使用维特比算法
动态规划适合解决指数级别的复杂度,但可以通过存储中间的过程来去减轻计算量
维特比算法为什么适合HMM?
HMM有限制条件——隐式变量 z i z_{i} zi只会和前后 z i z_{i} zi有联系
从左到右,每一列填好,找出最后一列哪个结点分数最大,反向把整条路径找出来
任务230-232: HMM中的F B算法
通过forward和backward算法,可以计算P( z k z_{k} zk ∣ | ∣ x x x)的概率,方便后续的参数估计
任务233: Data Representation
原先的特征存在的问题
(1)冗余
(2)噪音
(3)有些特征不需要
更低维的空间有更好的特征表示方法
任务234: Latent Variable Models(隐变量模型)
隐变量模型——>EM算法解决掉
HMM,GMM(kmeans是其特例)都是经典的隐变量模型
传统逻辑回归(x,y)先在多了一个变量z——隐变量
隐变量gender、eye color、hair color、pose生成图片
x的维度比z的维度更高
现有z后有x
z之间有相关性
x之间没有相关性
任务235: Complete vs Incomplete Case
参数估计时
任务236: MLE for Complete and Incomplete Case
任务237: EM Derivation
任务238: Remarks on EM
EM算法不能保证全局最优解,只能保证局部最优解
EM算法,严格递增(一定会converge收敛)
任务239: K-means
任务240: K-means Cost Function
任务241: MLE for GMM
没有 ∑ \sum ∑就是kmeans
任务244: HMM中的参数
任务245: Complete vs Incomplete Case
任务247: Incomplete Case
任务248: EM算法回顾
先求z的期望,再求ln这个式子
任务249: F B算法回顾
任务250: 估计PI
任务251: 估计B
任务252: 估计A
这里讨论观测、状态变量都是离散的HMM的情况
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfiihga
-
photoshop蒙版画笔没反应怎么办
PHP中文网 06-24 -
微信小程序没声音怎么办
PHP中文网 06-15 -
微信提示登录环境异常是什么意思原因
PHP中文网 04-09 -
excel图片置于文字下方的方法
PHP中文网 06-27 -
使用云服务器搭建个人游戏加速器教程
AuroraJay 07-06 -
微信运动停用后别人还能看到步数吗
PHP中文网 07-22 -
微信人名旁边有个图标有什么用
PHP中文网 03-11 -
Excel筛选和排序是灰色的怎么办
PHP中文网 06-22 -
抖音国际版要用什么加速器能流畅刷Tiktok的加速器
TK小达人 08-02 -
键盘上的负数是哪个键
PHP中文网 03-17