决策树

笔记摘要

  • 决策树可以认为是if-then规则的集合,也可以认为是定义在特征空间上的条件概率分布
  • 根据损失函数最小化的原则建立决策树模型
  • 决策树的路径或其对应的if-then规则集合具有一个重要性质:互斥且完备
  • 决策树的学习算法包含特征选择、决策树的生成与决策树的剪枝
  • 决策树的生成对应于模型的局部选择,决策树的剪枝对应于模型的全局选择

word2vec中的数学原理详解

简介

word2vec最初是由Tomas Mikolov 2013年在ICLR发表的一篇文章Efficient Estimation of Word Representations in Vector Space, 并且开源了代码,作用是将所有词语投影到K维的向量空间,每个词语都可以用一个K维向量表示。由于它简洁,高效的特点,引起了人们的广泛关注,并应用在很多NLP任务中,用于训练相应的词向量。


迁移学习

​ 本章主要简明地介绍了迁移学习的基本概念、迁移学习的必要性、研究领域和基本方法。重点介绍了几大类常用的迁移学习方法:数据分布自适应方法、特征选择方法、子空间学习方法、以及目前最热门的深度迁移学习方法。除此之外,我们也结合最近的一些研究成果对未来迁移学习进行了一些展望。并提供了一些迁移学习领域的常用学习资源,以方便感兴趣的读者快速开始学习。


C++Primer

变量

类型

  • 算术类型

    • 整形
      • 包括char和bool在内
    • 浮点型
      • 单精度
      • 双精度
      • 扩展精度
  • 空类型(void)


Language Modeling

N-Gram

这里首先有个语料库,记录了很多条句子,然后预测给定句子出现的概率。给定一个句子,这里句子的长度为n,也就是\(|V|=n\),第i个单词用字母\(x_i\)表示,那么概率公式表示为:\(P(X_1=x_1,X_2=x_2,...X_n=x_n)\)


Numpy 学习

Python模块中的numpy,这是一个处理数组的强大模块,而该模块也是其他数据分析模块(如pandas和scipy)的核心。下面将从这5个方面来介绍numpu模块的内容:


常用内建模块(下)

Python之所以自称 “batteries included”,就是因为内置了许多非常有用的模块,无需额外安装和配置,即可直接使用。

本章将介绍一些常用的内建模块。