python稍稍入门--机器学习

sha1zhi1yu3

机器学习概述人工智能三大概念AL，ML，DL人工智能

• 仿智； 像人一样机器智能的综合与分析；机器模拟人类
• 是一个系统，像人那样思考 像人那样理性思考  
• 是一个系统，像人那样活动 像人那样合理系统
  

机器学习

• Machine Learning   释义：机器学习
• Field of study that gives computers the ability to learn without being explicitly programmed
• 释义：让机器自动学习，而不是基于规则的编程（不依赖特定规则编程）
• 人类识别车：根据车的特征归纳出车的规律；来了一个新的图片，判断预测是否是车
• 机器学习识别车: 从数据中获取规律；来了一个新的数据，产生一个新的预测
  

深度学习深度学习(DL, Deep Learning) : ，也叫深度神经网络，大脑仿生，设计一层一层的神经元模拟万事万物三者之间的关系人工智能 -> 机器学习 ->深度学习机器学习是实现人工智能的一种途径深度学习是机器学习的一种方法学习方式基于规则的学习•基于规则的预测 ： 程序员根据经验利用手工的if-else方式进行预测但是有好多问题， 无法明确的写下规则，此时我们无法使用规则学习的方式来解决这一类问题，比如：

• 图像和语音识别
• 自然语言处理
  

基于模型的学习基于模型的学习就是通过编写机器学习算法，让机器自己学习从历史数据中获得经验、训练模型：机器学习发展三要素(重要)

• 数据、算法、算力三要素相互作用，是AI发展的基石
  

• CPU：负责调度任务、计算任务等；主要适合I\O密集型的任务
• GPU：更加适合矩阵运算；主要适合计算密集型任务
• TPU：Tensor，专门针对神经网络训练设计一款处理器
  

常见术语(重要)样本，特征，标签/目标值样本(sample) ：一行数据就是一个样本；多个样本组成数据集；有时一条样本被叫成一条记录特征(feature) ：一列数据一个特征，有时也被称为属性标签/目标(label/target) ：模型要预测的那一列数据。y=kx+b 的y 特征如何理解（重点）：特征是从数据中抽取出来的，对结果预测有用的信息  eg:房价预测、车图片识别数据集划分数据集可划分两部分：训练集、测试集  比例：8 : 2，7 : 3 训练集(training set) ：用来训练模型（model）的数据集测试集(testing set)：用来测试模型的数据集算法分类有监督学习

• 定义：输入数据是由输入特征值和目标值所组成，即输入的训练数据有标签的
• 数据集：需要人工标注数据
  

分类

• 目标值（标签值）是不连续的
• 分类种类：二分类、多分类任务、
  

回归目标值（标签值）是连续的无监督学习

• 定义：输入数据没有被标记，即样本数据类别未知，没有标签，根据样本间的相似性，对样本集聚类，以发现事物内部 结构及相互关系。
• 数据集：不需要标注数据
  

无监督学习特点： 1 训练数据无标签 2 根据样本间的相似性对样本集进行聚类，发现事物内部结构及相互关系半监督学习工作原理：1 让专家标注少量数据，利用已经标记的数据（也就是带有类标签）训练出一个模型2 再利用该模型去套用未标记的数据3 通过询问领域专家分类结果与模型分类结果做对比，从而对模型做进一步改善和提高半监督学习方式可大幅降低标记成本机器学习的建模流程(重要)

• 数据获取
• 数据预处理
  • 缺失值
  • 异常值
    
• 特征工程
  • 特征提取
  • 特征预处理
  • 特征降维
  • 特征组合
  • 特征选择
    
• 模型训练
  • 线性回归
  • 逻辑回归
  • 决策数
  • 集成学习
    
• 模型评估
• 模型预测
  

特征工程特征工程从数据集角度来看：    一列一列的数据为特征。从模型训练角度来看： 对预测结果有用的属性为特征特征工程是：利用专业背景知识和技巧处理数据，让机器学习算法效果最好。这个过程就是特征工程Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ”释义：特征工程是困难、耗时、需要专业知识。应用机器学习基础就是特征工程                             数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。1 特征提取从原始数据中提取与任务相关的特征，构成特征向量对于文本、图片这种非行列形式的数据行列形式转换，一旦转换成行列形式一列就是特征2 特征预处理特征对模型产生影响；因量纲问题，有些特征对模型影响大、有些影响小将不同的单位的特征数据转换成同一个范围内使训练数据中不同特征对模型产生较为一致的影响3 特征降维将原始数据的维度降低，叫做特征降维会丢失部分信息。降维就需要保证数据的主要信息要保留下来原始数据会发生变化，不需要了解数据本身是什么含义，它保留了最主要的信息4 特征选择原始数据特征很多，但是对任务相关是其中一个特征集合子集。从特征中选择出一些重要特征（选择就需要根据一些指标来选择）特征选择不会改变原来的数据5 特征组合把多个的特征合并成一个特征。通过加法、乘法等方法将特征值合并模型拟合问题拟合：用来表示模型对样本点的拟合情况欠拟合：模型在训练集上表现很差、在测试集表现也很差原因：模型过于简单过拟合：模型在训练集上表现很好、在测试集表现很差原因：模型太过于复杂、数据不纯、训练数据太少泛化：模型在新数据集（非训练数据）上的表现好坏的能力奥卡姆剃刀原则：给定两个具有相同泛化误差的模型，较简单的模型比较复杂的模型更可取机器学习开发环境基于Python的 scikit-learn 库：

• 简单高效的数据挖掘和数据分析工具
• 建立在NumPy，SciPy和matplotlib上
• pip install scikit-learn
  

pyjiujiu

对定义的看法 这样有点掉书袋
个人理解是，deep learning 是 machine learning 的 “deeper”版本，，deep 就是好多层的 neural network ，（画出来就很直观）

当deep network 的层数 被压到只有1层，这样就不再是 深度学习，而是 shallow learning，，等价于 machine learning
类似的归纳 在英文的教材，是非常直观说明的（建议可直接看 英文版）

yepp1113

Python的教程收藏了一大堆，都是收藏了就当学过了

ifend

Python的教程收藏了一大堆，都是收藏了就当学过了

wananbubu

收藏了就当学过了，Python的教程收藏了一大堆

focusql11

学习学习

renwei3608

感谢分享·~~~~

maXex

ifend 发表于 2024-12-7 21:39
Python的教程收藏了一大堆，都是收藏了就当学过了

唉，书非借不能读

wudavid33

感谢楼主分享，谢谢

tmj2006

感谢楼主分享