感知机和逻辑回归有什么区别?

2020-07-06 10:28发布

4条回答
爱梦 - 拿来吧你
2楼 · 2021-11-25 09:49

两者都为线性分类器,只能处理线性可分的数据。

两者的损失函数有所不同,PLA针对误分类点到超平面的距离总和进行建模,LR使用交叉熵损失建模。

两者的优化方法可以统一为GD\SGD。

LR比PLA的优点之一在于对于激活函数的改进。

前者为sigmoid function,后者为step function。

LR使得最终结果有了概率解释的能力(将结果限制在0-1之间),sigmoid为平滑函数(连续可导),能够得到更好的分类结果,而step function为分段函数,对于分类的结果处理比较粗糙,非0即1,而不是返回一个分类的概率。


慢半拍
3楼 · 2021-11-26 11:52
  1. 1.逻辑回归本质上是回归,回归是需要输出一个连续的数值,所以它寻求的是the probability of positive output given an input.

感知机则是用符号函数输出离散的值。

2. 逻辑回归的loss function 是训练集上的极大似然函数。

感知机是误分数据点到分割超平面的距离的和。

因此优化目标不一样,前者是寻找参数最大化似然。后者是寻找参数最小化误分点到分割平面的距离。虽然都是用梯度下降。


小猪仔
4楼 · 2020-07-06 10:58

简单的感知机其实和逻辑回归类似,都是数据乘上一个回归系数矩阵w得到一个数y,不过感知机不求概率,一般会选取一个分类边界,可能y>0就是A类别,y<0>逻辑回归的损失函数由最大似然推导而来,力图使预测概率分布与真实概率分布接近。感知机的损失函数可能有多种方法,可能有多层感知机,但他们本质的思想都是使预测的结果与真实结果误差更小,是函数拟合,是去求得分类超平面。这是两者最最根本的差异。

超甜的布丁
5楼 · 2021-11-25 10:31

我认为最大的不同是感知机损失函数非凸,但由于可以证明线性可分数据集中感知机模型具备收敛性,因此可以以零误差点为最终学习目标,即损失函数等于0。

逻辑回归的损失函数是凸函数,可以正常的当作最优化问题去求解。但是,在完全线性可分数据集中由于一直单调找不到极值,不设置最大迭代次数梯度下降无法停止,但实际在轮数较多时可能已经找到了满足要求的模型参数,有一定误差点的数据集中表现良好。


相关问题推荐

  • 回答 3

    换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,&#39;\n&#39;是换行,&#39;\t&#39;是tab,&#39;\\&#39;是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...

  • 回答 42

    十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...

  • 回答 70
    已采纳

    前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...

  • 回答 28

    迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...

  • 回答 9

    python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写

  • 回答 6

    第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...

  • 回答 1

    head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...

  • Python入门简单吗2021-09-23 13:21
    回答 45

    挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了

  • 回答 4

    Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...

  • 回答 8

     相当于 ... 这里不是注释

  • 回答 4

    还有FIXME

  • 回答 3

    python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。

  • 回答 8

    单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:#  单行注释print(hello world)注释可以放在代码上面也可以放在代...

  • 回答 2

    主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open(&#39;3_2.txt&#39;,&#39;r&#39;)linecount=len(file.readlines())linecache.getline(&#39;3_2.txt&#39;,linecount)这样做的过程中发现一个问题,...

  • 回答 4

    或许是里面有没被注释的代码

  • 回答 26

    自学的话要看个人情况,可以先在B站找一下视频看一下

没有解决我的问题,去提问