什么是凸函数击凸?

[图片] 最近重新看LR感觉有些地方鈈清楚。首先它没有解析解因为算不出来,只能使用迭代的方式那么它是否有最优解呢?

拍照搜题秒出***,一键查看所有搜题记录

拍照搜题秒出***,一键查看所有搜题记录

凸函数的几何意义是什么?急用!

拍照搜题秒出***,一键查看所有搜题记录

函數曲线的在任意两点的连线上面的是凸函数
任意两点的连线都在函数曲线的下面
任意两点A,B连线中点是C,那么C的纵坐标y_C

都是凸集则 为拟凸函数。

类似嘚有拟凹函数(quasiconcave) 的定义如果一个函数既是拟凸的,又是拟凹的那么它是拟线性(quasilinear) 的。

Reamrks:对于拟线性函数要求其上水平集和下水平集同时昰凸集,因此简单理解其在某种意义上具有“单调性”。比如 等

拟凸函数各种函数的关系

一些常见的拟凸/拟凹/拟线性函数比如

  • (注意 本身不是凸函数,但是是一个保凸变换)

2. 拟凸函数的判定/等价定义

对于普通凸函数有一些等价定义,比如

  • Jensen 不等式 / 凸函数原生定义:

等价定义 1:函数 为拟凸的等价于:定义域为凸集且

Reamrks:这种“降维打击”的定义方式实际上就是要求 沿着任意一个方向都是(拟)凸的,对于一些高维涳间中难以判定凸性而其一维形式又比较简单的函数来说较适用,比如下面的二阶条件的证明

等价定义 3: quasiconvex 等价于:定义域为凸集,且
Remarks:该定义实际上是指 定义了一个 空间中的超平面(作为法向量)该超平面就是某一个下水平集的支撑超平面
需要注意的是,前面讲的对于凸函数来说 定义了一个 空间中的支撑超平面注意二者的不同!!!前者是下水平集的支撑超平面,后者是凸函数 surface 的支撑超平面二者相差┅个维度。

上图中三条封闭曲线代表三个水平集而 就是其中一个水平集的支撑超平面。这可以联想梯度下降法(牛顿下山法)想象这昰一个山谷,每一条线都是一个等高线是山坡地面的法向量,指向空中而则在这个等高线所在的平面内,且指向山体内部与等高线楿切。

对于拟凸函数来说,没有二阶的充分必要条件有充分条件和必要条件。

证明:注意这里对于一维函数 较简单因此可以应用“降维打击”的等价定义进行证明。

3. 拟凸函数的保凸变换

先来复习一下凸函数的保凸变换

  • 单调凸函数与凸函数的复合

拟凸函数的也是类似的主要少了第一个和最后一个,也即拟凸函数的正权重求和不一定是拟凸的也没有透射变换的定义。

3.1 与仿射变换复合

若 拟凸则 也是拟凸的

这个也很简单,因为 的下水平集就是 的下水平集外加仿射变换 仿射变换不改变凸性。

3.2 最大值/上确界

连续情况: 是拟凸的如果

证明佷简单,因为导出函数的下水平集就是多个拟凸函数下水平集的交集当然也是凸集。

如果 为拟凸函数且 单调递增,则 是拟凸的

证明的話也可以从下水平集的角度理解

:若 是拟凸的,则 是拟凸的且 也是拟凸的,其中

原因很简单 的下水平集就是 的下水平集外加一个線性分式变换 ,而线性分式函数也不改变凸性

对于 是拟凸的,则 是拟凸的

证明可以应用 Jensen 不等式

Reamrks:这些保凸变换,前三个都可以直接从丅水平集的角度来理解和证明变换后函数的下水平集都是原始函数下水平集外加一个集合保凸变换,最后一个则不太直观不过也可以甴 Jensen 不等式直接导出。看来要理解拟凸函数还是要多从下水平集的角度来看,并且集合的保凸变换也是很重要的!

参考资料

 

随机推荐