参考:https://www.zhihu.com/question/440729199/answer/2629696353
不结合损失函数地考虑模型输出值,都是耍流氓:
负对数似然,交叉熵损失。
假设:预估值与label的误差服从伯努利分布,则误差的最大似然即为NLL/CE。
2-范数,即MSE,均方差损失。
假设:预估值与label的误差服从高斯分布(实际操作时看label分布即可),则误差的最大似然即为L2。
特点:容易受到异常值影响(因为异常值的梯度会更大,故导致模型学偏;而实际上异常值占比微乎其微(如果符合高斯分布的话),模型不应该给予太多关注)。
Ranked Probability Score,设计为累计分布的MSE,用来衡量有等级大小关系的多分类loss。将样本『是否属于第k档的分类任务』转换为『是否小于第k档的分类任务』,由此将等级大小关系建模进来。 \[ \begin{align*} RPS &= \frac{1}{K-1} \sum_{k=1}^{K-1}(F_k - T_k)^2 \\ where, \quad F_k &= \sum_{j=1}^{k} q_j \quad (即模型预估的累积概率) \\ T_k &= \{^{0, \quad k<\text{GT}}_{1, \quad k \ge \text{GT}} \end{align*} \]
Brier Score(MSE) ──(作用在累积概率上)──► RPS(等权)
│
再加一个 w(p) 概率加权
▼
Decision-Weighted Scoring Rule(挑高置信区间加重)该损失函数通常与 NLL/CE 结合使用,原因如下:
1-范数,即MAE。
假设:预估值与label的误差服从拉普拉斯分布,则最大似然即为L1。
特点:对异常点更鲁棒,但收敛速度慢。
平滑版的L1,即在0点附近改为L2
Weighted Logistics regression
通过把一个 label 为 T 的样本当做T个正样本(和一个负样本),在统计意义上推导保证了预估的无偏。
假设:label 服从几何分布
让回归预测偏向某个方向
\[ loss = \{^{-\alpha (1-y')^\gamma \log y', y=1} _{-(1-\alpha)(y')^\gamma \log (1-y'), y=0}. \]
一阶目标检测:对于二阶目标检测算法,有特征重采样过程,可在该过程中通过固定正负样本比例或在线困难样本挖掘(OHEM)使得前景和背景相对平衡;而一阶目标检测算法最多只能在数据集上做固定正负样本比例的处理,训练会被大量易分样本主导,导致模型难以收敛至更优解,focal loss 用 Boost 的方法解决了这个问题。
主要解决的是正/负样本少的问题,其核心便是如何做样本增强来给CL训练。
对比学习的指导原则是:通过自动构造相似实例和不相似实例,要求习得一个表示学习模型,通过这个模型,使得相似的实例在投影空间中比较接近,而不相似的实例在投影空间中距离比较远。而如何构造相似实例和不相似实例、如何构造能够遵循该指导原则的表示学习模型结构、如何防止模型坍塌(Model Collapse),这几个点是对比学习的关键。
infoNCE损失
https://www.cnblogs.com/pyclq/p/16521826.html
https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/ZRvpK-trlS/zxGXIDbu2Tmj7H
https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/ZRvpK-trlS/9mWVJsY2cruo4S
CV:
NLP:
Rec:
通过双曲空间的距离做度量,而非欧式空间的距离(内积、余弦相似度等),距离作为score可套进上述各种loss里,用于建模具有层级结构的label。实际操作一般是将最后输出的切空间向量转换为双曲空间向量,再做计算,具体实现参考:https://anonymous.4open.science/r/HypRQ-VAE-6C5B/README.md。
TrAdaBoost