daidingdaiding——ML之Activation function:机器学习、深度学习中常用的激活函数配图、代码集合

Source
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_41185868/article/details/88702694

daidingdaidingdaiding——ML之Activation function:机器学习、深度学习中常用的激活函数配图、代码集合

一、激活函数各自图像

softplus

relus

ReLU系列对比

swish

import numpy as np

def softmax(L):
    exp_L = np.exp(L)
    sum = np.sum(exp_L)
    return exp_L/sum

 

二、