怎么做没有后台程序的网站如何申请百度竞价排名
不知是否有前人想过这个激活函数,我没找到。。。
做GAN的实验,发现很多实现都是在生成器最后一层使用Tanh函数,不过Tanh不是和Sigmod一样存在饱和问题吗?
然后想用不会饱和Log函数来实现。
TwiceLog曲线跟Tanh曲线类似,不过没有上下界
class TwiceLog(torch.jit.ScriptModule):__constants__ = ['scale']def __init__(self, scale=1.):super().__init__()self.scale = scale@torch.jit.script_methoddef forward(self, x):""":type x: torch.Tensor"""x = torch.where(x != 0, torch.log(torch.abs(x)+1) * torch.sign(x), x)x = x * self.scalereturn x