A.激活函数需要具有线性可微的特点
B.Sigmoid函数的导数是非零的,很容易计算
C.Sigmoid函数的输出值域是对称的
D.ReLU函数主要缺点是相比于Sigmoid、Tanh函数其计算低效
A.初始化参数(Parameter),子模块(Ce11),算子(Primitive)等组件,进行初始化的校验
B.construct,定义执行的过程。图模式时,会被编译成图来执行,没有语法限制
C.还有一些optim常用优化器、wrap常用网络包装函数等预定义Cell
D.bprop(可选),自定义模块的反向