Avatar notebook default
Deep Learning
10篇文章 · 5082字 · 0人关注
  • Pytorch Geometric中的图神经网络GAT是如何实现的？

    最近在使用Pytorch Geometric, 这个包收集了最新的图神经网络的Pytorch实现。这篇文章想研究下它是怎么实现GAT（Graph...

    0.1 3685 0 1
  • Pytorch Lightning系列 如何使用ModelCheckpoint

    在训练机器学习模型时，经常需要缓存模型。ModelCheckpoint是Pytorch Lightning中的一个Callback，它就是用于模...

    9717 0 0
  • Resize,w 360,h 240
    weights & biases

    这里推荐下最近经常使用的一款机器学习训练小帮手https://www.wandb.com/，它几乎完全替代了我之前使用的TensorBoard。...

    0.4 1858 0 2
  • Resize,w 360,h 240
    Adagrad优化器

    Adagrad和Adam一样，也是一种自适应学习率算法 Pytorch是这么实现的： 其中state['sum']即算法中的r，累计梯度平方和。

    442 0 0
  • Resize,w 360,h 240
    Adam优化器的Initialization Bias Correction

    如上图所示，算法中涉及两个滑动平均和。是梯度的滑动平均，是梯度的平方的的滑动平均。问题出在这两个变量的初始化，它们都被初始化为0，那么在迭代之初...

    0.1 1840 0 1
  • Resize,w 360,h 240
    Higher Library

    Higher是FAIR开源的一个元学习框架，主要针对gradient-based meta-learning。在gradient-based m...

    1251 2 0
  • Pytorch Basic

    Pytorch是一个深度学习框架,适合作为深度学习研究平台。 Pytorch的优点 基于GPU的Tensor运算,堪称GPU上的numpy 动态...

    1310 0 3
  • Keras Callbacks

    在每个training/epoch/batch结束时，如果我们想执行某些任务，例如模型缓存、输出日志、计算当前的auc等等，Keras中的cal...

    5682 0 2
  • Resize,w 360,h 240
    循环神经网络

    本文介绍RNNs及一种广泛应用的RNNs——LSTM。 Motivations 人类的思维并非每时每刻都从0开始，我们需要基于之前的理解来构造当...

    1141 0 3

文集作者