240 发简信
IP属地:浙江
  • 120
    应该如何理解概率分布函数和概率密度函数?

    大学的时候,我的《概率论和数理统计》这门课一共挂过3次,而且我记得最后一次考过的时候刚刚及格,只有60分。你可以想象我的《概率论》这门课学的是有多差了。后来,我工作以后,在学...

  • 博主您好,有个地方我想问一下就是预训练时候采用的是bert-base 模型,那么微调阶段可以更改其中的transformer层数吗,预训练是12层transformer,那么微调阶段可以改成比如5层,10层这样子吗

    Bert系列(四)——源码解读之Fine-tune

    这是我们源码解读的最后一个部分了。fine-tune搞明白之后推断也就没必要再分析了,反正形式都是一样的,重要的是明白根据不同任务调整输入格式和对loss的构建,这两个知识点...

  • @西溪雷神 谢谢,那就是说是不是用我的数据集执行了run_classifier.py之后保存在output dir里的输出,可以直接拿来对测试集进行文本分类工作,还是说需要再加上其他的比如RNN网络在进行文本分类工作呢

    Bert系列(一)——demo运行

    谷歌推出的Bert,最近有多火,估计做自然语言处理的都知道。据称在SQuAD等11项任务当中达到了state of the art。bert的原理可参考论文,或者网上其他人翻...

  • 大神您好。。我问一个比较初学者的问题,想请教一下bert这个模型是类似于word2vec一样只是一个将词转化成向量的工具。还是类似于LSTM一样可以做具体的任务比如文本分类呢

    Bert系列(一)——demo运行

    谷歌推出的Bert,最近有多火,估计做自然语言处理的都知道。据称在SQuAD等11项任务当中达到了state of the art。bert的原理可参考论文,或者网上其他人翻...