本站动态
联系我们
QQ：3949358033
工作时间：9:00-24:00
| 神经网络和无反向传播机器学习模型中的特征学习机制 |
| 来源：一起赢论文网 日期：2024-03-09 浏览数：84 【 字体： 大 中 小 大 中 小 大 中 小 】 |
|
参考资料和注释
1
K. Tunyasuvunakool， J. Adler， Z. Wu， T. Green， M. Zielinski， A. Žídek， A. Bridgland， A. Cowie， C. Meyer， A. Laydon， S. Velankar， G. J. Kleywegt， A. Bateman， R. Evans， A. Pritzel， M. Figurnov， O. Ronneberger， R. Bates， S. A. A. Kohl， A. Potapenko， A. J. Ballard， B. Romera-Paredes， S. Nikolov， R. Jain， E. Clancy， D. Reiman， S. Petersen、AW Senior、K. Kavukcuoglu、E. Birney、P. Kohli、J. Jumper、D. Hassabis，人类蛋白质组的高精度蛋白质结构预测。自然596， 590–596 （2021）。
交叉引用
PUBMED的
ISI公司
GOOGLE 学术搜索
2
K. He， X. Zhang， S. 任， J. Sun， “Deep residual learning for image recognition”，载于2016年IEEE计算机视觉和模式识别会议论文集（2016年），第770-778页。
交叉引用
GOOGLE 学术搜索
3
A. Radford， J. Wu， R. Child， D. Luan， D. Amodei， I. Sutskever， 语言模型是无监督的多任务学习者。OpenAI 博客1（8）， 9 （2019）.
GOOGLE 学术搜索
4
Z. Shi， J. Wei， Y. Lian， “A theoretical analysis on feature learning in neural networks： Emerge from inputs and advantage over fixed features”，载于 2022 年学习表示国际会议论文集 （2022）。
GOOGLE 学术搜索
5
G. Yang， E. J. 胡，“张量程序 IV：无限宽度神经网络中的特征学习”，载于 2021年机器学习国际会议论文集 （PMLR 2021），第 11727-11737 页。
GOOGLE 学术搜索
6
A. Bietti、J. Bruna、C. Sanford、MJ Song，“使用浅层神经网络学习单索引模型”，载于《神经信息处理系统进展》（Curran Associates，2022 年），第 9768–9783 页。
GOOGLE 学术搜索
7
J. Ba、MA Erdogdu、T. Suzuki、Z. Wang、D. Wu、G. Yang，“特征学习的高维渐近：一个梯度步骤如何改善表示”，载于《神经信息处理系统进展》（Curran Associates，2022 年），第 37932–37946 页。
GOOGLE 学术搜索
8
A. Damian、J. Lee、M. Soltanolkotabi，“神经网络可以学习梯度下降的表示”，载于学习理论会议 （PMLR，2022 年），第 5413–5452 页。
GOOGLE 学术搜索
9
E. Abbe、E. Boix-Adsera、T. Misiakiewicz，“合并楼梯属性：两层神经网络上稀疏函数的 sgd 学习的必要且几乎充分的条件”，学习理论会议 （PMLR，2022 年），第 4782-4887 页。
GOOGLE 学术搜索
10
A. Daniely、E. Malach，“神经信息处理系统进展”中的“使用神经网络学习奇偶校验”（Curran Associates，2020 年），第 20356–20365 页。
GOOGLE 学术搜索
11
A. Jacot，“学习特征中的瓶颈结构：低维与规律性权衡”，载于《神经信息处理系统进展》（Curran Associates，2023 年）。
GOOGLE 学术搜索
12
S. Karp、E. Winston、Y. Li、A. Singh，“局部信号自适应性：超越内核的神经网络中的可证明特征学习”，载于《神经信息处理系统进展》（Curran Associates，2021 年），第 24883–24897 页。
GOOGLE 学术搜索
13
P. M. Long， Properties of the after kernel， arXiv：2105.10585[cs.LG]（2021 年）。
GOOGLE 学术搜索
14
N. Vyas， Y. Bansal， P. Nakkiran， Limitations of the ntk for understanding generalization in deep learning， arXiv：2206.10012[cs.LG]（2022 年）。
GOOGLE 学术搜索
15
A. Kolesnikov、A. Dosovitskiy、D. Weissenborn、G. Heigold、J. Uszkoreit、L. Beyer、M. Minderer、M. Dehghani、N. Houlsby、S. Gelly、T. Unterthiner、X. Zhai，“图像值 16x16 字：用于大规模图像识别的转换器”，载于 2021 年学习表征国际会议论文集（2021 年）。
GOOGLE 学术搜索
16
K. Simonyan， A. Zisserman，“用于大规模图像识别的非常深的卷积网络”，载于 2015 年学习表示国际会议论文集（2015 年）。
GOOGLE 学术搜索
17
A. Krizhevsky、I. Sutskever、G. E. Hinton，“Imagenet classification with deep convolutional neural networks”，载于《神经信息处理系统进展》（Curran Associates，2012 年），第 1097–1105 页。
GOOGLE 学术搜索
18
B. Schölkopf， A. J. Smola， Learning with Kernels： Support Vector Machines， Regularization， Optimization， and Beyond（麻省理工学院出版社，2002 年）。
GOOGLE 学术搜索
19
A. Jacot、F. Gabriel、C. Hongler，“神经切线核：神经网络中的收敛和泛化”，载于《神经信息处理系统进展》（Curran Associates，2018 年），第 8571–8580 页。
GOOGLE 学术搜索
20
S. Arora， S. S. Du， W. 胡， Z. Li， R. Salakhutdinov， R. Wang， “On exact computation with an infinitely wide neural net” in Advances in Neural Information Processing Systems （Curran Associates， 2019）， pp. 8141–8150.
GOOGLE 学术搜索
21
R. Novak、L. Xiao、J. Hron、J. Lee、A. A. Alemi、J. Sohl-Dickstein、S. Schoenholz，“Neural Tangents： Fast and easy infinite neural networks in Python”，载于 2020 年国际学习表示会议论文集 （2020）。
GOOGLE 学术搜索
22
M. D. Zeiler， R. Fergus， “Visualizing and understanding convolutional networks”， in Proceedings of the 2014 European Conference on Computer Vision （Springer， 2014），第 818–833 页。
交叉引用
GOOGLE 学术搜索
23
A.瓦斯瓦尼，N.沙泽尔，N.帕尔马，J.乌斯科雷特，L.琼斯，A.N.戈麦斯，Ł
.Kaiser， I. Polosukhin，“Attention is all you need”，载于《神经信息处理系统进展》（Curran Associates，2017 年），第 5998-6008 页。
GOOGLE 学术搜索
24
K. Cho、B. van Merriënboer、C. Gulcehre、D. Bahdanau、F. Bougares、H. Schwenk、Y. Bengio，“使用 RNN 编码器-解码器进行统计机器翻译的学习短语表示”，载于 2014 年自然语言处理经验方法会议论文集（计算语言学协会，2014 年），第 1724–1734 页。
交叉引用
GOOGLE 学术搜索
25
G. Dar， M. Geva， A. Gupta， J. Berant， 分析嵌入空间中的变压器。arXiv：2209.02535[cs.CL]（2022 年）。
GOOGLE 学术搜索
26
R. Eldan， Y. Li， Tinystories：语言模型能有多小，还能说连贯的英语？arXiv：2305.07759[cs.CL]（2023 年）。
GOOGLE 学术搜索
27
O.鲁萨科夫斯基，J.邓，H.苏，J.克劳斯，S.萨西什，S.马，Z.黄，A.卡帕西，A.科斯拉，M.伯恩斯坦，A.C.伯格，F.-F.Li，ImageNet大规模视觉识别挑战。Int. J. Comput. Vis.115， 211–252 （2015）.
转到参考
交叉引用
ISI公司
GOOGLE 学术搜索
28
R. R. Selvaraju、M. Cogswell、A. Das、R. Vedantam、D. Parikh、D. Batra，“Grad-cam： Visual explanations from deep networks via gradient-based localization”，载于 2017 年计算机视觉国际会议论文集（IEEE，2017 年），第 618–626 页。
交叉引用
GOOGLE 学术搜索
29
Z. Liu， P. Luo， X. Wang， X. Tang，“Deep learning face attributes in the wild”，载于 Proceedings of the 2015 International Conference on Computer Vision （IEEE， 2015），第 3730-3738 页。
交叉引用
GOOGLE 学术搜索
30
M. Fernández-Delgado， E. Cernadas， S. Barro， D. Amorim， 我们需要数百个分类器来解决现实世界的分类问题吗？J. Mach. 学习. Res.15， 3133–3181 （2014）.
转到参考
ISI公司
GOOGLE 学术搜索
31
L. Grinsztajn、E. Oyallon、G. Varoquaux，“为什么基于树的模型在典型的表格数据上仍然优于深度学习？
转到参考
GOOGLE 学术搜索
32
J. Bruna， S. Mallat， 不变散射卷积网络.IEEE Trans. Pattern Anal. Mach. Intell.35， 1872–1886 （2013）.
交叉引用
PUBMED的
ISI公司
GOOGLE 学术搜索
33
L. Ouyang， J. Wu， X. 江， D. Almeida， C. Wainwright， P. Mishkin， C. Zhang， S. Agarwal， K. Slama， A. Ray， “训练语言模型遵循人类反馈指令”，载于《神经信息处理系统进展》（Curran Associates，2022），第 27730–27744 页。
GOOGLE 学术搜索
34
R. Tibshirani，通过套索的回归收缩和选择。J. R. Stat. Soc. B58， 267–288 （1996）。
交叉引用
GOOGLE 学术搜索
35
S. Trivedi、J. Wang、S. Kpotufe、G. Shakhnarovich，“预期梯度外积的一致估计器”，载于《人工智能中的不确定性》（Morgan Kaufmann，2014 年），第 819-828 页。
GOOGLE 学术搜索
36
W. Härdle， T. M. Stoker， 通过平均导数法研究平滑多元回归。J. Am. Stat. Assoc.84， 986–995 （1989年）。
交叉引用
ISI公司
GOOGLE 学术搜索
37
S.慕克吉，D.-X.周，J. Shawe-Taylor，通过梯度学习坐标协方差。J. Mach. 学习. Res.7， 519–549 （2006）.
ISI公司
GOOGLE 学术搜索
38
T. Wolf， L. Debut， V. Sanh， J. Chaumond， C. Delangue， A. Moi， P. Cistac， T. Rault， R. Louf， M. Funtowicz， J. Davison， S. Shleifer， P. von Platen， C. 马， Y. Jernite， J. Plu， C. Xu， T. L. Scao， S. Gugger， M. Drame， Q. Lhoest， A. M. Rush， “Transformers： State-of-the-art natural language processing” in the Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing： 系统演示（计算语言学协会，2020 年），第 38-45 页。
转到参考
交叉引用
GOOGLE 学术搜索
39
A. Karpathy，nanogpt（2022 年）;https://github.com/karpathy/nanoGPT。
转到参考
GOOGLE 学术搜索
40
S. Arora， S. S. Du， Z. Li， R. Salakhutdinov， R. Wang， D. Yu，“Harnessing the power of infinitely wide deep nets on small-data tasks”，载于 2020 年学习表示国际会议论文集（2020 年）。
转到参考
GOOGLE 学术搜索
41
A. Radhakrishnan、D. Beaglehole、P. Pandit、M. Belkin，第 1 版，agop_feature_learning （2024）; .
转到参考
交叉引用
GOOGLE 学术搜索
42
Y. Netzer， T. Wang， A. Coates， A. Bissacco， B. Wu， A. Y. Ng，“使用无监督特征学习读取自然图像中的数字”，载于《神经信息处理系统进展深度学习和无监督特征学习研讨会》（2011 年）。
GOOGLE 学术搜索
43
A. Paszke， S. Gross， F. Massa， A. Lerer， J. Bradbury， G. Chanan， T. Killeen， Z. Lin， N. Gimelshein， L. Antiga， A. Desmaison， A. Kopf， E. Yang， Z. DeVito， M. Raison， A. Tejani， S. Chilamkurthy， B. Steiner， L. Fang， J. Bai， S. Chintala， “Pytorch： An imperative style， high-performance deep learning library” in Advances in Neural Information Processing Systems （Curran Associates， 2019 年），第 8026–8037 页。
转到参考
GOOGLE 学术搜索
44
S. Robertson，NLP from scratch：使用字符级 RNN 生成名称（2024 年）;https://pytorch.org/tutorials/intermediate/char_rnn_generation_tutorial.html。
GOOGLE 学术搜索
45
N. Barhate，char-RNN（字符级语言模型）的 Pytorch 实现;https://github.com/nikhilbarhate99/Char-RNN-PyTorch。
GOOGLE 学术搜索
46
S. H. Hasanpour， M. Rouhani， M. Fayyaz， M. Sabokrou， 让我们保持简单，使用简单的架构来超越更深层次和更复杂的架构。arXiv：1608.06037[cs.简历]（2016 年）。
GOOGLE 学术搜索
47
S. Maji、E. Rahtu、J. Kannala、M. Blaschko、A. Vedaldi，飞机的细粒度视觉分类。arXiv：1306.5151[cs.LG]（2013 年）。
GOOGLE 学术搜索
48
BS Veeling、J. Linmans、J. Winkens、T. Cohen、M. Welling，“用于数字病理学的旋转等变 CNN”，载于《医学图像计算和计算机辅助干预》（Springer，2018 年），第 210-218 页。
GOOGLE 学术搜索
49
A. Krizhevsky，“从微小的图像中学习多层特征”，硕士论文，多伦多大学（2009 年）。
GOOGLE 学术搜索
50
A. Coates、H. Lee、A. Y. Ng，“无监督特征学习中单层网络的分析”，载于 2011 年人工智能与统计国际会议论文集 （JMLR，2011 年），第 215-223 页。
GOOGLE 学术搜索
51
S. Houben、J. Stallkamp、J. Salmen、M. Schlipsing、C. Igel，“真实世界图像中的交通标志检测：德国交通标志检测基准”，2013 年国际神经网络联合会议论文集（IEEE，2013 年），第 1-8 页。
交叉引用
GOOGLE 学术搜索
52
F.-F. 李， M. 安德烈托， M. 兰扎托， P. 佩罗纳.加州理工学院 101 （2022）;
交叉引用
GOOGLE 学术搜索
53
M. Cimpoi、S. Maji、I. Kokkinos、S. Mohamed、A. Vedaldi，“Describe textures in the wild”，载于 2014 年 IEEE 计算机视觉和模式识别会议论文集（IEEE，2014 年），第 3606-3613 页。
交叉引用
GOOGLE 学术搜索
54
C. Yadav、L. Bottou，“冷案例：丢失的 mnist 数字”，载于 Advances in Neural Information Processing Systems 32 （Curran Associates， 2019），第 13443–13452 页。
GOOGLE 学术搜索
55
G. Cohen、S. Afshar、J. Tapson、A. Van Schaik，“Emnist：将 mnist 扩展到手写字母”，载于 2017 年神经网络国际联合会议论文集（IEEE，2017 年），第 2921–2926 页。
交叉引用
GOOGLE 学术搜索
56
D. P. Kingma， J. Ba， “Adam： A method for stochastic optimization” in Proceedings of the 2015 International Conference on Learning Representations （2015）.
GOOGLE 学术搜索
57
S. Ma, M. Belkin, “Kernel machines that adapt to GPUs for effective large batch training” in Proceedings of Machine Learning and Systems (2019), pp. 360–373.
GOOGLE SCHOLAR
58
S. van der Walt, S. C. Colbert, G. Varoquaux, The numpy array: A structure for efficient numerical computation. Comput. Sci. Eng.13, 22–30 (2011).
CROSSREF
ISI
GOOGLE SCHOLAR
59
F. Pedregosa， G. Varoquaux， A. Gramfort， V. Michel， B. Thirion， O. Grisel， M. Blondel， P. Prettenhofer， R. Weiss， V. Dubourg， J. Vanderplas， A. Passos， D. Cournapeau， M. Brucher， M. Perrot， E. Duchesnay， Scikit-learn： Machine Learning in Python.J. Mach. 学习. Res.12， 2825–2830 （2011）.
ISI公司
GOOGLE 学术搜索
60
S. Arora、N. Cohen、E. Hazan，“关于深度网络的优化：通过过度参数化实现隐式加速”，载于 2018 年机器学习国际会议论文集 （PMLR，2018 年），第 244-253 页。
GOOGLE 学术搜索
61
S. Arora， N. Cohen， N. Golowich， W. 胡， “深度线性神经网络梯度下降的收敛分析”，载于 2019 年国际学习表示会议论文集（2019 年）。
GOOGLE 学术搜索
62
S. Singla， S. Feizi， “Salient ImageNet： How to discover spurious features in deep learning？” in Proceedings of the 2022 International Conference on Learning Representations （2022）.
GOOGLE 学术搜索
63
A. Ilyas、S. Santurkar、D. Tsipras、L. Engstrom、B. Tran、A. Madry，“对抗性示例不是错误，而是特征”，载于《神经信息处理系统进展》（Curran Associates，2019 年），第 125-136 页。
GOOGLE 学术搜索
64
J. K. Winkler、C. Fink、F. Toberer、A. Enk、T. Deinlein、R. Hofmann-Wellenhof、L. Thomas、A. Lallas、A. Blum、W. Stolz、H. A. Haenssle，皮肤镜图像中的手术皮肤标记与用于黑色素瘤识别的深度学习卷积神经网络的诊断性能之间的关联。美国医学会皮肤杂志。155， 1135–1141 （2019）.
交叉引用
PUBMED的
ISI公司
GOOGLE 学术搜索
65
H. Shah、K. Tamuly、A. Raghunathan、P. Jain、P. Netrapalli，“神经网络中简单性偏差的陷阱”，载于《神经信息处理系统进展》（Curran Associates，2020 年），第 9573–9585 页。
GOOGLE 学术搜索
66
Y. Lecun， L. Bottou， Y. Bengio， P. Haffner， 应用于文档识别的基于梯度的学习。IEEE86， 2278–2324 （1998） 论文集。
交叉引用
ISI公司
GOOGLE 学术搜索
67
G. Wahba，观测数据样条模型（SIAM，1990 年）。
交叉引用
GOOGLE 学术搜索
68
M. Andreux、T. Angles、G. Exarchakis、R. Leonarduzzi、G. Rochette、L. Thiry、J. Zarka、S. Mallat、J. Andén、E. Belilovsky、J. Bruna、V. Lostanlen、M. Chaudhary、MJ Hirn、E. Oyallon、S. Zhang、C. Cella、M. Eickenberg、Kymatio：Python 中的散射变换。J. Mach. 学习. Res.21， 1–6 （2020）.
PUBMED的
ISI公司
GOOGLE 学术搜索
69
J. Lee、S. Schoenholz、J. Pennington、B. Adlam、L. Xiao、R. Novak、J. Sohl-Dickstein，“有限与无限神经网络：一项实证研究”，载于《神经信息处理系统进展》（Curran Associates，2020 年），第 15156–15172 页。
GOOGLE 学术搜索
70
T. Chen， C. Guestrin， “XGBoost： A scalable tree boosting system” in Proceedings of the 2016 ACM SIGKDD International Conference on Knowledge Discovery and Data Mining （ACM， 2016），第 785–794 页。
交叉引用
GOOGLE 学术搜索
71
G. Somepalli、M. Goldblum、A. Schwarzschild、C. B. Bruss、T. Goldstein、Saint：通过行注意力和对比预训练改进了表格数据的神经网络。arXiv：2106.01342[cs.LG]（2021 年）。
GOOGLE 学术搜索
72
I. Rubachev、A. Alekberov、Y. Gorishniy、A. Babenko，重新审视表格深度学习的预训练目标。arXiv：2207.03208[cs.LG]（2022 年）。 |
| [返回] |
下一篇：改进的机器学习算法，用于预测基态属性