形式ニューロンに関する元論文は:W.S. McCulloch, W. Pitts, “A logical calculus of the ideas immanent in nervous activity”, Bulletin of Mathematical Biophysics 5, 115– 133 (1943). ただし定理を証明していくスタイルの数学論文なので,数学的基礎付けに興味のある人向けです.
普遍性定理の元論文は:G. Cybenko“, Approximation by superpositions of a sigmoidal function”, Mathematics of Control, Signals, and Systems 2, 303-314 (1989). 大学レベルの線型代数と解析学の知識があれば読みこなせるので意欲的な人には原著論文の読破をお勧めします.
順伝播型ニューラルネットワークの浅いものと深いものの隠れニューロン数については:S. Liang, R. Srikant“, Why Deep Neural Networks for Function Approximation?”, arXiv:1610.04161 [cs.LG] (published as a conference paper at ICLR 2017).
グラフニューラルネットワークの最初の元論文は:M. Gori, G. Monfardini, F. Scarselli, “A new model for learning in graph domains”, Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., 2005, pp. 729-734 vol. 2. この段階では今日で言う空間法で定式化されている.スペクトル法については:J. Bruna, W. Zaremba, A. Szlam, Y. LeCun,“Spectral Networks and Locally Connected Networks on Graphs”, arXiv:1312.6203 [cs.LG]. 最初の空間法のレヴューもすっきりして読み易いのでお勧めです.
Adam を提唱した元論文は:D.P. Kingma, J.L. Ba“, Adam: A Method for Stochastic Optimization”, arXiv:1412.6980 [cs.LG] (published as a conferencepaper at ICLR 2015). 変数の記法が本書とは少し違うので注意.
この節から以降で頻繁に登場するPython や Google Colab の使い方については:『これならわかる機械学習入門』 著・富谷昭夫(講談社) にプログラミング未経験者向けの解説があります.
本書で紹介した関数フィットの問題は次の論文で詳しく議論されています:Y. Fujimoto, K. Fukushima, K. Murase,“ Extensive Studies of the Neutron Star Equation of State from the Deep Learning Inference with the Observational Data Augmentation”, Journal of High Energy Physics 2021, 273 (2021), arXiv:2101.08156 [nucl-th].
PINN について比較的分かりやすいレヴューは:G.E. Karniadakis, I.G. Kevrekidis, L. Lu, P. Perdikaris, S. Wang, L. Yang, “Physics-informed machine learning”, Nature Reviews Physics 3, 422– 440 (2021).
一般化 Ising 模型に対するY−Δ 変換や,そのモンテカルロ・シミュレーションへの応用については:N. Yoshioka, Y. Akagi, H. Katsura, “Transforming generalized Ising models into Boltzmann machines”, Phys. Rev. E 99, 032113 (2019), arXiv:1812.05269 [cond-mat].
ディープラーニングを用いた乱れのあるトポロジカル超伝導体の模型の相分類についての論文は:N. Yoshioka, Y. Akagi, H. Katsura, “Learning Disordered Topological Phases by Statistical Recovery of Symmetry”, Phys. Rev. B 97, 205110 (2018), arXiv:1709.05790 [cond-mat].
6.2.2 節で紹介した Chern 絶縁体のモデルについては:X-L. Qi, T. L. Hughes, S-C. Zhang, Phys. Rev. B 78, 195424 (2008), arXiv:0802.3537 [cond-mat].
乱れのある電子系における量子相転移へのディープラーニングの応用については, 大槻東巳らによる総説があります: T. Ohtsuki, T. Mano“, Drawing Phase Diagrams of Random Quantum Systems by Deep Learning the Wave Functions”, J. Phys. Soc. Jpn. 89, 022001 (2020), arXiv:1909.09821 [cond-mat].
Gauss 過程とディープラーニングの関係については,最近の文献からこれまでの仕事も遡ることができます.最近の Google Brain による数値実験の文献としては:J. Lee, Y. Bahri, R. Novak, S.S. Schoenholz, J. Pennington, J. Sohl-Dickstein, “Deep Neural Networks as Gaussian Processes”, arXiv:1711.00165 [stat.ML] (published as a conference paper at ICLR 2018).