A Style-Based Generator Architecture for Generative Adversarial Networks を読んだ
https://qiita.com/d-ogawa/items/d645509e3ccedc989680
非常に勉強になる記事でした。まとめられた方に非常に感謝です。
A Style-Based Generator Architecture for Generative Adversarial Networks を読んだ
https://qiita.com/d-ogawa/items/d645509e3ccedc989680
非常に勉強になる記事でした。まとめられた方に非常に感謝です。
NVIDIA DLSS: Control and Beyond
https://www.nvidia.com/en-us/geforce/news/dlss-control-and-beyond/
NVIDIA Turing Architecture Deep Dive Whitepaper
https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-Whitepaper.pdf
cuDNN
https://docs.nvidia.com/deeplearning/sdk/cudnn-developer-guide/index.html
読んでおく
自分で試してみたい。
Behind the Scenes with Stadia’s Style Transfer ML
https://stadia.dev/blog/behind-the-scenes-with-stadias-style-transfer-ml/
GDC 2019 での Google Stadia の発表会で、サービスの概要などと合わせて研究中の Style Transfer 技術のデモが公開されました。Stadia インスタンス上でリアルタイムにレンダリング結果のスタイル変換などが行われているようです。
Review: RED-Net — Residual Encoder-Decoder Network (Denoising / Super Resolution)
https://medium.com/datadriveninvestor/review-red-net-residual-encoder-decoder-network-denoising-super-resolution-cb6364ae161e
ディープラーニングによる画像の拡大技術
https://www.nttpc.co.jp/gpu/article/technical02.html
トップ学会採択論文にみる、超解像ディープラーニング技術のまとめ
https://qiita.com/jiny2001/items/e2175b52013bf655d617
【Intern CV Report】CVPR2019における超解像
https://buildersbox.corp-sansan.com/entry/2019/07/12/110000
【Intern CV Report】超解像の歴史探訪 -2016年編-
https://buildersbox.corp-sansan.com/entry/2019/03/20/110000
CNNの誤差逆伝播とDeconvolutionまとめ
https://qiita.com/bukei_student/items/a3d1bcd429f99942ace4
非常に分かりやくまとまっていた記事だった。
コメント欄も参考になる。
Tensorflow の tf.nn.convolution などは padding という引数を取り、文字列で VALID か SAME のどちらかを指定する。なぜ SAME/VALID という名前なのだろうか。。
Tensorflow の Document に計算式が載っている。
https://www.tensorflow.org/api_docs/python/tf/nn/convolution
SAME を指定すると 0 パディング が行われて、(ストライドの値にもよるが) 入力が小さくならずに、同じサイズで出力される。VALID にすると、足りない分はサイズが小さくなっていく。
英語に疎くてあれなのですが、SAME だと入力サイズと同じになるという意味で使われるのだとしたらまだ分かるのですが、なぜ Padding が Valid (有効) だと、パディングされない挙動になるのでしょうか?
TensorFlow – 畳み込み演算の関数 tf.nn.conv2d
https://blog.logicky.com/2017/01/18/tensorflow-%E7%95%B3%E3%81%BF%E8%BE%BC%E3%81%
ちょっとしたコードを確認するのに凄く参考になります。
Github Keras Examples
https://github.com/keras-team/keras/tree/master/examples
公式のサンプルプログラム
サンプルコードはここにある。
https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py
Summary を出力するとこのようになる。
_________________________________________________________________ Layer (type) Output Shape Param # ================================================================= conv2d_1 (Conv2D) (None, 26, 26, 32) 320 _________________________________________________________________ conv2d_2 (Conv2D) (None, 24, 24, 64) 18496 _________________________________________________________________ max_pooling2d_1 (MaxPooling2 (None, 12, 12, 64) 0 _________________________________________________________________ dropout_1 (Dropout) (None, 12, 12, 64) 0 _________________________________________________________________ flatten_1 (Flatten) (None, 9216) 0 _________________________________________________________________ dense_1 (Dense) (None, 128) 1179776 _________________________________________________________________ dropout_2 (Dropout) (None, 128) 0 _________________________________________________________________ dense_2 (Dense) (None, 10) 1290 ================================================================= Total params: 1,199,882 Trainable params: 1,199,882 Non-trainable params: 0 _________________________________________________________________
Conv2D() で畳み込みレイヤーの追加。
Conv2D filters 32, kernel size (3, 3) -> ReLU
Conv2D filters 64, kernel size (3, 3) -> ReLU
MaxPooling (2, 2)
(28, 28, 1) の input を、32 filters, size(3, 3) の Conv2D に入力すると、(26, 26, 32) になる。(26, 26, 32) を 64 filters, size(3, 3) に入れれば、(24, 24, 64) になる。
KerasのConv2Dの行列式演算
https://qiita.com/nishiha/items/bfd5dfcd7fffd3c529bc
How flatten layer works in keras?
https://stackoverflow.com/questions/44176982/how-flatten-layer-works-in-keras
どのように展開されるか疑問だったので、凄く分かりやすかった。
KerasのConv2DTransposeの動作について
https://qiita.com/takurooo/items/9a9f387390f5fcf5a516
An Introduction to different Types of Convolutions in Deep Learning
https://towardsdatascience.com/types-of-convolutions-in-deep-learning-717013397f4d
How to use the UpSampling2D and Conv2DTranspose Layers in Keras
https://machinelearningmastery.com/upsampling-and-transpose-convolution-layers-for-generative-adversarial-networks/
分かりやすい記事に感謝。
オートエンコーダーとしてのU-Net
https://qiita.com/koshian2/items/603106c228ac6b7d8356
def backward(self, dout): # dout (3x10)
dx = np.dot(dout, self.W.T) # W (50x10) W.T (10x50)
self.dW = np.dot(self.x.T, dout) # x (3x50) x.T (50x3)
self.db = np.sum(dout, axis=0)
dx = dx.reshape(*self.original_x_shape)
return dx
self.x は affine 変換する前のレイヤーに入力される値。
全然関係無いですが、ニューラルネットワークをレイヤーの概念図で表すと、入力する値の位置とアフィン変換する位置が、コードと一階層(半階層)ズレてる感覚を受ける。コードで記述する時は、レイヤーの層を表す図から左側の接続の線までを含んでいるイメージを持つようにする。
自身のレイヤーの重みの勾配は np.dot(self.x.T, dout) で求まり、バイアスは np.sum(dout) で総和を取る。
参照コード
ゼロから作る Deep Learningn から
疑問に思って調べたら分かりやすかった。