月別: 2019年8月

Numpy の配列アクセス方法

/ コメントする

a = np.arange(18).reshape(2, 3, 3)
という指定を行うと、下記のような 18個の (2, 3, 3) 配列が返る。

a もしくは a[:, :, :] でアクセスする。[:, :, :] って凄い指定の仕方。。

array([[[ 0,  1,  2],
        [ 3,  4,  5],
        [ 6,  7,  8]],

       [[ 9, 10, 11],
        [12, 13, 14],
        [15, 16, 17]]])

この結果に対して a[0] もしくは a[0, :, :] でアクセスすると

array([[0, 1, 2],
       [3, 4, 5],
       [6, 7, 8]])

a[1][0] もしくは a[1, :, :] にアクセスすると、

array([ 9, 10, 11])

になる。

配列の範囲指定 [:]

[:, :, :] は範囲指定を行える。[begin:end] 指定。a と a[:, :, :] と a[0:2, 0:3, 0:3] は全て同じ結果になる。a[:, 1, :] にアクセスすると [[ 3, 4, 5], [12, 13, 14]] が返る。a[:, :, 0] にアクセスすると [[ 0, 3, 6], [ 9, 12, 15]] が返る。面白い性質だが、慣れるまで時間がかかりそう。

最後の要素にアクセス

a[-1, -1, -1] という風に -1 を指定すると、値としては 17 が帰ってくる。-1 は配列要素の最後の要素。

転置行列

a.transpose(0, 2, 1) という風に transpose() と入れ替える軸を指定すると、この結果は下記になる。1, 2 -> 2, 1 に順番にしたので転置されてる。

array([[[ 0,  3,  6],
        [ 1,  4,  7],
        [ 2,  5,  8]],

       [[ 9, 12, 15],
        [10, 13, 16],
        [11, 14, 17]]])

一次元化

a.flatten() 命令を使用すると、ndim 1 の 1次元ベクトルになる。

array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17])

よく使う Numpy の関数

/ コメントする

np.random.randn()

平均 0, 分散 1 の正規分布 (normal distribution) に従う乱数値を返す。引数には任意の次元を指定できる。randn(d0, d1, …, dn) を指定することができ、仮に randn(2, 2) とすれば、4つの乱数が返る。

np.zeros()

0 で初期化された配列を返す。zeros((2,2)) とすれば、要素4つ、shape が (2,2) ndim 2 の配列が返す。

np.random.choice()

第一引数は乱数の最大値、第二引数は個数。(5, 20) と引数に指定した場合は、5 以下 (0~4) までの乱数が 20 個返る。

np.pad()

指定した変数の前後にパディングを追加出来る。np.pad([5,6], (2, 3), ‘constant’) みたいに指定すれば、array([0, 0, 5, 6, 0, 0, 0]) という要素が返る。5 の前に 2個、6 の後に 3個のパディングが追加される。

Keras のサンプル

/ コメントする

Github Keras Examples
https://github.com/keras-team/keras/tree/master/examples

公式のサンプルプログラム

MNIST の CNN

サンプルコードはここにある。
https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py

Summary を出力するとこのようになる。

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_1 (Conv2D)            (None, 26, 26, 32)        320       
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 24, 24, 64)        18496     
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 12, 12, 64)        0         
_________________________________________________________________
dropout_1 (Dropout)          (None, 12, 12, 64)        0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 9216)              0         
_________________________________________________________________
dense_1 (Dense)              (None, 128)               1179776   
_________________________________________________________________
dropout_2 (Dropout)          (None, 128)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 10)                1290      
=================================================================
Total params: 1,199,882
Trainable params: 1,199,882
Non-trainable params: 0
_________________________________________________________________

Conv2D() で畳み込みレイヤーの追加。
Conv2D filters 32, kernel size (3, 3) -> ReLU
Conv2D filters 64, kernel size (3, 3) -> ReLU
MaxPooling (2, 2)

(28, 28, 1) の input を、32 filters, size(3, 3) の Conv2D に入力すると、(26, 26, 32) になる。(26, 26, 32) を 64 filters, size(3, 3) に入れれば、(24, 24, 64) になる。

KerasのConv2Dの行列式演算
https://qiita.com/nishiha/items/bfd5dfcd7fffd3c529bc

Keras の Flatten の実装

How flatten layer works in keras?
https://stackoverflow.com/questions/44176982/how-flatten-layer-works-in-keras

どのように展開されるか疑問だったので、凄く分かりやすかった。

Conv2DTranspose

KerasのConv2DTransposeの動作について
https://qiita.com/takurooo/items/9a9f387390f5fcf5a516

分かりやすい記事に感謝。

Skip Connection U-Net

オートエンコーダーとしてのU-Net
https://qiita.com/koshian2/items/603106c228ac6b7d8356

Affine 変換の Backpropagation メモ

/ コメントする 
    def backward(self, dout): # dout (3x10)
        dx = np.dot(dout, self.W.T) # W (50x10) W.T (10x50)
        self.dW = np.dot(self.x.T, dout) # x (3x50) x.T (50x3)
        self.db = np.sum(dout, axis=0)
        
        dx = dx.reshape(*self.original_x_shape)
        return dx

self.x は affine 変換する前のレイヤーに入力される値。

全然関係無いですが、ニューラルネットワークをレイヤーの概念図で表すと、入力する値の位置とアフィン変換する位置が、コードと一階層(半階層)ズレてる感覚を受ける。コードで記述する時は、レイヤーの層を表す図から左側の接続の線までを含んでいるイメージを持つようにする。

自身のレイヤーの重みの勾配は np.dot(self.x.T, dout) で求まり、バイアスは np.sum(dout) で総和を取る。

参照コード
ゼロから作る Deep Learningn から

HLSL ByteAddressBuffer の使い方

/ コメントする

ByteAddressBuffer は引数にバイト数を指定する。

ByteAddressBuffer byteBuffer : register(t0);
uint value = byteBuffer.Load(0);

4 Byte 単位でメモリーにアクセスしてデータを取得出来るバッファータイプ。戻り値は uint (4 Byte) になる。Load 関数の引数は 4 の倍数でなければいけない。Load2(0) で指定すれば uint2 型で 8 Byte の連続した領域を取得できる。Load3(0) で指定すれば uint3 型で 12 Byte の連続したメモリー。

uint4 value = byteBuffer.Load4(4);
という指定をすれば、アドレスの開始位置が先頭から 4 Byte 目から、16 Byte の連続した領域を取得出来る。

DirectX12 HLSL Texture2D.Load にはまる

/ コメントする

Texture2D の Load 命令は引数として int3 を受け取るため、texture.Load(int3(0, 0, 0)); のような形式で呼び出す。この時 x, y には UV ではなくて テクスチャの width -1, height -1 の値を指定する。当たり前だが、-1 に注意。そして z は mipmap を指定できる。

Texture サイズが 256×256 だとして、Load(int3(256, 256, 0)); とサイズを超えてしまった場合は 0 が返るようになっている。この時に大切なのが存在しない mipmap にアクセスした場合も 0 が返るという事。

int3 を指定せずに Load(0) とやるのは特に問題無いが、テストで Load(1) としてしまったとき、Load(int3(1, 1, 1)); になるため、もし mipmap が存在しないテクスチャに対してこれをした場合は 0 が返ってしまう。ちょっとしたテストで Load(1) をやった結果、原因を突き止めるのに時間がかかった。

Texture2D.Load は int3 でテクスチャ座標とミップマップ値に気をつけて使用する。

DirectX12 Misc

/ コメントする

ID3D12Resource::GetGPUVirtualAddress

D3DResource は GetGPUVirtualAddress メソッドを持っており、Vertex Buffer を作るときなど View 構造体に対してアドレスを渡すときに使う。このメソッドは Buffer Resource のみで使用可能で、Texture Resource の時は使用できないため 0 が返る。

Root Parameter の並び順

アクセス頻度の高いものをインデックス 0 から並べた方が、パフォーマンスが良い？ (未検証)

DirectX12 Root Signature

/ コメントする

Root Signature を覚えるのは大変だ。これは抽象的な図や分かりやすい言葉で表すのは困難で (少なくとも自分には)、C言語を最初に学んだ時のポインタのように、苦しんで覚えるしかない類の物だと思ってる。

MS のドキュメントやこんなブログの内容を見るよりも、D3D12 のサンプルプログラムを実行し、修正しながら動作を確認するのが一番の近道な気がします。

自分は Root Signature を理解するのに最も大切な概念って Descriptor Table だと勝手に思い込んでいたのですが (いや重要なんですけどね…)、CD3DX12_ROOT_PARAMETER1 が大切で、この定義と、CommandList->SetGraphicsRootDescriptorTable() との関連性が理解出来れば、Root Signature って大体分かるんだと思う。