DL-Framework-Numpy

Фреймворк глубоко обучения на Numpy, написанный с целью изучения того, как все работает под "капотом". Вместе с фреймворком были написаны конспекты по каждому слою, функции потерь и оптимизатору. Также был написан пример решения с его помощью задачи распознования рукописных цифр MNIST.

Во многом фреймворк вдохновлялся pytorch.

Далее перечислено, что было реализовано.

Cлои:

• Linear
• Batch Normalization
• Dropout

Функции активации:

• Sigmoid
• Tanh
• ReLU
• Leaky ReLU
• Softmax
• Logsoftmax

Функции потерь:

• MSE
• NLL
• Cross Entropy

Оптимизаторы:

• SGD
• Momentum
• RMSprop
• Adam
• NAdam