schedule.xml

<?xml version="1.0" encoding="utf-8"?>
<!DOCTYPE article [
]>

<article xmlns="http://docbook.org/ns/docbook" version="5.0"
      xmlns:xi="http://www.w3.org/2001/XInclude" 
      xmlns:xlink="http://www.w3.org/1999/xlink"
      xml:id="nosql-schedule">
<title>Методы использования СУБД в интернет-приложениях,
Техносфера Mail.Ru, 2014 г.</title>

<para>
Курс лекций раздёлён на 4 части, в конце каждой части
проводится колоквиум.
</para>

<section>
<title>Структуры данных и алгоритмы для двухуровневой памяти</title>

<orderedlist>

<listitem>
    <para>
        Многообразие решений для хранения данных. Модели данных
        классических и NoSQL систем. Модели консистентности.
        Семантика и допустимость овердрафта в интернет-приложениях.
    </para>
    <para>
        Достоинства и недостатки реляционной модели для
        работы с данными в Интернет.
        Модель данных ключ-значение. Модель BigTable. Различия между
        документом и объектом. Понятие агрегата хранения.
        Управление схемой данных. Компромисс между
        консистентностью и производительностью. Конкурентный доступ
        к данным в клиент-серверной и полностью распределённой
        архитектуре. Пример графовых задач в РСУБД.
    </para>

    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <author><personname>
             Codd, E.F.
            </personname>
            </author>
            <title>
                A Relational Model of Data for Large Shared Data Banks
            </title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Date, C. J.; Darwen, Hugh
            </personname>
            </author>
            <title>
                Foundation for future database systems: the third
                manifesto: a detailed study of the impact of type
                theory on the relational model of data, including
                a comprehensive model of type inheritance.
            </title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Pramod J. Sadalage, Martin Fowler
            </personname></author>
            <title>
                NoSQL distilled
            </title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Michael Stonebraker, Samuel Madden, Daniel J.
                Abadi, Stavros Harizopoulos, Nabil Hachem, Pat
                Helland
            </personname></author>
            <title>
                The End of an Architectural Era (It’s Time for a
                Complete Rewrite)
            </title>
        </biblioentry>
        <biblioentry>
            <author><personname>Christof Strauch</personname></author>
            <title>NoSQL Databases</title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Mikael Ronström
            </personname></author>
            <title>
                Design and Modelling of a Parallel Data Server for
                Telecom Applications
            </title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Fay Chang, Jeffrey Dean, Sanjay Ghemawat,
                Wilson C. Hsieh, Deborah A. Wallach Mike
                Burrows, Tushar Chandra, Andrew Fikes, Robert
                E. Gruber
            </personname></author>
            <title>
                Bigtable: A Distributed Storage System for Structured Data
            </title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Joe Celko
            </personname></author>
            <title>
                Trees and hierarchies in SQL
            </title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Mike Buerli
            </personname></author>
            <title>
                The Current State of Graph Databases
            </title>
        </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
        Классические алгоритмы организации даных для двухуровневой
        памяти.
    </para>
    <para>
        B-деревья. Инвертированные списки. Многопроходная сортировка
        слиянием. Стоимостная модель DAM.
    </para>
    <bibliolist>
        <title>Литература</title>

        <biblioentry>
            <author><personname>Alok Aggarwal, Jeffrey Scott Vitter</personname></author>
            <title>The input/output complexity of sorting and related problems</title>
        </biblioentry>
        <biblioentry>
            <author><personname>Douglas Comer</personname></author>
            <title>The Ubiquitous B-tree</title>
        </biblioentry>
        <biblioentry>
            <author><personname>Michael A. Bender, Bradley C. Kuszmaul</personname></author>
            <title>Data Structures and Algorithms for Big Databases</title>
        </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
        Современные специализированные алгоритмы хранения данных
        в двухуровневой памяти.
    </para>
    <para>
        Понятие cache-oblivious алгоритма.  Базовые
        cache-oblivious алгоритмы. Понятие write amplification.
        Фрактальные деревья. 
    </para>
    <formalpara><title>Домашнее задание:</title>
        <para>Реализовать библиотеку для хранения данных на диске.</para>
     </formalpara>
    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <author><personname>Harald Prokop</personname></author>
            <title>Cache-Oblivious Algorithms</title>
        </biblioentry>

        <biblioentry>
            <author><personname>Michael A. Bender Martin Farach-Colton Jeremy T. Fineman</personname></author>
            <title>Cache-Oblivious Streaming B-trees </title>
        </biblioentry>
        <biblioentry>
            <author><personname>Burton H. Bloom</personname></author>
            <title>Space/time trade-offs in hash coding with allowable errors
            </title>
        </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
        Современные специализированные алгоритмы хранения данных
        в двухуровневой памяти (часть 2).
    </para>
    <para>
        LSM деревья. Блум-фильтры. Двухуровневые деревья. 
    </para>
    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <author><personname>Justin Sheehy, David Smith</personname></author>
            <title>Bitcask A Log-Structured Hash Table for Fast Key/Value Data</title>
        </biblioentry>

        <biblioentry>
            <author><personname>Patrick O'Neil , Edward Cheng, Dieter Gawlick, Elizabeth O'Neil</personname></author>
            <title>The Log-Structured Merge-Tree (LSM-Tree)</title>
        </biblioentry>

        <biblioentry>
            <author><personname>Burton H. Bloom</personname></author>
            <title>Space/time trade-offs in hash coding with allowable errors
            </title>
        </biblioentry>
    </bibliolist>
</listitem>
<listitem>
    <para>
        Кэширование как механизм повышения эффективности системы. 
    </para>
    <para>
        Понятие online алгоритмов. Кэширование.  Алгоритмы FIFO, LRU.
        Алгоритм LFD.  Проблема конистентности кэша. Алгоритм
        RCU. Протокол MESI. Проблема холодного старта.
    </para>
    <formalpara><title>Домашнее задание:</title> 
        <para>
            Реализовать LRU/midpoint insertion cache для библиотеки
            хранения данных на диске.
        </para>
    </formalpara>
    <bibliolist>
        <title>Литература</title>
            <biblioentry>
                <author><personname>
                Amos Fiat, Richard M.  Brp,Michael Luby, Lyle A. McGeoch, Daniel D. Sleator, Neal E. Young
                </personname></author>
                <title>
                    Competitive Paging Algorithms
                </title>
            </biblioentry>
            <biblioentry>
                <author><personname>
                  Erik Demaine 
                </personname></author>
                <title>
                    Online algorithms for paging (MIT OCW Lectures on Computer Science) 
                </title>
            </biblioentry>
    </bibliolist>
</listitem>
</orderedlist>

</section>

<section>
<title>Основы устройства СУБД</title>

<orderedlist>
<listitem>
    <para>
        Принципиальная схема СУБД.
    </para>
    <para>
        Сетевая подсистема. Разбор и оптимизация запросов.
        План выполнения запроса. Управление страницами.
        Управление блокировками. Журнал.
    </para>
    <formalpara><title>Домашнее задание:</title>
        <para>
            Реализация конкурентного доступа к данным
            с использованием библиотеки хранения данных
            на диске.
        </para>
    </formalpara>
    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <author><personname>
                Heikki Tuuri 
            </personname></author>
            <title>InnoDB Internals, presentation</title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Philip A. Bernstein, Eric Newcomer
            </personname></author>
            <title>Principles of Transaction Processing</title>
        </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
      Транзакции. Принципы ACID транзакционной обработки данных.
      Реализация подсистемы хранения с использованием журнала.
    </para>
    <para>
        Принцип двойной записи.  Понятие истории изменений.
        Стратегии NO UNDO, NO REDO. Стратегии STEAL, NO STEAL.
    </para>
    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <title>Database systems, the complete book</title>
            <author><personname>
                Hector Garcia-Molina, Jeffrey D. Ullman,
                Jennifer Widom
            </personname></author>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Gerhard Weikum, Gottfried Vossen
            </personname></author>
            <title>Transactional Information Systems: Theory,
            Algorithms, and the Practice of Concurrency Control and
            Recovery </title>
        </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
      Использование блокировок для управления транзакциями.
      Понятие расписания. Теорема 2PL.
    </para>
    <para>
        Понятие расписание. Сериальные и сериализуемые расписания.
        Классы расписаний.  Теорема 2PL: формулировка. Построение
        графа зависимостей транзакций. Доказательство.
    </para>
    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <author><personname>
                Gerhard Weikum, Gottfried Vossen
            </personname></author>
            <title>Transactional Information Systems: Theory,
            Algorithms, and the Practice of Concurrency Control and
            Recovery </title>
        </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
        Управление блокировками. 
    </para>
    <para>
        Иерархические блокировки. Специальные блокировки. Дедлоки.
        Приоритеты локов. Понятие hot spot. Алгоритмы поиска
        дедлоков. Понятие насыщения системы массового обслуживания
        в применении к транзакционной системе.
    </para>

    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <author><personname>
                Dennis Shasha, Philippe Bonnet
            </personname></author>
            <title>Database Performance Tuning: Principles, Experiments
            and Troubleshooting Techniques</title>
        </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
        Оптимистичные алгоритмы управления транзакциями.
    </para>
    <para>
        Понятие оптимистичного управления транзакциями.
        Валидация.  Временные метки. Правила установки меток.
        Протокол многоверсионного управления транзакциями.
    </para>
    <bibliolist>
        <biblioentry>
            <author><personname>
                C. Mohan
            </personname></author>
            <title>
                ARIES: A Transaction Recovery Method Supporting
                Fine-Granularity Locking and Partial Rollbacks
                Using Write-Ahead Logging
            </title>
        </biblioentry>
    </bibliolist>
</listitem>

</orderedlist>

</section>

<section>
<title>Масштабирование и высокая доступность</title>

<orderedlist>
<listitem>
    <para>Горизонтальное масштабирование СУБД</para>
    <para>
        Принцип эластичности. Шардинг. Консистентное хэширование.
        Алгоритм Guava. 
    </para>
    <bibliolist>
        <title>Литература</title>
            <biblioentry>
                <author><personname>
                    Jason Baker, Chris Bond, James C. Corbett, JJ
                    Furman, Andrey Khorlin, James Larson,
                    Jean-Michel Leon, Yawei Li, Alexander Lloyd,
                    Vadim Yushprakh
                </personname></author>
                <title>
                    Megastore: Providing Scalable, Highly
                    Available Storage for Interactive Services
                </title>
            </biblioentry>
            <biblioentry>
                <author><personname>
                    David Karger Eric Lehman Matthew Levine Tom
                    Leighton Rina Panigrahy Daniel Lewin
                </personname></author>
                <title>
                    Consistent Hashing and Random Trees:
                    Distributed Caching Protocols for Relieving
                    Hot Spots on the World Wide Web
                </title>
            </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
        Введение в распределённые системы. Протокол 2PC.
    </para>
    <para>
        Понятие распределённой системы. Свойства Safety и Liveness.
        Дилемма двух генералов. Результат Фишера-Линча-Паттерсона.
        Протокол 2PC. Возможные оптимизации.
    </para>
    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <author><personname>Ken Birman</personname></author>
            <title>A History of the Virtual Synchrony Replication Model</title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Eric Brewer
            </personname></author>
            <title>
                Towards Robust Distributed Systems
            </title>
        </biblioentry>
        <biblioentry>
            <author><personname>
                Nancy Lynch and Seth Gilbert
            </personname></author>
            <title>
                Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services
            </title>
        </biblioentry>
    </bibliolist>
</listitem>

<listitem>
    <para>
        Репликация. Разрешение конфликтов. Векторное время.
    </para>
   <para>
        Принципы работы асинхронной репликации. 
        Задачи решаемые семи-синхронной и синхронной репликацией.
        Включение и исключение узлов из распределённой реплицированной
        системы без введения единой точки отказа. Мульти-мастер
        репликация и понятие репликационного конфликта.
   </para>
    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <title>
                Dynamo: Amazon’s Highly Available Key-value Store
            </title>
            <author><personname>
                Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati,
                Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubramanian, Peter Vosshall
                and Werner Vogels
            </personname></author>
        </biblioentry>
        <biblioentry>
            <author><personname>
                James C. Corbett, Jeffrey Dean, Michael Epstein, Andrew Fikes,
                Christopher Frost, JJ Furman, Sanjay Ghemawat, Andrey Gubarev,
                Christopher Heiser, Peter Hochschild, Wilson Hsieh, Sebastian
                Kanthak, Eugene Kogan, Hongyi Li, Alexander Lloyd, Sergey
                Melnik, David Mwaura, David Nagle, Sean Quinlan, Rajesh Rao,
                Lindsay Rolig, Yasushi Saito, Michal Szymaniak, Christopher
                Taylor, Ruth Wang, Dale Woodford
            </personname></author>
            <title>Spanner: Google’s Globally-Distributed Database</title>
        </biblioentry>
        <biblioentry>
            <author><personname>Colin J. Fidge</personname></author>
            <title>Timestamps in Message-Passing Systems That Preserve the Partial Ordering</title>
        </biblioentry>


        <biblioentry>
            <author><personname>Jim Gray, Pat Helland, Patrick O’Neil, Dennis Shasha</personname></author>
            <title>The Dangers of Replication and a Solution</title>
        </biblioentry>
        </bibliolist>
</listitem>

<listitem>
    <para>
        Консистентность распределённого ДКА. Алгоритм Paxos.
    </para>
   <para>
        Paxos: разбор алгоритма. Multi-Paxos.
   </para>
    <bibliolist>
        <title>Литература</title>
        <biblioentry>
            <author><personname>Leslie Lamport, Robert Shostak, Marshall Pease</personname></author>
            <title>The Byzantine Generals Problem</title>
        </biblioentry>
        <biblioentry>
            <author><personname>Diego Ongaro, John Ousterhout</personname></author>
            <title>In Search of an Understandable Consensus Algorithm</title>
        </biblioentry>

        <biblioentry>
            <author><personname>Jun Rao, Eugene J. Shekita, Sandeep Tata</personname></author>
            <title>Using Paxos to Build a Scalable, Consistent,
    and Highly Available Datastore</title>
        </biblioentry>
        <biblioentry>
            <author><personname>Leslie Lamport</personname></author>
            <title>Time, clock and ordering of events in distributed systems</title>
        </biblioentry>

        <biblioentry>
            <author><personname>Leslie Lamport</personname></author>
            <title>Paxos Made Simple</title>
        </biblioentry>

        <biblioentry>
            <author><personname>C.A.R. Hoare</personname></author>
            <title>Communicating Sequential Processes</title>
        </biblioentry>

        <biblioentry>
            <author><personname>Parisa Jalili Marandi</personname></author>
            <title>Multi-ring paxos </title>
        </biblioentry>

    </bibliolist>
</listitem>

<listitem>
    <para>
        Задача репликации журнала БД. Алгоритм Raft.
    </para>
   <para>
        Raft: разбор алгоритма. Задача смены конфигурации. Оптимизации.
   </para>
    <bibliolist>
        <title>Литература</title>
            <biblioentry>
                <title>
                    Chord: A Scalable Peer-to-peer Lookup Service for Internet
                    Applications
                </title>
                <author><personname>
                    Ion Stoica, Robert Morris, David Karger, M. Frans Kaashoek, Hari Balakrishnan
                </personname></author>
            </biblioentry>
            <biblioentry>
                <author><personname>
                    Indranil Gupta Tushar D. Chandra German S. Goldszmidt
                </personname></author>
                <title>On Scalable and Efficient Distributed Failure Detectors</title>
            </biblioentry>
            <biblioentry>
                <author><personname>André Allavena, Alan Demers, John E. Hopcroft</personname></author>
                <title>Correctness of a Gossip Based Membership Protocol</title>
            </biblioentry>

    </bibliolist>
</listitem>

</orderedlist>
</section>


</article>
<!--
vim: tw=66 syntax=docbk
vim: spell spelllang=en_us
-->