Ctrl+K

SQLite源码分析6 分页和缓存#

原理#

  • 磁盘之上是page层。

  • 数据库文件以页为单位被分割。每页都有编号。

  • 频繁操作页比如频繁去读某些页，就会造成频繁操作磁盘，如果把数据放入内存，速度会以数量级提高。

  • 但是很多情况不可能把整个数据库文件都放入内存。
    那么需要做个有限大小的缓存。每次读页，先去查缓存，如果缓存里没有，才去读磁盘。这样减少了频繁的磁盘io。

  • 每个页对应有一个页缓存(page cahce)。
    cache状态可为clean，表示缓存中的数据与磁盘一致。即干净的，不需要处理。 状态可为dirty，即缓存数据被改过，是脏的，需要同步到磁盘。

  • page层之上是b树。b树都是用pager的接口，不直接操作磁盘。

  • 这次分析分页和缓存相关流程。

定义#

页结构体。包含单个页的信息。每个页对应一个实体。可以有大量实体。

struct PgHdr {
    ...
    void *pData; // 页数据
    void *pExtra; // 其他数据
    PCache *pCache; // 该页的所属的缓存总管
    PgHdr *pDirty; // 脏页链表
    Pager *pPager; // 所属的分页器
    Pgno pgno; // 页号
    PgHdr *pDirtyNext; // 下一个脏页
    PgHdr *pDirtyPrev; // 前一个脏页
    u16 flags; // 各种标志位。PGHDR_CLEAN、PGHDR_DIRTY、PGHDR_NEED_SYNC等等。
}

cache总管。只有一个实体。在sqlite3PagerOpen中生成。

struct PCache {
    ...
    PgHdr *pDirty, *pDirtyTail; // 脏页列表。pDirty指向头，pDirtyTail指向尾。
    int szPage; // 页大小
    int nRefSum; // 引用计数
    sqlite3_pcache *pCache; // 这里又做了一层，实现底层的cache逻辑，比如按页号搜索的算法、分配cache等。代码在pcache1.c。
}

Pager相当于一个分页总管。存各种配置和分页的总体信息。只有一个实体，在sqlite3PagerOpen中生成。

struct Pager {
    ...
    int (*xGet)(Pager*,Pgno,DbPage**,int); // 获取页实际数据的函数。
    sqlite3_file *fd; // 数据库文件fd
    sqlite3_file *jfd; // 主日志fd
    sqlite3_file *sjfd; // 副日志fd
    PCache *pPCache;  // cache总管
    PagerSavepoint *aSavepoint; // 记录点
    int nSavepoint; // 记录点数量
    char *zFilename; // 数据库文件名
    char *zJournal; // 日志文件名
    int pageSize; //每页的字节数
}

常用流程#

打开数据库#

openDatabase
    sqlite3_initialize
        sqlite3PcacheInitialize
            sqlite3PCacheSetDefault
                把xFetch配置为pcache1Fetch

    sqlite3BtreeOpen
        sqlite3PagerOpen
            打开指定的数据库文件.生成一个Pager实体,存到BtShared.pPager.
            sqlite3PcacheOpen(pagerStress)
            setGetterMethod
                pPager->xGet = getPageNormal; // 配置xGet

        sqlite3PagerReadFileheader
            sqlite3OsRead
                会通过os适配层最终对应到比如说unix的read

  • xGet通常配置为getPageNormal。具体实现了获取页数据。

  • 大致是按页号查找对应的缓存，找到就直接返回。找不到时可能按LRU回收，可能新分配一个页cache，可能返回空。 具体看pcache1FetchNoMutex的注释，非常详细。

getPageNormal(Pager*,Pgno,DbPage**,int) // 读取页号为Pgno的页数据
    sqlite3PcacheFetch  // 先尝试从缓存里读
        xFetch(pcache1Fetch)
            pcache1FetchNoMutex
                用hash找到筒,再遍历筒找页号是否存在.如果存在直接返回.否则走
                pcache1FetchStage2
                    回收或新建cache
    sqlite3PcacheFetchFinish
        按他的设计cache有两层
        底层中另有cache和page的抽象定义PCache1和PgHdr1,去承载原始的PCache和PgHdr.
        逻辑是针对PCache1和PgHdr1来写.
        流程结束后会转换一下,得到上层的PgHdr实体.

    readDbPage // 如果是新的cache，那么从磁盘读数据并关联到这个cache。
        sqlite3OsRead

读取页数据#

sqlite3PagerGet(Pager *pPager, Pgno pgno, DbPage **ppPage, int clrFlag)
    用xGet读取指定页号的页数据到PgHdr // 广泛使用

写页数据#

sqlite3PagerWrite(DbPage*) // 把一个页标记为脏页、可写等。
    pager_write
        sqlite3PcacheMakeDirty
            pcacheManageDirtyList(p, PCACHE_DIRTYLIST_ADD);
                维护好链表
        pagerAddPageToRollbackJournal
            把页数据写入Pager的jfd.即把修改之前的页数据存入日志.

  • sqlite3PagerWrite只用来标记和存日志，一般会紧接着用put4byte、memcpy、memset之类函数处理实际数据。

b树开始一个事务#

sqlite3BtreeBeginTrans
    sqlite3PagerBegin(Pager*, int exFlag, int)
        pager开始一个事务
        大体上是对pager的df也就是数据库文件争个锁

        pagerLockDb
            sqlite3OsLock
                xLock
                    unixLock
                        unixFileLock
                            osSetPosixAdvisoryLock
                                osFcntl
                                    fcntl // linux的fcntl

页同步#

sqlite3PagerSync(Pager *pPager, const char *zSuper)
    sqlite3OsSync
        xSync
            unixSync
                full_fsync
                    fsync
                        fsync在操作系统层面确认数据写到了硬件

提交#

  • 看之前的opcode，最后一般是OP_HALT，就会进行收尾，用sqlite3PagerSync把数据固化到磁盘。

sqlite3VdbeHalt
    vdbeCommit
        sqlite3BtreeCommit
            sqlite3BtreeCommitPhaseOne
                sqlite3PagerCommitPhaseOne
                    sqlite3PcacheDirtyList // 获取所有脏页的cache。当即按页号排序。
                    syncJournal // 确保日志同步到了磁盘
                        sqlite3OsSync
                    pager_write_pagelist // 所有脏页写到磁盘
                        sqlite3OsWrite
                            xWrite
                                unixWrite
                                    seekAndWrite
                                        seekAndWriteFd
                                            osWrite
                                                write // 最终用linux的write写文件。

                    sqlite3PcacheCleanAll // 所有脏页标记为clean
                    sqlite3PagerSync // 页同步
            
            sqlite3BtreeCommitPhaseTwo
                sqlite3PagerCommitPhaseTwo
                    pager_end_transaction // 事务结束。做各种清理。
                        releaseAllSavepoints // 清掉所有记录点
                        按需把日志清掉.因为事务的数据更新实际已经完成.

页回滚#

  • 从回滚日志一页一页地写回当前数据，实现回滚功能。

sqlite3BtreeRollback
    sqlite3PagerRollback
        pager_playback
            readSuperJournal
                loop
                    readJournalHdr
                        loop
                            pager_playback_one_page

sql的savepoint语句#

  • 可rollback到某个记录点。或者commit到某个记录点。

sqlite3BtreeSavepoint
    sqlite3PagerSavepoint
        如果是commit
           按需truncate日志文件
        如果是rollback
            pagerPlaybackSavepoint
                loop
                    pager_playback_one_page
On this page