Workaround possible issue where some keys were ignored when deleting cached...

Aleksander Machniak

2015-05-11 247b845a8e0813050c6d0e0c9d3f06df13c71d07

 program/lib/Roundcube/rcube_cache.php

@@ -2,8 +2,6 @@

/*
 +-----------------------------------------------------------------------+
 | program/include/rcube_cache.php                                       |
 |                                                                       |
 | This file is part of the Roundcube Webmail client                     |
 | Copyright (C) 2011, The Roundcube Dev Team                            |
 | Copyright (C) 2011, Kolab Systems AG                                  |
@@ -14,7 +12,6 @@
 |                                                                       |
 | PURPOSE:                                                              |
 |   Caching engine                                                      |
 |                                                                       |
 +-----------------------------------------------------------------------+
 | Author: Thomas Bruederli <roundcube@gmail.com>                        |
 | Author: Aleksander Machniak <alec@alec.pl>                            |
@@ -41,12 +38,17 @@
    private $type;
    private $userid;
    private $prefix;
    private $table;
    private $ttl;
    private $packed;
    private $index;
    private $debug;
    private $cache         = array();
    private $cache_changes = array();
    private $cache_sums    = array();
    private $max_packet    = -1;

    const DEBUG_LINE_LENGTH = 4096;


    /**
@@ -66,16 +68,19 @@
        $type  = strtolower($type);

        if ($type == 'memcache') {
            $this->type = 'memcache';
            $this->db   = $rcube->get_memcache();
            $this->type  = 'memcache';
            $this->db    = $rcube->get_memcache();
            $this->debug = $rcube->config->get('memcache_debug');
        }
        else if ($type == 'apc') {
            $this->type = 'apc';
            $this->db   = function_exists('apc_exists'); // APC 3.1.4 required
            $this->type  = 'apc';
            $this->db    = function_exists('apc_exists'); // APC 3.1.4 required
            $this->debug = $rcube->config->get('apc_debug');
        }
        else {
            $this->type = 'db';
            $this->db   = $rcube->get_dbh();
            $this->type  = 'db';
            $this->db    = $rcube->get_dbh();
            $this->table = $this->db->table_name('cache', true);
        }

        // convert ttl string to seconds
@@ -148,7 +153,7 @@
     */
    function write($key, $data)
    {
        return $this->write_record($key, $this->packed ? serialize($data) : $data);
        return $this->write_record($key, $this->serialize($data));
    }


@@ -195,16 +200,27 @@
     */
    function expunge()
    {
        if ($this->type == 'db' && $this->db) {
        if ($this->type == 'db' && $this->db && $this->ttl) {
            $this->db->query(
                "DELETE FROM ".$this->db->table_name('cache').
                " WHERE user_id = ?".
                " AND cache_key LIKE ?".
                " AND " . $this->db->unixtimestamp('created')." < ?",
                "DELETE FROM {$this->table}".
                " WHERE `user_id` = ?".
                " AND `cache_key` LIKE ?".
                " AND `expires` < " . $this->db->now(),
                $this->userid,
                $this->prefix.'.%',
                time() - $this->ttl);
                $this->prefix.'.%');
        }
    }


    /**
     * Remove expired records of all caches
     */
    static function gc()
    {
        $rcube = rcube::get_instance();
        $db    = $rcube->get_dbh();

        $db->query("DELETE FROM " . $db->table_name('cache', true) . " WHERE `expires` < " . $db->now());
    }


@@ -222,7 +238,7 @@
            if ($this->cache_changes[$key]) {
                // Make sure we're not going to write unchanged data
                // by comparing current md5 sum with the sum calculated on DB read
                $data = $this->packed ? serialize($data) : $data;
                $data = $this->serialize($data);

                if (!$this->cache_sums[$key] || $this->cache_sums[$key] != md5($data)) {
                    $this->write_record($key, $data);
@@ -250,15 +266,25 @@

        if ($this->type != 'db') {
            if ($this->type == 'memcache') {
                $data = $this->db->get($this->ckey($key));
                $ckey = $this->ckey($key);
                $data = $this->db->get($ckey);

                if ($this->debug) {
                    $this->debug('get', $ckey, $data);
                }
            }
            else if ($this->type == 'apc') {
                $data = apc_fetch($this->ckey($key));
                $ckey = $this->ckey($key);
                $data = apc_fetch($ckey);

                if ($this->debug) {
                    $this->debug('fetch', $ckey, $data);
                }
            }

            if ($data) {
                $md5sum = md5($data);
                $data   = $this->packed ? unserialize($data) : $data;
                $data   = $this->unserialize($data);

                if ($nostore) {
                    return $data;
@@ -273,20 +299,19 @@
        }
        else {
            $sql_result = $this->db->limitquery(
                "SELECT data, cache_key".
                " FROM ".$this->db->table_name('cache').
                " WHERE user_id = ?".
                " AND cache_key = ?".
                "SELECT `data`, `cache_key`".
                " FROM {$this->table}".
                " WHERE `user_id` = ? AND `cache_key` = ?".
                // for better performance we allow more records for one key
                // get the newer one
                " ORDER BY created DESC",
                " ORDER BY `created` DESC",
                0, 1, $this->userid, $this->prefix.'.'.$key);

            if ($sql_arr = $this->db->fetch_assoc($sql_result)) {
                $key = substr($sql_arr['cache_key'], strlen($this->prefix)+1);
                $md5sum = $sql_arr['data'] ? md5($sql_arr['data']) : null;
                if ($sql_arr['data']) {
                    $data = $this->packed ? unserialize($sql_arr['data']) : $sql_arr['data'];
                    $data = $this->unserialize($sql_arr['data']);
                }

                if ($nostore) {
@@ -309,13 +334,19 @@
     * Writes single cache record into DB.
     *
     * @param string $key  Cache key name
     * @param mxied  $data Serialized cache data 
     * @param mixed  $data Serialized cache data
     *
     * @param boolean True on success, False on failure
     */
    private function write_record($key, $data)
    {
        if (!$this->db) {
            return false;
        }

        // don't attempt to write too big data sets
        if (strlen($data) > $this->max_packet_size()) {
            trigger_error("rcube_cache: max_packet_size ($this->max_packet) exceeded for key $key. Tried to write " . strlen($data) . " bytes", E_USER_WARNING);
            return false;
        }

@@ -329,9 +360,8 @@
        // Remove NULL rows (here we don't need to check if the record exist)
        if ($data == 'N;') {
            $this->db->query(
                "DELETE FROM ".$this->db->table_name('cache').
                " WHERE user_id = ?".
                " AND cache_key = ?",
                "DELETE FROM {$this->table}".
                " WHERE `user_id` = ? AND `cache_key` = ?",
                $this->userid, $key);

            return true;
@@ -340,10 +370,12 @@
        // update existing cache record
        if ($key_exists) {
            $result = $this->db->query(
                "UPDATE ".$this->db->table_name('cache').
                " SET created = ". $this->db->now().", data = ?".
                " WHERE user_id = ?".
                " AND cache_key = ?",
                "UPDATE {$this->table}".
                " SET `created` = " . $this->db->now().
                    ", `expires` = " . ($this->ttl ? $this->db->now($this->ttl) : 'NULL').
                    ", `data` = ?".
                " WHERE `user_id` = ?".
                " AND `cache_key` = ?",
                $data, $this->userid, $key);
        }
        // add new cache record
@@ -351,9 +383,9 @@
            // for better performance we allow more records for one key
            // so, no need to check if record exist (see rcube_cache::read_record())
            $result = $this->db->query(
                "INSERT INTO ".$this->db->table_name('cache').
                " (created, user_id, cache_key, data)".
                " VALUES (".$this->db->now().", ?, ?, ?)",
                "INSERT INTO {$this->table}".
                " (`created`, `expires`, `user_id`, `cache_key`, `data`)".
                " VALUES (" . $this->db->now() . ", " . ($this->ttl ? $this->db->now($this->ttl) : 'NULL') . ", ?, ?, ?)",
                $this->userid, $key, $data);
        }

@@ -367,7 +399,6 @@
     * @param string  $key         Cache key name or pattern
     * @param boolean $prefix_mode Enable it to clear all keys starting
     *                             with prefix specified in $key
     *
     */
    private function remove_record($key=null, $prefix_mode=false)
    {
@@ -387,7 +418,13 @@
            }
            // Remove keys by name prefix
            else if ($prefix_mode) {
                foreach ($this->index as $k) {
                // handle data inconsistency: it may happen that index
                // contains not all existing cache entries, here we could
                // handle at least these that were used before the index was read
                $index = array_merge($this->index, array_keys($this->cache));
                $index = array_unique($index);

                foreach ($index as $k) {
                    if (strpos($k, $key) === 0) {
                        $this->delete_record($k);
                    }
@@ -403,20 +440,19 @@

        // Remove all keys (in specified cache)
        if ($key === null) {
            $where = " AND cache_key LIKE " . $this->db->quote($this->prefix.'.%');
            $where = " AND `cache_key` LIKE " . $this->db->quote($this->prefix.'.%');
        }
        // Remove keys by name prefix
        else if ($prefix_mode) {
            $where = " AND cache_key LIKE " . $this->db->quote($this->prefix.'.'.$key.'%');
            $where = " AND `cache_key` LIKE " . $this->db->quote($this->prefix.'.'.$key.'%');
        }
        // Remove one key by name
        else {
            $where = " AND cache_key = " . $this->db->quote($this->prefix.'.'.$key);
            $where = " AND `cache_key` = " . $this->db->quote($this->prefix.'.'.$key);
        }

        $this->db->query(
            "DELETE FROM ".$this->db->table_name('cache').
            " WHERE user_id = ?" . $where,
            "DELETE FROM {$this->table} WHERE `user_id` = ?" . $where,
            $this->userid);
    }

@@ -436,11 +472,19 @@
            $result = $this->db->replace($key, $data, MEMCACHE_COMPRESSED, $this->ttl);
            if (!$result)
                $result = $this->db->set($key, $data, MEMCACHE_COMPRESSED, $this->ttl);

            if ($this->debug) {
                $this->debug('set', $key, $data, $result);
            }
        }
        else if ($this->type == 'apc') {
            if (apc_exists($key))
                apc_delete($key);
            $result = apc_store($key, $data, $this->ttl);

            if ($this->debug) {
                $this->debug('store', $key, $data, $result);
            }
        }

        // Update index
@@ -464,11 +508,21 @@
    private function delete_record($key, $index=true)
    {
        if ($this->type == 'memcache') {
            $ckey = $this->ckey($key);
            // #1488592: use 2nd argument
            $this->db->delete($this->ckey($key), 0);
            $result = $this->db->delete($ckey, 0);

            if ($this->debug) {
                $this->debug('delete', $ckey, null, $result);
            }
        }
        else {
            apc_delete($this->ckey($key));
            $ckey   = $this->ckey($key);
            $result = apc_delete($ckey);

            if ($this->debug) {
                $this->debug('delete', $ckey, null, $result);
            }
        }

        if ($index) {
@@ -524,9 +578,17 @@
        $index_key = $this->ikey();
        if ($this->type == 'memcache') {
            $data = $this->db->get($index_key);

            if ($this->debug) {
                $this->debug('get', $index_key, $data);
            }
        }
        else if ($this->type == 'apc') {
            $data = apc_fetch($index_key);

            if ($this->debug) {
                $this->debug('fetch', $index_key, $data);
            }
        }

        $this->index = $data ? unserialize($data) : array();
@@ -556,4 +618,79 @@
        // This way each cache will have its own index
        return sprintf('%d:%s%s', $this->userid, $this->prefix, 'INDEX');
    }

    /**
     * Serializes data for storing
     */
    private function serialize($data)
    {
        if ($this->type == 'db') {
            return $this->db->encode($data, $this->packed);
        }

        return $this->packed ? serialize($data) : $data;
    }

    /**
     * Unserializes serialized data
     */
    private function unserialize($data)
    {
        if ($this->type == 'db') {
            return $this->db->decode($data, $this->packed);
        }

        return $this->packed ? @unserialize($data) : $data;
    }

    /**
     * Determine the maximum size for cache data to be written
     */
    private function max_packet_size()
    {
        if ($this->max_packet < 0) {
            $this->max_packet = 2097152; // default/max is 2 MB

            if ($this->type == 'db') {
                if ($value = $this->db->get_variable('max_allowed_packet', $this->max_packet)) {
                    $this->max_packet = $value;
                }
                $this->max_packet -= 2000;
            }
            else if ($this->type == 'memcache') {
                $stats = $this->db->getStats();
                $remaining = $stats['limit_maxbytes'] - $stats['bytes'];
                $this->max_packet = min($remaining / 5, $this->max_packet);
            }
            else if ($this->type == 'apc' && function_exists('apc_sma_info')) {
                $stats = apc_sma_info();
                $this->max_packet = min($stats['avail_mem'] / 5, $this->max_packet);
            }
        }

        return $this->max_packet;
    }

    /**
     * Write memcache/apc debug info to the log
     */
    private function debug($type, $key, $data = null, $result = null)
    {
        $line = strtoupper($type) . ' ' . $key;

        if ($data !== null) {
            $line .= ' ' . ($this->packed ? $data : serialize($data));

            if (($len = strlen($line)) > self::DEBUG_LINE_LENGTH) {
                $diff = $len - self::DEBUG_LINE_LENGTH;
                $line = substr($line, 0, self::DEBUG_LINE_LENGTH) . "... [truncated $diff bytes]";
            }
        }

        if ($result !== null) {
            $line .= ' [' . ($result ? 'TRUE' : 'FALSE') . ']';
        }

        rcube::write_log($this->type, $line);
    }
}