Improved PERMANENTFLAGS checking code, added code for flags caching (curren...

Aleksander Machniak

2012-05-23 996d75d5fa4a5052094a64cf82d78c4375a5e797

 program/include/rcube_imap.php

@@ -19,9 +19,6 @@
 | Author: Thomas Bruederli <roundcube@gmail.com>                        |
 | Author: Aleksander Machniak <alec@alec.pl>                            |
 +-----------------------------------------------------------------------+

 $Id$

*/


@@ -132,7 +129,7 @@
            $this->options['ssl_mode'] = $use_ssl == 'imaps' ? 'ssl' : $use_ssl;
        }
        else if ($use_ssl) {
            raise_error(array('code' => 403, 'type' => 'imap',
            rcube::raise_error(array('code' => 403, 'type' => 'imap',
                'file' => __FILE__, 'line' => __LINE__,
                'message' => "OpenSSL not available"), true, false);
            $port = 143;
@@ -154,7 +151,7 @@

        $attempt = 0;
        do {
            $data = rcmail::get_instance()->plugins->exec_hook('imap_connect',
            $data = rcube::get_instance()->plugins->exec_hook('imap_connect',
                array_merge($this->options, array('host' => $host, 'user' => $user,
                    'attempt' => ++$attempt)));

@@ -185,9 +182,9 @@
        else if ($this->conn->error) {
            if ($pass && $user) {
                $message = sprintf("Login failed for %s from %s. %s",
                    $user, rcmail_remote_ip(), $this->conn->error);
                    $user, rcube_utils::remote_ip(), $this->conn->error);

                raise_error(array('code' => 403, 'type' => 'imap',
                rcube::raise_error(array('code' => 403, 'type' => 'imap',
                    'file' => __FILE__, 'line' => __LINE__,
                    'message' => $message), true, false);
            }
@@ -404,15 +401,56 @@
     */
    public function check_permflag($flag)
    {
        $flag = strtoupper($flag);
        $imap_flag = $this->conn->flags[$flag];
        $flag       = strtoupper($flag);
        $imap_flag  = $this->conn->flags[$flag];
        $perm_flags = $this->get_permflags($this->folder);

        if ($this->folder !== null) {
            $this->check_connection();
        return in_array_nocase($imap_flag, $perm_flags);
    }


    /**
     * Returns PERMANENTFLAGS of the specified folder
     *
     * @param  string $folder Folder name
     *
     * @return array Flags
     */
    public function get_permflags($folder)
    {
        if (!strlen($folder)) {
            return array();
        }
        // @TODO: cache permanent flags (?)
/*
        Checking PERMANENTFLAGS is rather rare, so we disable caching of it
        Re-think when we'll use it for more than only MDNSENT flag

        return (in_array_nocase($imap_flag, $this->conn->data['PERMANENTFLAGS']));
        $cache_key = 'mailboxes.permanentflags.' . $folder;
        $permflags = $this->get_cache($cache_key);

        if ($permflags !== null) {
            return explode(' ', $permflags);
        }
*/
        if (!$this->check_connection()) {
            return array();
        }

        if ($this->conn->select($folder)) {
            $permflags = $this->conn->data['PERMANENTFLAGS'];
        }
        else {
            return array();
        }

        if (!is_array($permflags)) {
            $permflags = array();
        }
/*
        // Store permflags as string to limit cached object size
        $this->update_cache($cache_key, implode(' ', $permflags));
*/
        return $permflags;
    }


@@ -457,7 +495,7 @@
            return;
        }

        $config = rcmail::get_instance()->config;
        $config = rcube::get_instance()->config;
        $imap_personal  = $config->get('imap_ns_personal');
        $imap_other     = $config->get('imap_ns_other');
        $imap_shared    = $config->get('imap_ns_shared');
@@ -546,7 +584,7 @@
            $folder = $this->folder;
        }

        return $this->messagecount($folder, $mode, $force, $status);
        return $this->countmessages($folder, $mode, $force, $status);
    }


@@ -562,12 +600,12 @@
     * @return int Number of messages
     * @see rcube_imap::count()
     */
    protected function messagecount($folder, $mode='ALL', $force=false, $status=true)
    protected function countmessages($folder, $mode='ALL', $force=false, $status=true)
    {
        $mode = strtoupper($mode);

        // count search set
        if ($this->search_string && $folder == $this->folder && ($mode == 'ALL' || $mode == 'THREADS') && !$force) {
        // count search set, assume search set is always up-to-date (don't check $force flag)
        if ($this->search_string && $folder == $this->folder && ($mode == 'ALL' || $mode == 'THREADS')) {
            if ($mode == 'ALL') {
                return $this->search_set->count_messages();
            }
@@ -834,8 +872,8 @@
     * protected method for setting threaded messages flags:
     * depth, has_children and unread_children
     *
     * @param  array             $headers Reference to headers array indexed by message UID
     * @param  rcube_imap_result $threads Threads data object
     * @param  array               $headers  Reference to headers array indexed by message UID
     * @param  rcube_result_thread $threads  Threads data object
     *
     * @return array Message headers array indexed by message UID
     */
@@ -1048,7 +1086,7 @@

        if ($sort) {
            // use this class for message sorting
            $sorter = new rcube_header_sorter();
            $sorter = new rcube_message_header_sorter();
            $sorter->set_index($msgs);
            $sorter->sort_headers($a_msg_headers);
        }
@@ -1075,7 +1113,7 @@
        $old = $this->get_folder_stats($folder);

        // refresh message count -> will update
        $this->messagecount($folder, 'ALL', true);
        $this->countmessages($folder, 'ALL', true);

        $result = 0;

@@ -1213,7 +1251,9 @@
        }
        // use message index sort as default sorting
        else if (!$sort_field) {
            // use search result from count() if possible
            if ($this->options['skip_deleted'] && !empty($this->icache['undeleted_idx'])
                && $this->icache['undeleted_idx']->get_parameters('ALL') !== null
                && $this->icache['undeleted_idx']->get_parameters('MAILBOX') == $folder
            ) {
                $index = $this->icache['undeleted_idx'];
@@ -1346,21 +1386,21 @@
     *
     * @return rcube_result_index  Search result (UIDs)
     */
    public function search_once($mailbox = null, $str = 'ALL')
    public function search_once($folder = null, $str = 'ALL')
    {
        if (!$str) {
            return 'ALL';
        }

        if (!strlen($mailbox)) {
            $mailbox = $this->mailbox;
        if (!strlen($folder)) {
            $folder = $this->folder;
        }

        if (!$this->check_connection()) {
            return new rcube_result_index();
        }

        $index = $this->conn->search($mailbox, $str, true);
        $index = $this->conn->search($folder, $str, true);

        return $index;
    }
@@ -1456,7 +1496,7 @@
            foreach ($matches[1] as $m) {
                $string_offset = $m[1] + strlen($m[0]) + 4; // {}\r\n
                $string = substr($str, $string_offset - 1, $m[0]);
                $string = rcube_charset_convert($string, $charset, $dest_charset);
                $string = rcube_charset::convert($string, $charset, $dest_charset);
                if ($string === false) {
                    continue;
                }
@@ -1498,7 +1538,7 @@
     * @param string  $folder   Folder to read from
     * @param bool    $force    True to skip cache
     *
     * @return rcube_mail_header Message headers
     * @return rcube_message_header Message headers
     */
    public function get_message_headers($uid, $folder = null, $force = false)
    {
@@ -1529,7 +1569,7 @@
     * @param int     $uid      Message UID to fetch
     * @param string  $folder   Folder to read from
     *
     * @return object rcube_mail_header Message data
     * @return object rcube_message_header Message data
     */
    public function get_message($uid, $folder = null)
    {
@@ -1948,7 +1988,7 @@
                $charset = $this->struct_charset;
            }
            else {
                $charset = rc_detect_encoding($filename_mime, $this->default_charset);
                $charset = rcube_charset::detect($filename_mime, $this->default_charset);
            }

            $part->filename = rcube_mime::decode_mime_string($filename_mime, $charset);
@@ -1960,7 +2000,7 @@
                $filename_encoded = $fmatches[2];
            }

            $part->filename = rcube_charset_convert(urldecode($filename_encoded), $filename_charset);
            $part->filename = rcube_charset::convert(urldecode($filename_encoded), $filename_charset);
        }
    }

@@ -2039,7 +2079,7 @@
                        $o_part->charset = $this->default_charset;
                    }
                }
                $body = rcube_charset_convert($body, $o_part->charset);
                $body = rcube_charset::convert($body, $o_part->charset);
            }
        }

@@ -2227,7 +2267,7 @@
            }
        }

        $config = rcmail::get_instance()->config;
        $config = rcube::get_instance()->config;
        $to_trash = $to_mbox == $config->get('trash_mbox');

        // flag messages as read before moving them
@@ -2466,7 +2506,16 @@
            return $a_mboxes;
        }

        $a_mboxes = $this->_list_folders_subscribed($root, $name, $filter, $rights);
        // Give plugins a chance to provide a list of folders
        $data = rcube::get_instance()->plugins->exec_hook('storage_folders',
            array('root' => $root, 'name' => $name, 'filter' => $filter, 'mode' => 'LSUB'));

        if (isset($data['folders'])) {
            $a_mboxes = $data['folders'];
        }
        else {
            $a_mboxes = $this->list_folders_subscribed_direct($root, $name);
        }

        if (!is_array($a_mboxes)) {
            return array();
@@ -2495,76 +2544,74 @@


    /**
     * protected method for folders listing (LSUB)
     * Method for direct folders listing (LSUB)
     *
     * @param   string  $root   Optional root folder
     * @param   string  $name   Optional name pattern
     * @param   mixed   $filter Optional filter
     * @param   string  $rights Optional ACL requirements
     *
     * @return  array   List of subscribed folders
     * @see     rcube_imap::list_folders_subscribed()
     */
    protected function _list_folders_subscribed($root='', $name='*', $filter=null, $rights=null)
    public function list_folders_subscribed_direct($root='', $name='*')
    {
        $a_defaults = $a_out = array();

        // Give plugins a chance to provide a list of folders
        $data = rcmail::get_instance()->plugins->exec_hook('storage_folders',
            array('root' => $root, 'name' => $name, 'filter' => $filter, 'mode' => 'LSUB'));

        if (isset($data['folders'])) {
            $a_folders = $data['folders'];
        }
        else if (!$this->check_connection()) {
        if (!$this->check_connection()) {
           return null;
        }
        else {
            // Server supports LIST-EXTENDED, we can use selection options
            $config = rcmail::get_instance()->config;
            // #1486225: Some dovecot versions returns wrong result using LIST-EXTENDED
            if (!$config->get('imap_force_lsub') && $this->get_capability('LIST-EXTENDED')) {
                // This will also set folder options, LSUB doesn't do that
                $a_folders = $this->conn->listMailboxes($root, $name,
                    NULL, array('SUBSCRIBED'));

                // unsubscribe non-existent folders, remove from the list
                // we can do this only when LIST response is available
                if (is_array($a_folders) && $name == '*' && !empty($this->conn->data['LIST'])) {
                    foreach ($a_folders as $idx => $folder) {
                        if (($opts = $this->conn->data['LIST'][$folder])
                            && in_array('\\NonExistent', $opts)
                        ) {
        $config = rcube::get_instance()->config;

        // Server supports LIST-EXTENDED, we can use selection options
        // #1486225: Some dovecot versions returns wrong result using LIST-EXTENDED
        $list_extended = !$config->get('imap_force_lsub') && $this->get_capability('LIST-EXTENDED');
        if ($list_extended) {
            // This will also set folder options, LSUB doesn't do that
            $a_folders = $this->conn->listMailboxes($root, $name,
                NULL, array('SUBSCRIBED'));
        }
        else {
            // retrieve list of folders from IMAP server using LSUB
            $a_folders = $this->conn->listSubscribed($root, $name);
        }

        if (!is_array($a_folders)) {
            return array();
        }

        // #1486796: some server configurations doesn't return folders in all namespaces
        if ($root == '' && $name == '*' && $config->get('imap_force_ns')) {
            $this->list_folders_update($a_folders, ($list_extended ? 'ext-' : '') . 'subscribed');
        }

        if ($list_extended) {
            // unsubscribe non-existent folders, remove from the list
            // we can do this only when LIST response is available
            if (is_array($a_folders) && $name == '*' && !empty($this->conn->data['LIST'])) {
                foreach ($a_folders as $idx => $folder) {
                    if (($opts = $this->conn->data['LIST'][$folder])
                        && in_array('\\NonExistent', $opts)
                    ) {
                        $this->conn->unsubscribe($folder);
                        unset($a_folders[$idx]);
                    }
                }
            }
        }
        else {
            // unsubscribe non-existent folders, remove them from the list,
            // we can do this only when LIST response is available
            if (is_array($a_folders) && $name == '*' && !empty($this->conn->data['LIST'])) {
                foreach ($a_folders as $idx => $folder) {
                    if (!isset($this->conn->data['LIST'][$folder])
                        || in_array('\\Noselect', $this->conn->data['LIST'][$folder])
                    ) {
                        // Some servers returns \Noselect for existing folders
                        if (!$this->folder_exists($folder)) {
                            $this->conn->unsubscribe($folder);
                            unset($a_folders[$idx]);
                        }
                    }
                }
            }
            // retrieve list of folders from IMAP server using LSUB
            else {
                $a_folders = $this->conn->listSubscribed($root, $name);

                // unsubscribe non-existent folders, remove them from the list,
                // we can do this only when LIST response is available
                if (is_array($a_folders) && $name == '*' && !empty($this->conn->data['LIST'])) {
                    foreach ($a_folders as $idx => $folder) {
                        if (!isset($this->conn->data['LIST'][$folder])
                            || in_array('\\Noselect', $this->conn->data['LIST'][$folder])
                        ) {
                            // Some servers returns \Noselect for existing folders
                            if (!$this->folder_exists($folder)) {
                                $this->conn->unsubscribe($folder);
                                unset($a_folders[$idx]);
                            }
                        }
                    }
                }
            }
        }

        if (!is_array($a_folders) || !sizeof($a_folders)) {
            $a_folders = array();
        }

        return $a_folders;
@@ -2598,7 +2645,7 @@
        }

        // Give plugins a chance to provide a list of folders
        $data = rcmail::get_instance()->plugins->exec_hook('storage_folders',
        $data = rcube::get_instance()->plugins->exec_hook('storage_folders',
            array('root' => $root, 'name' => $name, 'filter' => $filter, 'mode' => 'LIST'));

        if (isset($data['folders'])) {
@@ -2606,7 +2653,7 @@
        }
        else {
            // retrieve list of folders from IMAP server
            $a_mboxes = $this->_list_folders($root, $name);
            $a_mboxes = $this->list_folders_direct($root, $name);
        }

        if (!is_array($a_mboxes)) {
@@ -2641,7 +2688,7 @@


    /**
     * protected method for folders listing (LIST)
     * Method for direct folders listing (LIST)
     *
     * @param   string  $root   Optional root folder
     * @param   string  $name   Optional name pattern
@@ -2649,7 +2696,7 @@
     * @return  array   List of folders
     * @see     rcube_imap::list_folders()
     */
    protected function _list_folders($root='', $name='*')
    public function list_folders_direct($root='', $name='*')
    {
        if (!$this->check_connection()) {
            return null;
@@ -2661,50 +2708,71 @@
            return array();
        }

        // #1486796: some server configurations doesn't
        // return folders in all namespaces, we'll try to detect that situation
        // and ask for these namespaces separately
        if ($root == '' && $name == '*') {
            $delim     = $this->get_hierarchy_delimiter();
            $namespace = $this->get_namespace();
            $search    = array();
        $config = rcube::get_instance()->config;

            // build list of namespace prefixes
            foreach ((array)$namespace as $ns) {
                if (is_array($ns)) {
                    foreach ($ns as $ns_data) {
                        if (strlen($ns_data[0])) {
                            $search[] = $ns_data[0];
                        }
                    }
                }
            }
        // #1486796: some server configurations doesn't return folders in all namespaces
        if ($root == '' && $name == '*' && $config->get('imap_force_ns')) {
            $this->list_folders_update($result);
        }

            if (!empty($search)) {
                // go through all folders detecting namespace usage
                foreach ($result as $folder) {
                    foreach ($search as $idx => $prefix) {
                        if (strpos($folder, $prefix) === 0) {
                            unset($search[$idx]);
                        }
                    }
                    if (empty($search)) {
                        break;
                    }
                }
        return $result;
    }

                // get folders in hidden namespaces and add to the result
                foreach ($search as $prefix) {
                    $list = $this->conn->listMailboxes($prefix, $name);

                    if (!empty($list)) {
                        $result = array_merge($result, $list);
    /**
     * Fix folders list by adding folders from other namespaces.
     * Needed on some servers eg. Courier IMAP
     *
     * @param array  $result  Reference to folders list
     * @param string $type    Listing type (ext-subscribed, subscribed or all)
     */
    private function list_folders_update(&$result, $type = null)
    {
        $delim     = $this->get_hierarchy_delimiter();
        $namespace = $this->get_namespace();
        $search    = array();

        // build list of namespace prefixes
        foreach ((array)$namespace as $ns) {
            if (is_array($ns)) {
                foreach ($ns as $ns_data) {
                    if (strlen($ns_data[0])) {
                        $search[] = $ns_data[0];
                    }
                }
            }
        }

        return $result;
        if (!empty($search)) {
            // go through all folders detecting namespace usage
            foreach ($result as $folder) {
                foreach ($search as $idx => $prefix) {
                    if (strpos($folder, $prefix) === 0) {
                        unset($search[$idx]);
                    }
                }
                if (empty($search)) {
                    break;
                }
            }

            // get folders in hidden namespaces and add to the result
            foreach ($search as $prefix) {
                if ($type == 'ext-subscribed') {
                    $list = $this->conn->listMailboxes('', $prefix . '*', null, array('SUBSCRIBED'));
                }
                else if ($type == 'subscribed') {
                    $list = $this->conn->listSubscribed('', $prefix . '*');
                }
                else {
                    $list = $this->conn->listMailboxes('', $prefix . '*');
                }

                if (!empty($list)) {
                    $result = array_merge($result, $list);
                }
            }
        }
    }


@@ -2917,7 +2985,7 @@
                if (strpos($c_mbox, $folder.$delm) === 0) {
                    $this->conn->unsubscribe($c_mbox);
                    if ($this->conn->deleteFolder($c_mbox)) {
                       $this->clear_message_cache($c_mbox);
                        $this->clear_message_cache($c_mbox);
                    }
                }
            }
@@ -3144,6 +3212,13 @@
            return $this->icache['options'];
        }

        // get cached metadata
        $cache_key = 'mailboxes.folder-info.' . $folder;
        $cached = $this->get_cache($cache_key);

        if (is_array($cached))
            return $cached;

        $acl       = $this->get_capability('ACL');
        $namespace = $this->get_namespace();
        $options   = array();
@@ -3206,7 +3281,9 @@
            $options['norename'] = $options['is_root'] || $options['namespace'] != 'personal';
        }

        // update caches
        $this->icache['options'] = $options;
        $this->update_cache($cache_key, $options);

        return $options;
    }
@@ -3271,6 +3348,8 @@
        if (!$this->check_connection()) {
            return false;
        }

        $this->clear_cache('mailboxes.folder-info.' . $folder);

        return $this->conn->setACL($folder, $user, $acl);
    }
@@ -3385,6 +3464,8 @@
            return false;
        }

        $this->clear_cache('mailboxes.metadata.', true);

        if ($this->get_capability('METADATA') ||
            (!strlen($folder) && $this->get_capability('METADATA-SERVER'))
        ) {
@@ -3417,7 +3498,9 @@
            return false;
        }

        if ($this->get_capability('METADATA') || 
        $this->clear_cache('mailboxes.metadata.', true);

        if ($this->get_capability('METADATA') ||
            (!strlen($folder) && $this->get_capability('METADATA-SERVER'))
        ) {
            return $this->conn->deleteMetadata($folder, $entries);
@@ -3446,6 +3529,23 @@
     */
    public function get_metadata($folder, $entries, $options=array())
    {
        $entries = (array)$entries;

        // create cache key
        // @TODO: this is the simplest solution, but we do the same with folders list
        //        maybe we should store data per-entry and merge on request
        sort($options);
        sort($entries);
        $cache_key = 'mailboxes.metadata.' . $folder;
        $cache_key .= '.' . md5(serialize($options).serialize($entries));

        // get cached data
        $cached_data = $this->get_cache($cache_key);

        if (is_array($cached_data)) {
            return $cached_data;
        }

        if (!$this->check_connection()) {
            return null;
        }
@@ -3453,14 +3553,14 @@
        if ($this->get_capability('METADATA') ||
            (!strlen($folder) && $this->get_capability('METADATA-SERVER'))
        ) {
            return $this->conn->getMetadata($folder, $entries, $options);
            $res = $this->conn->getMetadata($folder, $entries, $options);
        }
        else if ($this->get_capability('ANNOTATEMORE') || $this->get_capability('ANNOTATEMORE2')) {
            $queries = array();
            $res     = array();

            // Convert entry names
            foreach ((array)$entries as $entry) {
            foreach ($entries as $entry) {
                list($ent, $attr) = $this->md2annotate($entry);
                $queries[$attr][] = $ent;
            }
@@ -3471,7 +3571,10 @@
                    $res = array_merge_recursive($res, $result);
                }
            }
        }

        if (isset($res)) {
            $this->update_cache($cache_key, $res);
            return $res;
        }

@@ -3508,7 +3611,7 @@
    /**
     * Enable or disable indexes caching
     *
     * @param string $type Cache type (@see rcmail::get_cache)
     * @param string $type Cache type (@see rcube::get_cache)
     */
    public function set_caching($type)
    {
@@ -3530,9 +3633,9 @@
    protected function get_cache_engine()
    {
        if ($this->caching && !$this->cache) {
            $rcmail = rcmail::get_instance();
            $ttl = $rcmail->config->get('message_cache_lifetime', '10d') - mktime();
            $this->cache = $rcmail->get_cache('IMAP', $this->caching, $ttl);
            $rcube = rcube::get_instance();
            $ttl = $rcube->config->get('message_cache_lifetime', '10d');
            $this->cache = $rcube->get_cache('IMAP', $this->caching, $ttl);
        }

        return $this->cache;
@@ -3585,12 +3688,13 @@
    public function expunge_cache()
    {
        if ($this->mcache) {
            $ttl = rcmail::get_instance()->config->get('message_cache_lifetime', '10d');
            $ttl = rcube::get_instance()->config->get('message_cache_lifetime', '10d');
            $this->mcache->expunge($ttl);
        }

        if ($this->cache)
        if ($this->cache) {
            $this->cache->expunge();
        }
    }


@@ -3624,10 +3728,10 @@
    protected function get_mcache_engine()
    {
        if ($this->messages_caching && !$this->mcache) {
            $rcmail = rcmail::get_instance();
            if ($dbh = $rcmail->get_dbh()) {
            $rcube = rcube::get_instance();
            if ($dbh = $rcube->get_dbh()) {
                $this->mcache = new rcube_imap_cache(
                    $dbh, $this, $rcmail->user->ID, $this->options['skip_deleted']);
                    $dbh, $this, $rcube->get_user_id(), $this->options['skip_deleted']);
            }
        }

@@ -3691,7 +3795,7 @@
                $a_defaults[$p] = $folder;
            }
            else {
                $folders[$folder] = rcube_charset_convert($folder, 'UTF7-IMAP');
                $folders[$folder] = rcube_charset::convert($folder, 'UTF7-IMAP');
            }
        }

@@ -3851,7 +3955,7 @@
     */
    public function debug_handler(&$imap, $message)
    {
        write_log('imap', $message);
        rcube::write_log('imap', $message);
    }


@@ -3904,6 +4008,11 @@
        return $this->list_messages($folder, $page, $sort_field, $sort_order, $slice);
    }

    public function get_headers($uid, $folder = null, $force = false)
    {
        return $this->get_message_headers($uid, $folder, $force);
    }

    public function mailbox_status($folder = null)
    {
        return $this->folder_status($folder);