Skip charset (or use US_ASCII) intead of UTF-8 if body contains only ASCII ...

Aleksander Machniak

2013-11-25 ac3cddac97afb04a079b3f32d689304bb5228ee2

 program/steps/mail/sendmail.inc

@@ -18,9 +18,6 @@
 +-----------------------------------------------------------------------+
 | Author: Thomas Bruederli <roundcube@gmail.com>                        |
 +-----------------------------------------------------------------------+

 $Id$

*/

// remove all scripts and act as called in frame
@@ -52,7 +49,7 @@

  if(!empty($CONFIG['sendmail_delay'])) {
    $wait_sec = time() - intval($CONFIG['sendmail_delay']) - intval($CONFIG['last_message_time']);
    if($wait_sec < 0) {
    if ($wait_sec < 0) {
      $OUTPUT->show_message('senttooquickly', 'error', array('sec' => $wait_sec * -1));
      $OUTPUT->send('iframe');
    }
@@ -75,13 +72,19 @@
// get identity record
function rcmail_get_identity($id)
{
  global $RCMAIL, $OUTPUT;
  global $RCMAIL, $message_charset;
  global $RCMAIL;

  if ($sql_arr = $RCMAIL->user->get_identity($id)) {
    $out = $sql_arr;

    if ($message_charset != RCMAIL_CHARSET) {
      foreach ($out as $k => $v)
        $out[$k] = rcube_charset_convert($v, RCMAIL_CHARSET, $message_charset);
    }

    $out['mailto'] = $sql_arr['email'];
    $out['string'] = format_email_recipient($sql_arr['email'],
      rcube_charset_convert($sql_arr['name'], RCMAIL_CHARSET, $OUTPUT->get_charset()));
    $out['string'] = format_email_recipient($sql_arr['email'], $sql_arr['name']);

    return $out;
  }
@@ -96,11 +99,10 @@
 * to this:
 *
 * <img src="/path/on/server/.../tiny_mce/plugins/emotions/images/smiley-cool.gif" border="0" alt="Cool" title="Cool" />
 * ...
 */
function rcmail_fix_emoticon_paths(&$mime_message)
function rcmail_fix_emoticon_paths($mime_message)
{
  global $CONFIG;
  global $RCMAIL;

  $body = $mime_message->getHTMLBody();

@@ -125,8 +127,9 @@

        if (! in_array($image_name, $included_images)) {
          // add the image to the MIME message
          if (! $mime_message->addHTMLImage($img_file, 'image/gif', '', true, $image_name))
            $OUTPUT->show_message("emoticonerror", 'error');
          if (!$mime_message->addHTMLImage($img_file, 'image/gif', '', true, $image_name)) {
            $RCMAIL->output->show_message("emoticonerror", 'error');
          }
          array_push($included_images, $image_name);
        }

@@ -137,8 +140,53 @@
  }

  $mime_message->setHTMLBody($body);
}

  return $body;
/**
 * Extract image attachments from HTML content (data URIs)
 */
function rcmail_extract_inline_images($mime_message, $from)
{
    $body   = $mime_message->getHTMLBody();
    $offset = 0;
    $list   = array();
    $regexp = '# src=[\'"](data:(image/[a-z]+);base64,([a-z0-9+/=\r\n]+))([\'"])#i';

    // get domain for the Content-ID, must be the same as in Mail_Mime::get()
    if (preg_match('#@([0-9a-zA-Z\-\.]+)#', $from, $matches)) {
        $domain = $matches[1];
    } else {
        $domain = 'localhost';
    }

    if (preg_match_all($regexp, $body, $matches, PREG_OFFSET_CAPTURE)) {
        foreach ($matches[1] as $idx => $m) {
            $data = preg_replace('/\r\n/', '', $matches[3][$idx][0]);
            $data = base64_decode($data);

            if (empty($data)) {
                continue;
            }

            $hash      = md5($data) . '@' . $domain;
            $mime_type = $matches[2][$idx][0];
            $name      = $list[$hash];

            // add the image to the MIME message
            if (!$name) {
                $ext         = preg_replace('#^[^/]+/#', '', $mime_type);
                $name        = substr($hash, 0, 8) . '.' . $ext;
                $list[$hash] = $name;

                $mime_message->addHTMLImage($data, $mime_type, $name, false, $hash);
            }

            $body = substr_replace($body, $name, $m[1] + $offset, strlen($m[0]));
            $offset += strlen($name) - strlen($m[0]);
        }
    }

    $mime_message->setHTMLBody($body);
}

/**
@@ -171,15 +219,19 @@
    // address in brackets without name (do nothing)
    if (preg_match('/^<'.$email_regexp.'>$/', $item)) {
      $item = rcube_idn_to_ascii(trim($item, '<>'));
      $result[] = '<' . $item . '>';
      $result[] = $item;
    // address without brackets and without name (add brackets)
    } else if (preg_match('/^'.$email_regexp.'$/', $item)) {
      $item = rcube_idn_to_ascii($item);
      $result[] = '<' . $item . '>';
      $result[] = $item;
    // address with name (handle name)
    } else if (preg_match('/<*'.$email_regexp.'>*$/', $item, $matches)) {
      $address = $matches[0];
      $name = trim(str_replace($address, '', $item), '" ');
      $name = trim(str_replace($address, '', $item));
      if ($name[0] == '"' && $name[count($name)-1] == '"') {
        $name = substr($name, 1, -1);
      }
      $name = stripcslashes($name);
      $address = rcube_idn_to_ascii(trim($address, '<>'));
      $result[] = format_email_recipient($address, $name);
      $item = $address;
@@ -203,6 +255,33 @@
}


function rcmail_generic_message_footer($isHtml)
{
  global $CONFIG;

  if ($isHtml && !empty($CONFIG['generic_message_footer_html'])) {
    $file = $CONFIG['generic_message_footer_html'];
    $html_footer = true;
  }
  else {
    $file = $CONFIG['generic_message_footer'];
    $html_footer = false;
  }

  if ($file && realpath($file)) {
    // sanity check
    if (!preg_match('/\.(php|ini|conf)$/', $file) && strpos($file, '/etc/') === false) {
      $footer = file_get_contents($file);
      if ($isHtml && !$html_footer)
        $footer = '<pre>' . $footer . '</pre>';
      return $footer;
    }
  }

  return false;
}


/****** compose message ********/

if (strlen($_POST['_draft_saveid']) > 3)
@@ -211,8 +290,7 @@
$message_id = rcmail_gen_message_id();

// set default charset
$input_charset = $OUTPUT->get_charset();
$message_charset = isset($_POST['_charset']) ? $_POST['_charset'] : $input_charset;
$message_charset = isset($_POST['_charset']) ? $_POST['_charset'] : $OUTPUT->get_charset();

$EMAIL_FORMAT_ERROR = NULL;
$RECIPIENT_COUNT = 0;
@@ -313,10 +391,6 @@
if (!empty($mailbcc)) {
  $headers['Bcc'] = $mailbcc;
}
if (!empty($identity_arr['bcc'])) {
  $headers['Bcc'] = ($headers['Bcc'] ? $headers['Bcc'].', ' : '') . $identity_arr['bcc'];
  $RECIPIENT_COUNT ++;
}

if (($max_recipients = (int) $RCMAIL->config->get('max_recipients')) > 0) {
  if ($RECIPIENT_COUNT > $max_recipients) {
@@ -334,17 +408,11 @@
if (!empty($_POST['_replyto'])) {
  $headers['Reply-To'] = rcmail_email_input_format(get_input_value('_replyto', RCUBE_INPUT_POST, TRUE, $message_charset));
}
else if (!empty($identity_arr['reply-to'])) {
  $headers['Reply-To'] = rcmail_email_input_format($identity_arr['reply-to'], false, true);
}
if (!empty($headers['Reply-To'])) {
  $headers['Mail-Reply-To'] = $headers['Reply-To'];
}
if (!empty($_POST['_followupto'])) {
  $headers['Mail-Followup-To'] = rcmail_email_input_format(get_input_value('_followupto', RCUBE_INPUT_POST, TRUE, $message_charset));
}
if (!empty($COMPOSE['reply_msgid'])) {
  $headers['In-Reply-To'] = $COMPOSE['reply_msgid'];
}

// remember reply/forward UIDs in special headers
@@ -355,6 +423,9 @@
  $headers['X-Draft-Info'] = array('type' => 'forward', 'uid' => $COMPOSE['forward_uid']);
}

if (!empty($COMPOSE['reply_msgid'])) {
  $headers['In-Reply-To'] = $COMPOSE['reply_msgid'];
}
if (!empty($COMPOSE['references'])) {
  $headers['References'] = $COMPOSE['references'];
}
@@ -384,6 +455,7 @@
}

// exec hook for header checking and manipulation
// Depracated: use message_before_send hook instead
$data = $RCMAIL->plugins->exec_hook('message_outgoing_headers', array('headers' => $headers));

// sending aborted by plugin
@@ -401,12 +473,19 @@
$message_body = get_input_value('_message', RCUBE_INPUT_POST, TRUE, $message_charset);

if ($isHtml) {
  $font   = rcube_fontdefs($RCMAIL->config->get('default_font', 'Verdana'));
  $bstyle = $font && is_string($font) ? " style='font-family: $font'" : '';
  $bstyle = array();

  if ($font_size = $RCMAIL->config->get('default_font_size')) {
    $bstyle[] = 'font-size: ' . $font_size;
  }
  if ($font_family = $RCMAIL->config->get('default_font')) {
    $bstyle[] = 'font-family: ' . rcmail::font_defs($font_family);
  }

  // append doctype and html/body wrappers
  $message_body = '<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN">' .
    "\r\n<html><body$bstyle>\r\n" . $message_body;
  $message_body = '<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN">'
    . "\r\n<html><body" . (!empty($bstyle) ? " style='" . implode($bstyle, '; ') . "'" : '') . ">\r\n"
    . $message_body;
}

if (!$savedraft) {
@@ -415,7 +494,7 @@
    $message_body = preg_replace('/\s*id="_rc_sig"/', '', $message_body);

    // add inline css for blockquotes
    $bstyle = 'padding-left:5px; border-left:#1010ff 2px solid; margin-left:5px; width:100%';
    $bstyle = 'padding-left:5px; border-left:#1010ff 2px solid; margin-left:5px';
    $message_body = preg_replace('/<blockquote>/',
      '<blockquote type="cite" style="'.$bstyle.'">', $message_body);
  }
@@ -424,6 +503,7 @@
  if ($CONFIG['spellcheck_before_send'] && $CONFIG['enable_spellcheck']
    && empty($COMPOSE['spell_checked']) && !empty($message_body)
  ) {
    $message_body = str_replace("\r\n", "\n", $message_body);
    $spellchecker = new rcube_spellchecker(get_input_value('_lang', RCUBE_INPUT_GPC));
    $spell_result = $spellchecker->check($message_body, $isHtml);

@@ -438,23 +518,27 @@
  }

  // generic footer for all messages
  if ($isHtml && !empty($CONFIG['generic_message_footer_html'])) {
      $footer = file_get_contents(realpath($CONFIG['generic_message_footer_html']));
      $footer = rcube_charset_convert($footer, RCMAIL_CHARSET, $message_charset);
  }
  else if (!empty($CONFIG['generic_message_footer'])) {
    $footer = file_get_contents(realpath($CONFIG['generic_message_footer']));
  if ($footer = rcmail_generic_message_footer($isHtml)) {
    $footer = rcube_charset_convert($footer, RCMAIL_CHARSET, $message_charset);
    if ($isHtml)
      $footer = '<pre>'.$footer.'</pre>';
  }

  if ($footer)
    $message_body .= "\r\n" . $footer;
  }
}

if ($isHtml) {
  $message_body .= "\r\n</body></html>\r\n";
}

// sort attachments to make sure the order is the same as in the UI (#1488423)
$files = get_input_value('_attachments', RCUBE_INPUT_POST);
if ($files) {
  $files = explode(',', $files);
  $files = array_flip($files);
  foreach ($files as $idx => $val) {
    $files[$idx] = $COMPOSE['attachments'][$idx];
    unset($COMPOSE['attachments'][$idx]);
  }

  $COMPOSE['attachments'] = array_merge(array_filter($files), $COMPOSE['attachments']);
}

// set line length for body wrapping
@@ -494,17 +578,12 @@
  $plugin['body'] = rcmail_replace_emoticons($plugin['body']);

  // add a plain text version of the e-mail as an alternative part.
  $h2t = new html2text($plugin['body'], false, true, 0);
  $plainTextPart = rc_wordwrap($h2t->get_text(), $LINE_LENGTH, "\r\n");
  $h2t = new rcube_html2text($plugin['body'], false, true, 0, $message_charset);
  $plainTextPart = rc_wordwrap($h2t->get_text(), $LINE_LENGTH, "\r\n", false, $message_charset);
  $plainTextPart = wordwrap($plainTextPart, 998, "\r\n", true);
  if (!$plainTextPart) {
    // empty message body breaks attachment handling in drafts
    $plainTextPart = "\r\n";
  }
  else {
    // make sure all line endings are CRLF (#1486712)
    $plainTextPart = preg_replace('/\r?\n/', "\r\n", $plainTextPart);
  }

  // make sure all line endings are CRLF (#1486712)
  $plainTextPart = preg_replace('/\r?\n/', "\r\n", $plainTextPart);

  $plugin = $RCMAIL->plugins->exec_hook('message_outgoing_body',
    array('body' => $plainTextPart, 'type' => 'alternative', 'message' => $MAIL_MIME));
@@ -513,7 +592,10 @@

  // look for "emoticon" images from TinyMCE and change their src paths to
  // be file paths on the server instead of URL paths.
  $message_body = rcmail_fix_emoticon_paths($MAIL_MIME);
  rcmail_fix_emoticon_paths($MAIL_MIME);

  // Extract image Data URIs into message attachments (#1488502)
  rcmail_extract_inline_images($MAIL_MIME, $from);
}
else {
  $plugin = $RCMAIL->plugins->exec_hook('message_outgoing_body',
@@ -522,49 +604,61 @@
  $message_body = $plugin['body'];

  // compose format=flowed content if enabled
  if ($flowed = $RCMAIL->config->get('send_format_flowed', true))
    $message_body = rcube_mime::format_flowed($message_body, min($LINE_LENGTH+2, 79));
  if ($flowed = ($savedraft || $RCMAIL->config->get('send_format_flowed', true)))
    $message_body = rcube_mime::format_flowed($message_body, min($LINE_LENGTH+2, 79), $message_charset);
  else
    $message_body = rc_wordwrap($message_body, $LINE_LENGTH, "\r\n");
    $message_body = rc_wordwrap($message_body, $LINE_LENGTH, "\r\n", false, $message_charset);

  $message_body = wordwrap($message_body, 998, "\r\n", true);
  if (!strlen($message_body)) { 
    // empty message body breaks attachment handling in drafts 
    $message_body = "\r\n"; 
  }

  $MAIL_MIME->setTXTBody($message_body, false, true);
}

// add stored attachments, if any
if (is_array($COMPOSE['attachments']))
{
if (is_array($COMPOSE['attachments'])) {
  foreach ($COMPOSE['attachments'] as $id => $attachment) {
    // This hook retrieves the attachment contents from the file storage backend
    $attachment = $RCMAIL->plugins->exec_hook('attachment_get', $attachment);

    $dispurl = '/\ssrc\s*=\s*[\'"]*\S+display-attachment\S+file=rcmfile' . preg_quote($attachment['id']) . '[\s\'"]*/';
    $message_body = $MAIL_MIME->getHTMLBody();
    if ($isHtml && (preg_match($dispurl, $message_body) > 0)) {
      $message_body = preg_replace($dispurl, ' src="'.$attachment['name'].'" ', $message_body);
    if ($isHtml) {
      $dispurl      = '/\ssrc\s*=\s*[\'"]*\S+display-attachment\S+file=rcmfile' . preg_quote($attachment['id']) . '[\s\'"]*/';
      $message_body = $MAIL_MIME->getHTMLBody();
      $is_inline    = preg_match($dispurl, $message_body);
    }
    else {
      $is_inline = false;
    }

    // inline image
    if ($is_inline) {
      // Mail_Mime does not support many inline attachments with the same name (#1489406)
      // we'll generate cid: urls here to workaround this
      $cid = preg_replace('/[^0-9a-zA-Z]/', '', uniqid(time(), true));
      if (preg_match('#(@[0-9a-zA-Z\-\.]+)#', $from, $matches)) {
        $cid .= $matches[1];
      } else {
        $cid .= '@localhost';
      }

      $message_body = preg_replace($dispurl, ' src="cid:' . $cid . '" ', $message_body);

      $MAIL_MIME->setHTMLBody($message_body);

      if ($attachment['data'])
        $MAIL_MIME->addHTMLImage($attachment['data'], $attachment['mimetype'], $attachment['name'], false);
        $MAIL_MIME->addHTMLImage($attachment['data'], $attachment['mimetype'], $attachment['name'], false, $cid);
      else
        $MAIL_MIME->addHTMLImage($attachment['path'], $attachment['mimetype'], $attachment['name'], true);
        $MAIL_MIME->addHTMLImage($attachment['path'], $attachment['mimetype'], $attachment['name'], true, $cid);
    }
    else {
      $ctype = str_replace('image/pjpeg', 'image/jpeg', $attachment['mimetype']); // #1484914
      $file = $attachment['data'] ? $attachment['data'] : $attachment['path'];

      // .eml attachments send inline
      $MAIL_MIME->addAttachment($file,
        $ctype,
        $attachment['name'],
        ($attachment['data'] ? false : true),
        ($ctype == 'message/rfc822' ? '8bit' : 'base64'),
        ($ctype == 'message/rfc822' ? 'inline' : 'attachment'),
        'attachment',
        '', '', '',
        $CONFIG['mime_param_folding'] ? 'quoted-printable' : NULL,
        $CONFIG['mime_param_folding'] == 2 ? 'quoted-printable' : NULL,
@@ -575,10 +669,22 @@
}

// choose transfer encoding for plain/text body
if (preg_match('/[^\x00-\x7F]/', $MAIL_MIME->getTXTBody()))
if (preg_match('/[^\x00-\x7F]/', $MAIL_MIME->getTXTBody())) {
  $text_charset      = $message_charset;
  $transfer_encoding = $RCMAIL->config->get('force_7bit') ? 'quoted-printable' : '8bit';
else
}
else {
  $text_charset      = '';
  $transfer_encoding = '7bit';
}

if ($flowed) {
  if (!$text_charset) {
    $text_charset = 'US-ASCII';
  }

  $text_charset .= ";\r\n format=flowed";
}

// encoding settings for mail composing
$MAIL_MIME->setParam('text_encoding', $transfer_encoding);
@@ -586,7 +692,7 @@
$MAIL_MIME->setParam('head_encoding', 'quoted-printable');
$MAIL_MIME->setParam('head_charset', $message_charset);
$MAIL_MIME->setParam('html_charset', $message_charset);
$MAIL_MIME->setParam('text_charset', $message_charset . ($flowed ? ";\r\n format=flowed" : ''));
$MAIL_MIME->setParam('text_charset', $text_charset);

// encoding subject header with mb_encode provides better results with asian characters
if (function_exists('mb_encode_mimeheader')) {
@@ -617,19 +723,18 @@
    $smtp_error, $mailbody_file, $smtp_opts);

  // return to compose page if sending failed
  if (!$sent)
    {
  if (!$sent) {
    // remove temp file
    if ($mailbody_file) {
      unlink($mailbody_file);
      }
    }

    if ($smtp_error)
      $OUTPUT->show_message($smtp_error['label'], 'error', $smtp_error['vars']); 
    else
      $OUTPUT->show_message('sendingfailed', 'error'); 
    $OUTPUT->send('iframe');
    }
  }

  // save message sent time
  if (!empty($CONFIG['sendmail_delay']))
@@ -647,7 +752,7 @@
// Determine which folder to save message
if ($savedraft)
  $store_target = $CONFIG['drafts_mbox'];
else
else if (!$RCMAIL->config->get('no_save_sent_messages'))
  $store_target = isset($_POST['_store_target']) ? get_input_value('_store_target', RCUBE_INPUT_POST) : $CONFIG['sent_mbox'];

if ($store_target) {
@@ -683,28 +788,31 @@

    if (PEAR::isError($msg))
      raise_error(array('code' => 650, 'type' => 'php',
       'file' => __FILE__, 'line' => __LINE__,
        'file' => __FILE__, 'line' => __LINE__,
            'message' => "Could not create message: ".$msg->getMessage()),
            TRUE, FALSE);
    else {
      $saved = $RCMAIL->storage->save_message($store_target, $msg, $headers, $mailbody_file ? true : false);
      $saved = $RCMAIL->storage->save_message($store_target, $msg, $headers,
        $mailbody_file ? true : false, array('SEEN'));
    }

    if ($mailbody_file) {
      unlink($mailbody_file);
      $mailbody_file = null;
    }
  }

    // raise error if saving failed
    if (!$saved) {
      raise_error(array('code' => 800, 'type' => 'imap',
       'file' => __FILE__, 'line' => __LINE__,
            'message' => "Could not save message in $store_target"), TRUE, FALSE);
  // raise error if saving failed
  if (!$saved) {
    raise_error(array('code' => 800, 'type' => 'imap',
       'file' => __FILE__, 'line' => __LINE__,
       'message' => "Could not save message in $store_target"), TRUE, FALSE);

      if ($savedraft) {
        $OUTPUT->show_message('errorsaving', 'error');
        $OUTPUT->send('iframe');
      }
    if ($savedraft) {
      $OUTPUT->show_message('errorsaving', 'error');
      // start the auto-save timer again
      $OUTPUT->command('auto_save_start');
      $OUTPUT->send('iframe');
    }
  }

@@ -740,9 +848,10 @@
    $saved     = $draft_idx->get_element('FIRST');
  }
  $COMPOSE['param']['draft_uid'] = $saved;
  $plugin = $RCMAIL->plugins->exec_hook('message_draftsaved', array('msgid' => $msgid, 'uid' => $saved, 'folder' => $store_target));

  // display success
  $OUTPUT->show_message('messagesaved', 'confirmation');
  $OUTPUT->show_message($plugin['message'] ? $plugin['message'] : 'messagesaved', 'confirmation');

  // update "_draft_saveid" and the "cmp_hash" to prevent "Unsaved changes" warning
  $OUTPUT->command('set_draft_id', $msgid);
@@ -750,15 +859,25 @@

  // start the auto-save timer again
  $OUTPUT->command('auto_save_start');

  $OUTPUT->send('iframe');
}
else {
  $folders = array();

  if ($COMPOSE['mode'] == 'reply' || $COMPOSE['mode'] == 'forward')
    $folders[] = $COMPOSE['mailbox'];

  rcmail_compose_cleanup($COMPOSE_ID);
  $OUTPUT->command('remove_compose_data', $COMPOSE_ID);

  if ($store_folder && !$saved)
    $OUTPUT->command('sent_successfully', 'error', rcube_label('errorsavingsent'));
  else
    $OUTPUT->command('sent_successfully', 'confirmation', rcube_label('messagesent'));
  $OUTPUT->send('iframe');
    $OUTPUT->command('sent_successfully', 'error', rcube_label('errorsavingsent'), $folders);
  else {
    if ($store_folder) {
      $folders[] = $store_target;
    }

    $OUTPUT->command('sent_successfully', 'confirmation', rcube_label('messagesent'), $folders);
  }
}

$OUTPUT->send('iframe');