James Moger
2012-03-27 f5432e015d173f2665f7ca34735057e7b2b25d16
src/com/gitblit/GitBlit.java
@@ -23,15 +23,20 @@
import java.io.InputStreamReader;
import java.lang.reflect.Field;
import java.text.MessageFormat;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Collection;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.HashSet;
import java.util.LinkedHashSet;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import java.util.Set;
import java.util.TimeZone;
import java.util.TreeSet;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
@@ -68,11 +73,13 @@
import com.gitblit.models.FederationSet;
import com.gitblit.models.Metric;
import com.gitblit.models.RepositoryModel;
import com.gitblit.models.SearchResult;
import com.gitblit.models.ServerSettings;
import com.gitblit.models.ServerStatus;
import com.gitblit.models.SettingModel;
import com.gitblit.models.TeamModel;
import com.gitblit.models.UserModel;
import com.gitblit.utils.ArrayUtils;
import com.gitblit.utils.ByteFormat;
import com.gitblit.utils.FederationUtils;
import com.gitblit.utils.JGitUtils;
@@ -100,7 +107,7 @@
public class GitBlit implements ServletContextListener {
   private static GitBlit gitblit;
   private final Logger logger = LoggerFactory.getLogger(GitBlit.class);
   private final ScheduledExecutorService scheduledExecutor = Executors.newScheduledThreadPool(5);
@@ -120,8 +127,6 @@
   private File repositoriesFolder;
   private boolean exportAll = true;
   private IUserService userService;
   private IStoredSettings settings;
@@ -131,6 +136,10 @@
   private ServerStatus serverStatus;
   private MailExecutor mailExecutor;
   private LuceneExecutor luceneExecutor;
   private TimeZone timezone;
   public GitBlit() {
      if (gitblit == null) {
@@ -159,6 +168,24 @@
   public static boolean isGO() {
      return self().settings instanceof FileSettings;
   }
   /**
    * Returns the preferred timezone for the Gitblit instance.
    *
    * @return a timezone
    */
   public static TimeZone getTimezone() {
      if (self().timezone == null) {
         String tzid = getString("web.timezone", null);
         if (StringUtils.isEmpty(tzid)) {
            self().timezone = TimeZone.getDefault();
            return self().timezone;
         }
         self().timezone = TimeZone.getTimeZone(tzid);
      }
      return self().timezone;
   }
   /**
    * Returns the boolean value for the specified key. If the key does not
@@ -447,8 +474,18 @@
    */
   public List<String> getAllUsernames() {
      List<String> names = new ArrayList<String>(userService.getAllUsernames());
      Collections.sort(names);
      return names;
   }
   /**
    * Returns the list of all users available to the login service.
    *
    * @see IUserService.getAllUsernames()
    * @return list of all usernames
    */
   public List<UserModel> getAllUsers() {
      List<UserModel> users = userService.getAllUsers();
      return users;
   }
   /**
@@ -531,7 +568,17 @@
    */
   public List<String> getAllTeamnames() {
      List<String> teams = new ArrayList<String>(userService.getAllTeamNames());
      Collections.sort(teams);
      return teams;
   }
   /**
    * Returns the list of available teams that a user or repository may be
    * assigned to.
    *
    * @return the list of teams
    */
   public List<TeamModel> getAllTeams() {
      List<TeamModel> teams = userService.getAllTeams();
      return teams;
   }
@@ -619,7 +666,8 @@
    * @return list of all repositories
    */
   public List<String> getRepositoryList() {
      return JGitUtils.getRepositoryList(repositoriesFolder, exportAll,
      return JGitUtils.getRepositoryList(repositoriesFolder,
            settings.getBoolean(Keys.git.onlyAccessBareRepositories, false),
            settings.getBoolean(Keys.git.searchRepositoriesSubfolders, true));
   }
@@ -630,21 +678,38 @@
    * @return repository or null
    */
   public Repository getRepository(String repositoryName) {
      return getRepository(repositoryName, true);
   }
   /**
    * Returns the JGit repository for the specified name.
    *
    * @param repositoryName
    * @param logError
    * @return repository or null
    */
   public Repository getRepository(String repositoryName, boolean logError) {
      Repository r = null;
      try {
         r = repositoryResolver.open(null, repositoryName);
      } catch (RepositoryNotFoundException e) {
         r = null;
         logger.error("GitBlit.getRepository(String) failed to find "
               + new File(repositoriesFolder, repositoryName).getAbsolutePath());
         if (logError) {
            logger.error("GitBlit.getRepository(String) failed to find "
                  + new File(repositoriesFolder, repositoryName).getAbsolutePath());
         }
      } catch (ServiceNotAuthorizedException e) {
         r = null;
         logger.error("GitBlit.getRepository(String) failed to find "
               + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);
         if (logError) {
            logger.error("GitBlit.getRepository(String) failed to find "
                  + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);
         }
      } catch (ServiceNotEnabledException e) {
         r = null;
         logger.error("GitBlit.getRepository(String) failed to find "
               + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);
         if (logError) {
            logger.error("GitBlit.getRepository(String) failed to find "
                  + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);
         }
      }
      return r;
   }
@@ -719,7 +784,8 @@
      RepositoryModel model = new RepositoryModel();
      model.name = repositoryName;
      model.hasCommits = JGitUtils.hasCommits(r);
      model.lastChange = JGitUtils.getLastChange(r, null);
      model.lastChange = JGitUtils.getLastChange(r);
      model.isBare = r.isBare();
      StoredConfig config = JGitUtils.readConfig(r);
      if (config != null) {
         model.description = getConfig(config, "description", "");
@@ -745,7 +811,11 @@
               "gitblit", null, "postReceiveScript")));
         model.mailingLists = new ArrayList<String>(Arrays.asList(config.getStringList(
               "gitblit", null, "mailingList")));
         model.indexedBranches = new ArrayList<String>(Arrays.asList(config.getStringList(
               "gitblit", null, "indexBranch")));
      }
      model.HEAD = JGitUtils.getHEADRef(r);
      model.availableRefs = JGitUtils.getAvailableHeadTargets(r);
      r.close();
      return model;
   }
@@ -802,6 +872,9 @@
            repository.close();
         }
      }
      // close any open index writer/searcher in the Lucene executor
      luceneExecutor.close(repositoryName);
   }
   /**
@@ -818,7 +891,7 @@
      if (repositoryMetricsCache.hasCurrent(model.name, model.lastChange)) {
         return new ArrayList<Metric>(repositoryMetricsCache.getObject(model.name));
      }
      List<Metric> metrics = MetricUtils.getDateMetrics(repository, null, true, null);
      List<Metric> metrics = MetricUtils.getDateMetrics(repository, null, true, null, getTimezone());
      repositoryMetricsCache.updateObject(model.name, model.lastChange, metrics);
      return new ArrayList<Metric>(metrics);
   }
@@ -904,6 +977,11 @@
                           .format("Can not rename repository ''{0}'' to ''{1}'' because ''{1}'' already exists.",
                                 repositoryName, repository.name));
            }
            File parentFile = destFolder.getParentFile();
            if (!parentFile.exists() && !parentFile.mkdirs()) {
               throw new GitBlitException(MessageFormat.format(
                     "Failed to create folder ''{0}''", parentFile.getAbsolutePath()));
            }
            if (!folder.renameTo(destFolder)) {
               throw new GitBlitException(MessageFormat.format(
                     "Failed to rename repository ''{0}'' to ''{1}''.", repositoryName,
@@ -936,6 +1014,18 @@
      // update settings
      if (r != null) {
         updateConfiguration(r, repository);
         // only update symbolic head if it changes
         String currentRef = JGitUtils.getHEADRef(r);
         if (!StringUtils.isEmpty(repository.HEAD) && !repository.HEAD.equals(currentRef)) {
            logger.info(MessageFormat.format("Relinking {0} HEAD from {1} to {2}",
                  repository.name, currentRef, repository.HEAD));
            if (JGitUtils.setHEADtoRef(r, repository.HEAD)) {
               // clear the cache
               clearRepositoryCache(repository.name);
            }
         }
         // close the repository object
         r.close();
      }
   }
@@ -964,15 +1054,18 @@
      config.setString("gitblit", null, "federationStrategy",
            repository.federationStrategy.name());
      config.setBoolean("gitblit", null, "isFederated", repository.isFederated);
      if (repository.preReceiveScripts != null) {
      if (!ArrayUtils.isEmpty(repository.preReceiveScripts)) {
         config.setStringList("gitblit", null, "preReceiveScript", repository.preReceiveScripts);
      }
      if (repository.postReceiveScripts != null) {
      if (!ArrayUtils.isEmpty(repository.postReceiveScripts)) {
         config.setStringList("gitblit", null, "postReceiveScript",
               repository.postReceiveScripts);
      }
      if (repository.mailingLists != null) {
      if (!ArrayUtils.isEmpty(repository.mailingLists)) {
         config.setStringList("gitblit", null, "mailingList", repository.mailingLists);
      }
      if (!ArrayUtils.isEmpty(repository.indexedBranches)) {
         config.setStringList("gitblit", null, "indexBranch", repository.indexedBranches);
      }
      try {
         config.save();
@@ -1226,6 +1319,7 @@
      case PULL_TEAMS:
         return token.equals(all) || token.equals(unr);
      case PULL_SETTINGS:
      case PULL_SCRIPTS:
         return token.equals(all);
      }
      return false;
@@ -1438,13 +1532,12 @@
   }
   /**
    * Returns the list of all available Groovy push hook scripts that are not
    * already specified globally for all repositories. Script files must have
    * Returns the list of all Groovy push hook scripts. Script files must have
    * .groovy extension
    * 
    * @return list of available hook scripts
    */
   public List<String> getAvailableScripts() {
   public List<String> getAllScripts() {
      File groovyFolder = getGroovyScriptsFolder();
      File[] files = groovyFolder.listFiles(new FileFilter() {
         @Override
@@ -1452,31 +1545,129 @@
            return pathname.isFile() && pathname.getName().endsWith(".groovy");
         }
      });
      Set<String> globals = new HashSet<String>();
      String[] keys = { Keys.groovy.preReceiveScripts, Keys.groovy.postReceiveScripts };
      for (String key : keys) {
         for (String script : getStrings(key)) {
            if (script.endsWith(".groovy")) {
               globals.add(script.substring(0, script.lastIndexOf('.')));
            } else {
               globals.add(script);
            }
         }
      }
      // create list of available scripts by excluding scripts that are
      // globally specified
      List<String> scripts = new ArrayList<String>();
      if (files != null) {
         for (File file : files) {
            String script = file.getName().substring(0, file.getName().lastIndexOf('.'));
            if (!globals.contains(script)) {
               scripts.add(script);
            }
            scripts.add(script);
         }
      }
      return scripts;
   }
   /**
    * Returns the list of pre-receive scripts the repository inherited from the
    * global settings and team affiliations.
    *
    * @param repository
    *            if null only the globally specified scripts are returned
    * @return a list of scripts
    */
   public List<String> getPreReceiveScriptsInherited(RepositoryModel repository) {
      Set<String> scripts = new LinkedHashSet<String>();
      // Globals
      for (String script : getStrings(Keys.groovy.preReceiveScripts)) {
         if (script.endsWith(".groovy")) {
            scripts.add(script.substring(0, script.lastIndexOf('.')));
         } else {
            scripts.add(script);
         }
      }
      // Team Scripts
      if (repository != null) {
         for (String teamname : userService.getTeamnamesForRepositoryRole(repository.name)) {
            TeamModel team = userService.getTeamModel(teamname);
            scripts.addAll(team.preReceiveScripts);
         }
      }
      return new ArrayList<String>(scripts);
   }
   /**
    * Returns the list of all available Groovy pre-receive push hook scripts
    * that are not already inherited by the repository. Script files must have
    * .groovy extension
    *
    * @param repository
    *            optional parameter
    * @return list of available hook scripts
    */
   public List<String> getPreReceiveScriptsUnused(RepositoryModel repository) {
      Set<String> inherited = new TreeSet<String>(getPreReceiveScriptsInherited(repository));
      // create list of available scripts by excluding inherited scripts
      List<String> scripts = new ArrayList<String>();
      for (String script : getAllScripts()) {
         if (!inherited.contains(script)) {
            scripts.add(script);
         }
      }
      return scripts;
   }
   /**
    * Returns the list of post-receive scripts the repository inherited from
    * the global settings and team affiliations.
    *
    * @param repository
    *            if null only the globally specified scripts are returned
    * @return a list of scripts
    */
   public List<String> getPostReceiveScriptsInherited(RepositoryModel repository) {
      Set<String> scripts = new LinkedHashSet<String>();
      // Global Scripts
      for (String script : getStrings(Keys.groovy.postReceiveScripts)) {
         if (script.endsWith(".groovy")) {
            scripts.add(script.substring(0, script.lastIndexOf('.')));
         } else {
            scripts.add(script);
         }
      }
      // Team Scripts
      if (repository != null) {
         for (String teamname : userService.getTeamnamesForRepositoryRole(repository.name)) {
            TeamModel team = userService.getTeamModel(teamname);
            scripts.addAll(team.postReceiveScripts);
         }
      }
      return new ArrayList<String>(scripts);
   }
   /**
    * Returns the list of unused Groovy post-receive push hook scripts that are
    * not already inherited by the repository. Script files must have .groovy
    * extension
    *
    * @param repository
    *            optional parameter
    * @return list of available hook scripts
    */
   public List<String> getPostReceiveScriptsUnused(RepositoryModel repository) {
      Set<String> inherited = new TreeSet<String>(getPostReceiveScriptsInherited(repository));
      // create list of available scripts by excluding inherited scripts
      List<String> scripts = new ArrayList<String>();
      for (String script : getAllScripts()) {
         if (!inherited.contains(script)) {
            scripts.add(script);
         }
      }
      return scripts;
   }
   /**
    * Search the specified repositories using the Lucene query.
    *
    * @param query
    * @param page
    * @param pageSize
    * @param repositories
    * @return
    */
   public List<SearchResult> search(String query, int page, int pageSize, List<String> repositories) {
      List<SearchResult> srs = luceneExecutor.search(query, page, pageSize, repositories);
      return srs;
   }
   /**
@@ -1505,7 +1696,7 @@
    * @param message
    * @param toAddresses
    */
   public void sendMail(String subject, String message, ArrayList<String> toAddresses) {
   public void sendMail(String subject, String message, Collection<String> toAddresses) {
      this.sendMail(subject, message, toAddresses.toArray(new String[0]));
   }
@@ -1542,7 +1733,7 @@
            setting.currentValue = settings.getString(key, "");
         }
      }
      settingsModel.pushScripts = getAvailableScripts();
      settingsModel.pushScripts = getAllScripts();
      return settingsModel;
   }
@@ -1623,29 +1814,42 @@
      this.settings = settings;
      repositoriesFolder = getRepositoriesFolder();
      logger.info("Git repositories folder " + repositoriesFolder.getAbsolutePath());
      repositoryResolver = new FileResolver<Void>(repositoriesFolder, exportAll);
      repositoryResolver = new FileResolver<Void>(repositoriesFolder, true);
      logTimezone("JVM", TimeZone.getDefault());
      logTimezone(Constants.NAME, getTimezone());
      serverStatus = new ServerStatus(isGO());
      String realm = settings.getString(Keys.realm.userService, "users.properties");
      IUserService loginService = null;
      try {
         // check to see if this "file" is a login service class
         Class<?> realmClass = Class.forName(realm);
         if (IUserService.class.isAssignableFrom(realmClass)) {
            loginService = (IUserService) realmClass.newInstance();
         }
         loginService = (IUserService) realmClass.newInstance();
      } catch (Throwable t) {
         loginService = new GitblitUserService();
      }
      setUserService(loginService);
      mailExecutor = new MailExecutor(settings);
      if (mailExecutor.isReady()) {
         logger.info("Mail executor is scheduled to process the message queue every 2 minutes.");
         scheduledExecutor.scheduleAtFixedRate(mailExecutor, 1, 2, TimeUnit.MINUTES);
      } else {
         logger.warn("Mail server is not properly configured.  Mail services disabled.");
      }
      luceneExecutor = new LuceneExecutor(settings, repositoriesFolder);
      logger.info("Lucene executor is scheduled to process indexed branches every 2 minutes.");
      scheduledExecutor.scheduleAtFixedRate(luceneExecutor, 1, 2, TimeUnit.MINUTES);
      if (startFederation) {
         configureFederation();
      }
      }
   }
   private void logTimezone(String type, TimeZone zone) {
      SimpleDateFormat df = new SimpleDateFormat("z Z");
      df.setTimeZone(zone);
      String offset = df.format(new Date());
      logger.info(type + " timezone is " + zone.getID() + " (" + offset + ")");
   }
   /**
@@ -1664,18 +1868,37 @@
         WebXmlSettings webxmlSettings = new WebXmlSettings(context);
         // 0.7.0 web.properties in the deployed war folder
         File overrideFile = new File(context.getRealPath("/WEB-INF/web.properties"));
         if (overrideFile.exists()) {
            webxmlSettings.applyOverrides(overrideFile);
         String webProps = context.getRealPath("/WEB-INF/web.properties");
         if (!StringUtils.isEmpty(webProps)) {
            File overrideFile = new File(webProps);
            if (overrideFile.exists()) {
               webxmlSettings.applyOverrides(overrideFile);
            }
         }
         // 0.8.0 gitblit.properties file located outside the deployed war
         // folder lie, for example, on RedHat OpenShift.
         overrideFile = getFileOrFolder("gitblit.properties");
         File overrideFile = getFileOrFolder("gitblit.properties");
         if (!overrideFile.getPath().equals("gitblit.properties")) {
            webxmlSettings.applyOverrides(overrideFile);
         }
         configureContext(webxmlSettings, true);
         // Copy the included scripts to the configured groovy folder
         File localScripts = getFileOrFolder(Keys.groovy.scriptsFolder, "groovy");
         if (!localScripts.exists()) {
            File includedScripts = new File(context.getRealPath("/WEB-INF/groovy"));
            if (!includedScripts.equals(localScripts)) {
               try {
                  com.gitblit.utils.FileUtils.copy(localScripts, includedScripts.listFiles());
               } catch (IOException e) {
                  logger.error(MessageFormat.format(
                        "Failed to copy included Groovy scripts from {0} to {1}",
                        includedScripts, localScripts));
               }
            }
         }
      }
      serverStatus.servletContainer = servletContext.getServerInfo();
@@ -1689,5 +1912,6 @@
   public void contextDestroyed(ServletContextEvent contextEvent) {
      logger.info("Gitblit context destroyed by servlet container.");
      scheduledExecutor.shutdownNow();
      luceneExecutor.close();
   }
}