Preliminary implementation of server-side forking (issue 137)

James Moger

2012-09-29 1e1b85270f93b3bca624c99b478f3a9a23be2395

 src/com/gitblit/GitBlit.java

@@ -22,6 +22,8 @@
import java.io.InputStream;

import java.io.InputStreamReader;

import java.lang.reflect.Field;

import java.net.URI;

import java.net.URISyntaxException;

import java.text.MessageFormat;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

@@ -37,6 +39,7 @@
import java.util.Map.Entry;

import java.util.Set;

import java.util.TimeZone;

import java.util.TreeMap;

import java.util.TreeSet;

import java.util.concurrent.ConcurrentHashMap;

import java.util.concurrent.Executors;

@@ -79,6 +82,7 @@
import com.gitblit.models.FederationProposal;

import com.gitblit.models.FederationSet;

import com.gitblit.models.Metric;

import com.gitblit.models.ProjectModel;

import com.gitblit.models.RepositoryModel;

import com.gitblit.models.SearchResult;

import com.gitblit.models.ServerSettings;

@@ -88,6 +92,7 @@
import com.gitblit.models.UserModel;

import com.gitblit.utils.ArrayUtils;

import com.gitblit.utils.ByteFormat;

import com.gitblit.utils.ContainerUtils;

import com.gitblit.utils.DeepCopier;

import com.gitblit.utils.FederationUtils;

import com.gitblit.utils.JGitUtils;

@@ -131,6 +136,8 @@
   

   private final Map<String, RepositoryModel> repositoryListCache = new ConcurrentHashMap<String, RepositoryModel>();

   

   private final Map<String, ProjectModel> projectCache = new ConcurrentHashMap<String, ProjectModel>();

	
   private final AtomicReference<String> repositoryListSettingsChecksum = new AtomicReference<String>("");



   private RepositoryResolver<Void> repositoryResolver;

@@ -152,6 +159,8 @@
   private LuceneExecutor luceneExecutor;

   

   private TimeZone timezone;

	
   private FileBasedConfig projectConfigs;



   public GitBlit() {

      if (gitblit == null) {

@@ -740,6 +749,14 @@
   private void addToCachedRepositoryList(String name, RepositoryModel model) {

      if (settings.getBoolean(Keys.git.cacheRepositoryList, true)) {

         repositoryListCache.put(name, model);

			
         // update the fork origin repository with this repository clone

         if (!StringUtils.isEmpty(model.originRepository)) {

            if (repositoryListCache.containsKey(model.originRepository)) {

               RepositoryModel origin = repositoryListCache.get(model.originRepository);

               origin.addFork(name);

            }

         }

      }

   }

   

@@ -747,12 +764,13 @@
    * Removes the repository from the list of cached repositories.

    * 

    * @param name

    * @return the model being removed

    */

   private void removeFromCachedRepositoryList(String name) {

   private RepositoryModel removeFromCachedRepositoryList(String name) {

      if (StringUtils.isEmpty(name)) {

         return;

         return null;

      }

      repositoryListCache.remove(name);

      return repositoryListCache.remove(name);

   }



   /**

@@ -981,7 +999,7 @@
         if (model == null) {

            return null;

         }

         addToCachedRepositoryList(repositoryName, model);			
         addToCachedRepositoryList(repositoryName, model);

         return model;

      }

      

@@ -1017,6 +1035,168 @@
      

      // return a copy of the cached model

      return DeepCopier.copy(model);

   }

	
	
   /**

    * Returns the map of project config.  This map is cached and reloaded if

    * the underlying projects.conf file changes.

    * 
    * @return project config map

    */

   private Map<String, ProjectModel> getProjectConfigs() {

      if (projectCache.isEmpty() || projectConfigs.isOutdated()) {

			
         try {

            projectConfigs.load();

         } catch (Exception e) {

         }



         // project configs

         String rootName = GitBlit.getString(Keys.web.repositoryRootGroupName, "main");

         ProjectModel rootProject = new ProjectModel(rootName, true);



         Map<String, ProjectModel> configs = new HashMap<String, ProjectModel>();

         // cache the root project under its alias and an empty path

         configs.put("", rootProject);

         configs.put(rootProject.name.toLowerCase(), rootProject);



         for (String name : projectConfigs.getSubsections("project")) {

            ProjectModel project;

            if (name.equalsIgnoreCase(rootName)) {

               project = rootProject;

            } else {

               project = new ProjectModel(name);

            }

            project.title = projectConfigs.getString("project", name, "title");

            project.description = projectConfigs.getString("project", name, "description");

            // TODO add more interesting metadata

            // project manager?

            // commit message regex?

            // RW+

            // RW

            // R

            configs.put(name.toLowerCase(), project);				
         }

         projectCache.clear();

         projectCache.putAll(configs);

      }

      return projectCache;

   }

	
   /**

    * Returns a list of project models for the user.

    * 
    * @param user

    * @param includeUsers

    * @return list of projects that are accessible to the user

    */

   public List<ProjectModel> getProjectModels(UserModel user, boolean includeUsers) {

      Map<String, ProjectModel> configs = getProjectConfigs();



      // per-user project lists, this accounts for security and visibility

      Map<String, ProjectModel> map = new TreeMap<String, ProjectModel>();

      // root project

      map.put("", configs.get(""));

		
      for (RepositoryModel model : getRepositoryModels(user)) {

         String rootPath = StringUtils.getRootPath(model.name).toLowerCase();			
         if (!map.containsKey(rootPath)) {

            ProjectModel project;

            if (configs.containsKey(rootPath)) {

               // clone the project model because it's repository list will

               // be tailored for the requesting user

               project = DeepCopier.copy(configs.get(rootPath));

            } else {

               project = new ProjectModel(rootPath);

            }

            map.put(rootPath, project);

         }

         map.get(rootPath).addRepository(model);

      }

		
      // sort projects, root project first

      List<ProjectModel> projects;

      if (includeUsers) {

         // all projects

         projects = new ArrayList<ProjectModel>(map.values());

         Collections.sort(projects);

         projects.remove(map.get(""));

         projects.add(0, map.get(""));

      } else {

         // all non-user projects

         projects = new ArrayList<ProjectModel>();

         ProjectModel root = map.remove("");

         for (ProjectModel model : map.values()) {

            if (!model.isUserProject()) {

               projects.add(model);

            }

         }

         Collections.sort(projects);

         projects.add(0, root);

      }

      return projects;

   }

	
   /**

    * Returns the project model for the specified user.

    * 
    * @param name

    * @param user

    * @return a project model, or null if it does not exist

    */

   public ProjectModel getProjectModel(String name, UserModel user) {

      for (ProjectModel project : getProjectModels(user, true)) {

         if (project.name.equalsIgnoreCase(name)) {

            return project;

         }

      }

      return null;

   }

	
   /**

    * Returns a project model for the Gitblit/system user.

    * 
    * @param name a project name

    * @return a project model or null if the project does not exist

    */

   public ProjectModel getProjectModel(String name) {

      Map<String, ProjectModel> configs = getProjectConfigs();

      ProjectModel project = configs.get(name.toLowerCase());

      if (project == null) {

         project = new ProjectModel(name);

         if (name.length() > 0 && name.charAt(0) == '~') {

            UserModel user = getUserModel(name.substring(1));

            if (user != null) {

               project.title = user.getDisplayName();

               project.description = "personal repositories";

            }

         }

      } else {

         // clone the object

         project = DeepCopier.copy(project);

      }

      if (StringUtils.isEmpty(name)) {

         // get root repositories

         for (String repository : getRepositoryList()) {

            if (repository.indexOf('/') == -1) {

               project.addRepository(repository);

            }

         }

      } else {

         // get repositories in subfolder

         String folder = name.toLowerCase() + "/";

         for (String repository : getRepositoryList()) {

            if (repository.toLowerCase().startsWith(folder)) {

               project.addRepository(repository);

            }

         }

      }

      if (project.repositories.size() == 0) {

         // no repositories == no project

         return null;

      }

      return project;

   }

   

   /**

@@ -1058,18 +1238,26 @@
      model.hasCommits = JGitUtils.hasCommits(r);

      model.lastChange = JGitUtils.getLastChange(r);

      model.isBare = r.isBare();

      if (repositoryName.indexOf('/') == -1) {

         model.projectPath = "";

      } else {

         model.projectPath = repositoryName.substring(0, repositoryName.indexOf('/'));

      }

      

      StoredConfig config = r.getConfig();

      boolean hasOrigin = !StringUtils.isEmpty(config.getString("remote", "origin", "url"));

		
      if (config != null) {

         model.description = getConfig(config, "description", "");

         model.owner = getConfig(config, "owner", "");

         model.useTickets = getConfig(config, "useTickets", false);

         model.useDocs = getConfig(config, "useDocs", false);

         model.allowForks = getConfig(config, "allowForks", true);

         model.accessRestriction = AccessRestrictionType.fromName(getConfig(config,

               "accessRestriction", settings.getString(Keys.git.defaultAccessRestriction, null)));

         model.authorizationControl = AuthorizationControl.fromName(getConfig(config,

               "authorizationControl", settings.getString(Keys.git.defaultAuthorizationControl, null)));

         model.showRemoteBranches = getConfig(config, "showRemoteBranches", false);

         model.showRemoteBranches = getConfig(config, "showRemoteBranches", hasOrigin);

         model.isFrozen = getConfig(config, "isFrozen", false);

         model.showReadme = getConfig(config, "showReadme", false);

         model.skipSizeCalculation = getConfig(config, "skipSizeCalculation", false);

@@ -1098,6 +1286,23 @@
      model.HEAD = JGitUtils.getHEADRef(r);

      model.availableRefs = JGitUtils.getAvailableHeadTargets(r);

      r.close();

		
      if (model.origin != null && model.origin.startsWith("file://")) {

         // repository was cloned locally... perhaps as a fork

         try {

            File folder = new File(new URI(model.origin));

            String originRepo = com.gitblit.utils.FileUtils.getRelativePath(getRepositoriesFolder(), folder);

            if (!StringUtils.isEmpty(originRepo)) {

               // ensure origin still exists

               File repoFolder = new File(getRepositoriesFolder(), originRepo);

               if (repoFolder.exists()) {

                  model.originRepository = originRepo;

               }

            }

         } catch (URISyntaxException e) {

            logger.error("Failed to determine fork for " + model, e);

         }

      }

      return model;

   }

   

@@ -1294,9 +1499,27 @@
                     "Failed to rename repository permissions ''{0}'' to ''{1}''.",

                     repositoryName, repository.name));

            }

				
            // rename fork origins in their configs

            if (!ArrayUtils.isEmpty(repository.forks)) {

               for (String fork : repository.forks) {

                  Repository rf = getRepository(fork);

                  try {

                     StoredConfig config = rf.getConfig();

                     String origin = config.getString("remote", "origin", "url");

                     origin = origin.replace(repositoryName, repository.name);

                     config.setString("remote", "origin", "url", origin);

                     config.save();

                  } catch (Exception e) {

                     logger.error("Failed to update repository fork config for " + fork, e);

                  }

                  rf.close();

               }

            }



            // clear the cache

            clearRepositoryMetadataCache(repositoryName);

            repository.resetDisplayName();

         }



         // load repository

@@ -1352,6 +1575,7 @@
      config.setString(Constants.CONFIG_GITBLIT, null, "owner", repository.owner);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "useTickets", repository.useTickets);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "useDocs", repository.useDocs);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "allowForks", repository.allowForks);

      config.setString(Constants.CONFIG_GITBLIT, null, "accessRestriction", repository.accessRestriction.name());

      config.setString(Constants.CONFIG_GITBLIT, null, "authorizationControl", repository.authorizationControl.name());

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "showRemoteBranches", repository.showRemoteBranches);

@@ -1427,7 +1651,11 @@
         closeRepository(repositoryName);

         // clear the repository cache

         clearRepositoryMetadataCache(repositoryName);

         removeFromCachedRepositoryList(repositoryName);

			
         RepositoryModel model = removeFromCachedRepositoryList(repositoryName);

         if (!ArrayUtils.isEmpty(model.forks)) {

            resetRepositoryListCache();

         }



         File folder = new File(repositoriesFolder, repositoryName);

         if (folder.exists() && folder.isDirectory()) {

@@ -2179,6 +2407,11 @@
         loginService = new GitblitUserService();

      }

      setUserService(loginService);

		
      // load and cache the project metadata

      projectConfigs = new FileBasedConfig(getFileOrFolder(Keys.web.projectsFile, "projects.conf"), FS.detect());

      getProjectConfigs();

		
      mailExecutor = new MailExecutor(settings);

      if (mailExecutor.isReady()) {

         logger.info("Mail executor is scheduled to process the message queue every 2 minutes.");

@@ -2214,6 +2447,8 @@
      } catch (IllegalArgumentException e) {

         logger.error("Failed to configure JGit parameters!", e);

      }



      ContainerUtils.CVE_2007_0450.test();

   }

   

   private void logTimezone(String type, TimeZone zone) {

@@ -2285,4 +2520,52 @@
      scheduledExecutor.shutdownNow();

      luceneExecutor.close();

   }

	
   /**

    * Creates a personal fork of the specified repository. The clone is view

    * restricted by default and the owner of the source repository is given

    * access to the clone. 
    * 
    * @param repository

    * @param user

    * @return true, if successful

    */

   public boolean fork(RepositoryModel repository, UserModel user) {

      String cloneName = MessageFormat.format("~{0}/{1}.git", user.username, StringUtils.stripDotGit(StringUtils.getLastPathElement(repository.name)));

      String fromUrl = MessageFormat.format("file://{0}/{1}", repositoriesFolder.getAbsolutePath(), repository.name);

      try {

         // clone the repository

         JGitUtils.cloneRepository(repositoriesFolder, cloneName, fromUrl, true, null);

			
         // create a Gitblit repository model for the clone

         RepositoryModel cloneModel = repository.cloneAs(cloneName);

         cloneModel.owner = user.username;

         updateRepositoryModel(cloneName, cloneModel, false);

			
         if (AuthorizationControl.NAMED.equals(cloneModel.authorizationControl)) {

            // add the owner of the source repository to the clone's access list

            if (!StringUtils.isEmpty(repository.owner)) {

               UserModel owner = getUserModel(repository.owner);

               if (owner != null) {

                  owner.repositories.add(cloneName);

                  updateUserModel(owner.username, owner, false);

               }

            }

				
            // inherit origin's access lists

            List<String> users = getRepositoryUsers(repository);

            setRepositoryUsers(cloneModel, users);

				
            List<String> teams = getRepositoryTeams(repository);

            setRepositoryTeams(cloneModel, teams);

         }

			
         // add this clone to the cached model

         addToCachedRepositoryList(cloneModel.name, cloneModel);

         return true;

      } catch (Exception e) {

         logger.error("failed to fork", e);

      }

      return false;

   }

}