Documentation. Moved clone and fetch into JGitUtils. Create bare only.

James Moger

2011-06-07 16856603ec575718857768e2d18e455c95fd6ea4

 src/com/gitblit/utils/JGitUtils.java

@@ -21,10 +21,8 @@
import java.io.InputStream;

import java.io.OutputStream;

import java.nio.charset.Charset;

import java.text.DateFormat;

import java.text.ParseException;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.Arrays;

import java.util.Collection;

import java.util.Collections;

import java.util.Date;

@@ -32,11 +30,11 @@
import java.util.List;

import java.util.Map;

import java.util.Map.Entry;

import java.util.Set;

import java.util.concurrent.atomic.AtomicInteger;

import java.util.zip.ZipEntry;

import java.util.zip.ZipOutputStream;



import org.eclipse.jgit.api.CloneCommand;

import org.eclipse.jgit.api.FetchCommand;

import org.eclipse.jgit.api.Git;

import org.eclipse.jgit.diff.DiffEntry;

import org.eclipse.jgit.diff.DiffEntry.ChangeType;

@@ -46,7 +44,6 @@
import org.eclipse.jgit.errors.IncorrectObjectTypeException;

import org.eclipse.jgit.errors.MissingObjectException;

import org.eclipse.jgit.errors.StopWalkException;

import org.eclipse.jgit.lib.AnyObjectId;

import org.eclipse.jgit.lib.Constants;

import org.eclipse.jgit.lib.FileMode;

import org.eclipse.jgit.lib.ObjectId;

@@ -54,6 +51,7 @@
import org.eclipse.jgit.lib.PersonIdent;

import org.eclipse.jgit.lib.Ref;

import org.eclipse.jgit.lib.Repository;

import org.eclipse.jgit.lib.RepositoryCache.FileKey;

import org.eclipse.jgit.lib.StoredConfig;

import org.eclipse.jgit.revwalk.RevBlob;

import org.eclipse.jgit.revwalk.RevCommit;

@@ -62,6 +60,9 @@
import org.eclipse.jgit.revwalk.RevTree;

import org.eclipse.jgit.revwalk.RevWalk;

import org.eclipse.jgit.revwalk.filter.RevFilter;

import org.eclipse.jgit.storage.file.FileRepository;

import org.eclipse.jgit.transport.FetchResult;

import org.eclipse.jgit.transport.RefSpec;

import org.eclipse.jgit.treewalk.TreeWalk;

import org.eclipse.jgit.treewalk.filter.AndTreeFilter;

import org.eclipse.jgit.treewalk.filter.OrTreeFilter;

@@ -69,78 +70,115 @@
import org.eclipse.jgit.treewalk.filter.PathFilterGroup;

import org.eclipse.jgit.treewalk.filter.PathSuffixFilter;

import org.eclipse.jgit.treewalk.filter.TreeFilter;

import org.eclipse.jgit.util.FS;

import org.eclipse.jgit.util.io.DisabledOutputStream;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;



import com.gitblit.models.Metric;

import com.gitblit.models.GitNote;

import com.gitblit.models.PathModel;

import com.gitblit.models.RefModel;

import com.gitblit.models.TicketModel;

import com.gitblit.models.PathModel.PathChangeModel;

import com.gitblit.models.TicketModel.Comment;

import com.gitblit.models.RefModel;



public class JGitUtils {



   private static final Logger LOGGER = LoggerFactory.getLogger(JGitUtils.class);

   static final Logger LOGGER = LoggerFactory.getLogger(JGitUtils.class);



   public static Repository createRepository(File repositoriesFolder, String name, boolean bare) {

      Git git = Git.init().setDirectory(new File(repositoriesFolder, name)).setBare(bare).call();

   public static String getDisplayName(PersonIdent person) {

      if (StringUtils.isEmpty(person.getEmailAddress())) {

         return person.getName();

      }

      final StringBuilder r = new StringBuilder();

      r.append(person.getName());

      r.append(" <");

      r.append(person.getEmailAddress());

      r.append('>');

      return r.toString().trim();

   }



   public static FetchResult cloneRepository(File repositoriesFolder, String name, String fromUrl) throws Exception {

      FetchResult result = null;

      if (!name.toLowerCase().endsWith(Constants.DOT_GIT_EXT)) {

         name += Constants.DOT_GIT_EXT;

      }

      File folder = new File(repositoriesFolder, name);

      if (folder.exists()) {

         File gitDir = FileKey.resolve(new File(repositoriesFolder, name), FS.DETECTED);

         FileRepository repository = new FileRepository(gitDir);

         result = fetchRepository(repository);

         repository.close();

      } else {

         CloneCommand clone = new CloneCommand();

         clone.setBare(true);

         clone.setCloneAllBranches(true);

         clone.setURI(fromUrl);

         clone.setDirectory(folder);

         clone.call();

         // Now we have to fetch because CloneCommand doesn't fetch

         // refs/notes nor does it allow manual RefSpec.

         File gitDir = FileKey.resolve(new File(repositoriesFolder, name), FS.DETECTED);

         FileRepository repository = new FileRepository(gitDir);

         result = fetchRepository(repository);

         repository.close();

      }

      return result;

   }



   public static FetchResult fetchRepository(Repository repository, RefSpec... refSpecs)

         throws Exception {

      Git git = new Git(repository);

      FetchCommand fetch = git.fetch();

      List<RefSpec> specs = new ArrayList<RefSpec>();

      if (refSpecs == null || refSpecs.length == 0) {

         specs.add(new RefSpec("+refs/heads/*:refs/remotes/origin/*"));

         specs.add(new RefSpec("+refs/tags/*:refs/tags/*"));

         specs.add(new RefSpec("+refs/notes/*:refs/notes/*"));

      } else {

         specs.addAll(Arrays.asList(refSpecs));

      }

      fetch.setRefSpecs(specs);

      FetchResult result = fetch.call();

      repository.close();

      return result;

   }



   public static Repository createRepository(File repositoriesFolder, String name) {

      Git git = Git.init().setDirectory(new File(repositoriesFolder, name)).setBare(true).call();

      return git.getRepository();

   }



   public static List<String> getRepositoryList(File repositoriesFolder, boolean exportAll,

         boolean readNested) {

         boolean searchSubfolders) {

      List<String> list = new ArrayList<String>();

      list.addAll(getNestedRepositories(repositoriesFolder, repositoriesFolder, exportAll,

            readNested));

      if (repositoriesFolder == null || !repositoriesFolder.exists()) {

         return list;

      }

      list.addAll(getRepositoryList(repositoriesFolder.getAbsolutePath(), repositoriesFolder,

            exportAll, searchSubfolders));

      Collections.sort(list);

      return list;

   }



   public static List<String> getNestedRepositories(File repositoriesFolder, File folder,

         boolean exportAll, boolean readNested) {

      String basefile = repositoriesFolder.getAbsolutePath();

   private static List<String> getRepositoryList(String basePath, File searchFolder,

         boolean exportAll, boolean searchSubfolders) {

      List<String> list = new ArrayList<String>();

      if (folder == null || !folder.exists()) {

         return list;

      }

      for (File file : folder.listFiles()) {

         if (file.isDirectory() && !file.getName().equalsIgnoreCase(Constants.DOT_GIT)) {

            // if this is a git repository add it to the list

            //

            // first look for standard folder/.git structure

            File gitFolder = new File(file, Constants.DOT_GIT);

            boolean isGitRepository = gitFolder.exists() && gitFolder.isDirectory();

      for (File file : searchFolder.listFiles()) {

         if (file.isDirectory()) {

            File gitDir = FileKey.resolve(new File(searchFolder, file.getName()), FS.DETECTED);

            if (gitDir != null) {

               boolean exportRepository = exportAll

                     || new File(gitDir, "git-daemon-export-ok").exists();



            // then look for folder.git/HEAD or folder/HEAD and

            // folder/config

            if (!isGitRepository) {

               if ((file.getName().endsWith(Constants.DOT_GIT_EXT) && new File(file,

                     Constants.HEAD).exists())

                     || (new File(file, "config").exists() && new File(file, Constants.HEAD)

                           .exists())) {

                  gitFolder = file;

                  isGitRepository = true;

               if (!exportRepository) {

                  continue;

               }

            }

            boolean exportRepository = isGitRepository

                  && (exportAll || new File(gitFolder, "git-daemon-export-ok").exists());



            if (exportRepository) {

               // determine repository name relative to repositories folder

               String filename = file.getAbsolutePath();

               String repo = filename.substring(basefile.length()).replace('\\', '/');

               if (repo.charAt(0) == '/') {

                  repo = repo.substring(1);

               }

               list.add(repo);

            }



            // look for nested repositories

            if (readNested) {

               list.addAll(getNestedRepositories(repositoriesFolder, file, exportAll,

                     readNested));

               // determine repository name relative to base path

               String repository = StringUtils.getRelativePath(basePath,

                     file.getAbsolutePath());

               list.add(repository);

            } else if (searchSubfolders) {

               // look for repositories in subfolders

               list.addAll(getRepositoryList(basePath, file, exportAll, searchSubfolders));

            }

         }

      }

@@ -154,39 +192,37 @@
      if (StringUtils.isEmpty(branch)) {

         branch = Constants.HEAD;

      }

      RevCommit commit = null;

      try {

         RevWalk walk = new RevWalk(r);

         walk.sort(RevSort.REVERSE);

         RevCommit head = walk.parseCommit(r.resolve(branch));

         walk.markStart(head);

         RevCommit commit = walk.next();

         commit = walk.next();

         walk.dispose();

         return commit;

      } catch (Throwable t) {

         LOGGER.error("Failed to determine first commit", t);

      }

      return null;

      return commit;

   }



   public static Date getFirstChange(Repository r, String branch) {

      try {

         RevCommit commit = getFirstCommit(r, branch);

         if (commit == null) {

            // fresh repository

            return new Date(r.getDirectory().lastModified());

      RevCommit commit = getFirstCommit(r, branch);

      if (commit == null) {

         if (r == null || !r.getDirectory().exists()) {

            return new Date(0);

         }

         return getCommitDate(commit);

      } catch (Throwable t) {

         LOGGER.error("Failed to determine first change", t);

         // fresh repository

         return new Date(r.getDirectory().lastModified());

      }

      return null;

      return getCommitDate(commit);

   }



   public static boolean hasCommits(Repository r) {

      if (r != null && r.getDirectory().exists()) {

         return new File(r.getDirectory(), Constants.R_HEADS).list().length > 0;

      }

      return false;		
      return false;

   }



   public static Date getLastChange(Repository r) {

@@ -202,13 +238,17 @@
      return getCommitDate(commit);

   }



   public static Date getCommitDate(RevCommit commit) {

      return new Date(commit.getCommitTime() * 1000L);

   }



   public static RevCommit getCommit(Repository r, String objectId) {

      RevCommit commit = null;

      if (!hasCommits(r)) {

         return null;

      }

      RevCommit commit = null;

      try {

         if (objectId == null || objectId.trim().length() == 0) {

         if (StringUtils.isEmpty(objectId)) {

            objectId = Constants.HEAD;

         }

         ObjectId object = r.resolve(objectId);

@@ -222,52 +262,30 @@
      return commit;

   }



   public static Map<ObjectId, List<String>> getAllRefs(Repository r) {

      Map<ObjectId, List<String>> refs = new HashMap<ObjectId, List<String>>();

      Map<AnyObjectId, Set<Ref>> allRefs = r.getAllRefsByPeeledObjectId();

      for (Entry<AnyObjectId, Set<Ref>> setRefs : allRefs.entrySet()) {

         List<String> list = new ArrayList<String>();

         for (Ref setRef : setRefs.getValue()) {

            String name = setRef.getName();

            list.add(name);

   public static Map<ObjectId, List<RefModel>> getAllRefs(Repository r) {

      List<RefModel> list = getRefs(r, org.eclipse.jgit.lib.RefDatabase.ALL, true, -1);

      Map<ObjectId, List<RefModel>> refs = new HashMap<ObjectId, List<RefModel>>();

      for (RefModel ref : list) {

         ObjectId objectid = ref.getReferencedObjectId();

         if (!refs.containsKey(objectid)) {

            refs.put(objectid, new ArrayList<RefModel>());

         }

         refs.put(setRefs.getKey().toObjectId(), list);

         refs.get(objectid).add(ref);

      }

      return refs;

   }



   public static Map<ObjectId, List<String>> getRefs(Repository r, String baseRef) {

      Map<ObjectId, List<String>> refs = new HashMap<ObjectId, List<String>>();

      Map<AnyObjectId, Set<Ref>> allRefs = r.getAllRefsByPeeledObjectId();

      for (Entry<AnyObjectId, Set<Ref>> setRefs : allRefs.entrySet()) {

         List<String> list = new ArrayList<String>();

         for (Ref setRef : setRefs.getValue()) {

            String name = setRef.getName();

            if (name.startsWith(baseRef)) {

               list.add(name);

            }

         }

         refs.put(setRefs.getKey().toObjectId(), list);

      }

      return refs;

   }



   /**

    * Lookup an entry stored in a tree, failing if not present.

    * 
    * @param tree

    *            the tree to search.

    * @param path

    *            the path to find the entry of.

    * @return the parsed object entry at this path

    * @throws Exception

    */

   public static RevObject getRevObject(Repository r, final RevTree tree, final String path) {

      RevObject ro = null;

   public static byte[] getByteContent(Repository r, RevTree tree, final String path) {

      RevWalk rw = new RevWalk(r);

      TreeWalk tw = new TreeWalk(r);

      tw.setFilter(PathFilterGroup.createFromStrings(Collections.singleton(path)));

      byte[] content = null;

      try {

         if (tree == null) {

            ObjectId object = r.resolve(Constants.HEAD);

            RevCommit commit = rw.parseCommit(object);

            tree = commit.getTree();

         }

         tw.reset(tree);

         while (tw.next()) {

            if (tw.isSubtree() && !path.equals(tw.getPathString())) {

@@ -276,133 +294,160 @@
            }

            ObjectId entid = tw.getObjectId(0);

            FileMode entmode = tw.getFileMode(0);

            ro = rw.lookupAny(entid, entmode.getObjectType());

            RevObject ro = rw.lookupAny(entid, entmode.getObjectType());

            rw.parseBody(ro);

            ByteArrayOutputStream os = new ByteArrayOutputStream();

            ObjectLoader ldr = r.open(ro.getId(), Constants.OBJ_BLOB);

            byte[] tmp = new byte[4096];

            InputStream in = ldr.openStream();

            int n;

            while ((n = in.read(tmp)) > 0) {

               os.write(tmp, 0, n);

            }

            in.close();

            content = os.toByteArray();

         }

      } catch (Throwable t) {

         LOGGER.error("Can't find " + path + " in tree " + tree.name(), t);

      } finally {

         if (rw != null) {

            rw.dispose();

         }

         rw.dispose();

         tw.release();

      }

      return ro;

      return content;

   }



   public static byte[] getRawContent(Repository r, RevBlob blob) {

      ByteArrayOutputStream os = new ByteArrayOutputStream();

   public static String getStringContent(Repository r, RevTree tree, String blobPath) {

      byte[] content = getByteContent(r, tree, blobPath);

      if (content == null) {

         return null;

      }

      return new String(content, Charset.forName(Constants.CHARACTER_ENCODING));

   }



   public static byte[] getByteContent(Repository r, String objectId) {

      RevWalk rw = new RevWalk(r);

      byte[] content = null;

      try {

         RevBlob blob = rw.lookupBlob(ObjectId.fromString(objectId));

         rw.parseBody(blob);

         ByteArrayOutputStream os = new ByteArrayOutputStream();

         ObjectLoader ldr = r.open(blob.getId(), Constants.OBJ_BLOB);

         byte[] tmp = new byte[1024];

         byte[] tmp = new byte[4096];

         InputStream in = ldr.openStream();

         int n;

         while ((n = in.read(tmp)) > 0) {

            os.write(tmp, 0, n);

         }

         in.close();

         content = os.toByteArray();

      } catch (Throwable t) {

         LOGGER.error("Failed to read raw content", t);

         LOGGER.error("Can't find blob " + objectId, t);

      } finally {

         rw.dispose();

      }

      return os.toByteArray();

      return content;

   }



   public static String getRawContentAsString(Repository r, RevBlob blob) {

      byte[] content = getRawContent(r, blob);

   public static String getStringContent(Repository r, String objectId) {

      byte[] content = getByteContent(r, objectId);

      if (content == null) {

         return null;

      }

      return new String(content, Charset.forName(Constants.CHARACTER_ENCODING));

   }



   public static String getRawContentAsString(Repository r, RevCommit commit, String blobPath) {

      RevObject obj = getRevObject(r, commit.getTree(), blobPath);

      byte[] content = getRawContent(r, (RevBlob) obj);

      return new String(content, Charset.forName(Constants.CHARACTER_ENCODING));

   }



   public static List<PathModel> getFilesInPath(Repository r, String basePath, String objectId) {

      RevCommit commit = getCommit(r, objectId);

      return getFilesInPath(r, basePath, commit);

   }



   public static List<PathModel> getFilesInPath(Repository r, String basePath, RevCommit commit) {

      List<PathModel> list = new ArrayList<PathModel>();

      if (commit == null) {

      if (!hasCommits(r)) {

         return list;

      }

      final TreeWalk walk = new TreeWalk(r);

      if (commit == null) {

         commit = getCommit(r, Constants.HEAD);

      }

      final TreeWalk tw = new TreeWalk(r);

      try {

         walk.addTree(commit.getTree());

         if (basePath != null && basePath.length() > 0) {

         tw.addTree(commit.getTree());

         if (!StringUtils.isEmpty(basePath)) {

            PathFilter f = PathFilter.create(basePath);

            walk.setFilter(f);

            walk.setRecursive(false);

            tw.setFilter(f);

            tw.setRecursive(false);

            boolean foundFolder = false;

            while (walk.next()) {

               if (!foundFolder && walk.isSubtree()) {

                  walk.enterSubtree();

            while (tw.next()) {

               if (!foundFolder && tw.isSubtree()) {

                  tw.enterSubtree();

               }

               if (walk.getPathString().equals(basePath)) {

               if (tw.getPathString().equals(basePath)) {

                  foundFolder = true;

                  continue;

               }

               if (foundFolder) {

                  list.add(getPathModel(walk, basePath, commit));

                  list.add(getPathModel(tw, basePath, commit));

               }

            }

         } else {

            walk.setRecursive(false);

            while (walk.next()) {

               list.add(getPathModel(walk, null, commit));

            tw.setRecursive(false);

            while (tw.next()) {

               list.add(getPathModel(tw, null, commit));

            }

         }

      } catch (IOException e) {

         LOGGER.error("Failed to get files for commit " + commit.getName(), e);

      } finally {

         walk.release();

         tw.release();

      }

      Collections.sort(list);

      return list;

   }



   public static List<PathChangeModel> getFilesInCommit(Repository r, String commitId) {

      RevCommit commit = getCommit(r, commitId);

      return getFilesInCommit(r, commit);

   }



   public static List<PathChangeModel> getFilesInCommit(Repository r, RevCommit commit) {

      List<PathChangeModel> list = new ArrayList<PathChangeModel>();

      if (commit == null) {

         LOGGER.warn("getFilesInCommit for NULL commit");

         return list;

      }

      RevWalk rw = new RevWalk(r);

      TreeWalk tw = new TreeWalk(r);

      try {

         final RevWalk rw = new RevWalk(r);

         RevCommit parent = rw.parseCommit(commit.getParent(0).getId());

         RevTree parentTree = parent.getTree();

         if (commit == null) {

            ObjectId object = r.resolve(Constants.HEAD);

            commit = rw.parseCommit(object);

         }

         RevTree commitTree = commit.getTree();



         final TreeWalk walk = new TreeWalk(r);

         walk.reset();

         walk.setRecursive(true);

         walk.addTree(parentTree);

         walk.addTree(commitTree);

         walk.setFilter(TreeFilter.ANY_DIFF);

         tw.reset();

         tw.setRecursive(true);

         if (commit.getParentCount() == 0) {

            tw.addTree(commitTree);

            while (tw.next()) {

               list.add(new PathChangeModel(tw.getPathString(), tw.getPathString(), 0, tw

                     .getRawMode(0), commit.getId().getName(), ChangeType.ADD));

            }

         } else {

            RevCommit parent = rw.parseCommit(commit.getParent(0).getId());

            RevTree parentTree = parent.getTree();

            tw.addTree(parentTree);

            tw.addTree(commitTree);

            tw.setFilter(TreeFilter.ANY_DIFF);



         RawTextComparator cmp = RawTextComparator.DEFAULT;

         DiffFormatter df = new DiffFormatter(DisabledOutputStream.INSTANCE);

         df.setRepository(r);

         df.setDiffComparator(cmp);

         df.setDetectRenames(true);

         List<DiffEntry> diffs = df.scan(parentTree, commitTree);

         for (DiffEntry diff : diffs) {

            if (diff.getChangeType().equals(ChangeType.DELETE)) {

               list.add(new PathChangeModel(diff.getOldPath(), diff.getOldPath(), 0, diff

                     .getNewMode().getBits(), commit.getId().getName(), diff.getChangeType()));

            } else {

               list.add(new PathChangeModel(diff.getNewPath(), diff.getNewPath(), 0, diff

                     .getNewMode().getBits(), commit.getId().getName(), diff.getChangeType()));

            RawTextComparator cmp = RawTextComparator.DEFAULT;

            DiffFormatter df = new DiffFormatter(DisabledOutputStream.INSTANCE);

            df.setRepository(r);

            df.setDiffComparator(cmp);

            df.setDetectRenames(true);

            List<DiffEntry> diffs = df.scan(parentTree, commitTree);

            for (DiffEntry diff : diffs) {

               if (diff.getChangeType().equals(ChangeType.DELETE)) {

                  list.add(new PathChangeModel(diff.getOldPath(), diff.getOldPath(), 0, diff

                        .getNewMode().getBits(), commit.getId().getName(), diff

                        .getChangeType()));

               } else {

                  list.add(new PathChangeModel(diff.getNewPath(), diff.getNewPath(), 0, diff

                        .getNewMode().getBits(), commit.getId().getName(), diff

                        .getChangeType()));

               }

            }

         }

      } catch (Throwable t) {

         LOGGER.error("failed to determine files in commit!", t);

      } finally {

         rw.dispose();

         tw.release();

      }

      return list;

   }

@@ -410,84 +455,51 @@
   public static List<PathModel> getDocuments(Repository r, List<String> extensions) {

      List<PathModel> list = new ArrayList<PathModel>();

      RevCommit commit = getCommit(r, Constants.HEAD);

      final TreeWalk walk = new TreeWalk(r);

      final TreeWalk tw = new TreeWalk(r);

      try {

         walk.addTree(commit.getTree());

         tw.addTree(commit.getTree());

         if (extensions != null && extensions.size() > 0) {

            Collection<TreeFilter> suffixFilters = new ArrayList<TreeFilter>();

            for (String extension : extensions) {

               if (extension.charAt(0) == '.') {

                  suffixFilters.add(PathSuffixFilter.create(extension));

                  suffixFilters.add(PathSuffixFilter.create("\\" + extension));

               } else {

                  // escape the . since this is a regexp filter

                  suffixFilters.add(PathSuffixFilter.create("\\." + extension));

               }

            }

            TreeFilter filter = OrTreeFilter.create(suffixFilters);

            walk.setFilter(filter);

            walk.setRecursive(true);

            while (walk.next()) {

               list.add(getPathModel(walk, null, commit));

            }

         } else {

            while (walk.next()) {

               list.add(getPathModel(walk, null, commit));

            }

            tw.setFilter(filter);

            tw.setRecursive(true);

         }

         while (tw.next()) {

            list.add(getPathModel(tw, null, commit));

         }

      } catch (IOException e) {

         LOGGER.error("Failed to get files for commit " + commit.getName(), e);

         LOGGER.error("Failed to get documents for commit " + commit.getName(), e);

      } finally {

         walk.release();

         tw.release();

      }

      Collections.sort(list);

      return list;

   }



   public static Map<ChangeType, AtomicInteger> getChangedPathsStats(List<PathChangeModel> paths) {

      Map<ChangeType, AtomicInteger> stats = new HashMap<ChangeType, AtomicInteger>();

      for (PathChangeModel path : paths) {

         if (!stats.containsKey(path.changeType)) {

            stats.put(path.changeType, new AtomicInteger(0));

         }

         stats.get(path.changeType).incrementAndGet();

      }

      return stats;

   }



   public static enum DiffOutputType {

      PLAIN, GITWEB, GITBLIT;



      public static DiffOutputType forName(String name) {

         for (DiffOutputType type : values()) {

            if (type.name().equalsIgnoreCase(name)) {

               return type;

            }

         }

         return null;

      }

   }



   private static PathModel getPathModel(TreeWalk walk, String basePath, RevCommit commit) {

   private static PathModel getPathModel(TreeWalk tw, String basePath, RevCommit commit) {

      String name;

      long size = 0;

      if (basePath == null) {

         name = walk.getPathString();

      if (StringUtils.isEmpty(basePath)) {

         name = tw.getPathString();

      } else {

         try {

            name = walk.getPathString().substring(basePath.length() + 1);

         } catch (Throwable t) {

            name = walk.getPathString();

         }

         name = tw.getPathString().substring(basePath.length() + 1);

      }

      try {

         if (!walk.isSubtree()) {

            size = walk.getObjectReader()

                  .getObjectSize(walk.getObjectId(0), Constants.OBJ_BLOB);

         if (!tw.isSubtree()) {

            size = tw.getObjectReader().getObjectSize(tw.getObjectId(0), Constants.OBJ_BLOB);

         }

      } catch (Throwable t) {

         LOGGER.error("Failed to retrieve blob size", t);

      }

      return new PathModel(name, walk.getPathString(), size, walk.getFileMode(0).getBits(),

      return new PathModel(name, tw.getPathString(), size, tw.getFileMode(0).getBits(),

            commit.getName());

   }



@@ -504,15 +516,9 @@
      } else if (FileMode.GITLINK.equals(mode)) {

         // FIXME gitlink permissions

         return "gitlink";

      } else if (FileMode.MISSING.equals(mode)) {

         // FIXME missing permissions

         return "missing";

      }

      return "" + mode;

   }



   public static boolean isTreeFromMode(int mode) {

      return FileMode.TREE.equals(mode);

      // FIXME missing permissions

      return "missing";

   }



   public static List<RevCommit> getRevLog(Repository r, int maxCount) {

@@ -530,19 +536,19 @@
         return list;

      }

      try {

         if (objectId == null || objectId.trim().length() == 0) {

         if (StringUtils.isEmpty(objectId)) {

            objectId = Constants.HEAD;

         }

         RevWalk walk = new RevWalk(r);

         RevWalk rw = new RevWalk(r);

         ObjectId object = r.resolve(objectId);

         walk.markStart(walk.parseCommit(object));

         rw.markStart(rw.parseCommit(object));

         if (!StringUtils.isEmpty(path)) {

            TreeFilter filter = AndTreeFilter.create(

                  PathFilterGroup.createFromStrings(Collections.singleton(path)),

                  TreeFilter.ANY_DIFF);

            walk.setTreeFilter(filter);

            rw.setTreeFilter(filter);

         }

         Iterable<RevCommit> revlog = walk;

         Iterable<RevCommit> revlog = rw;

         if (offset > 0) {

            int count = 0;

            for (RevCommit rev : revlog) {

@@ -562,9 +568,9 @@
               }

            }

         }

         walk.dispose();

         rw.dispose();

      } catch (Throwable t) {

         LOGGER.error("Failed to determine last change", t);

         LOGGER.error("Failed to get revlog", t);

      }

      return list;

   }

@@ -578,9 +584,10 @@
               return type;

            }

         }

         return null;

         return COMMIT;

      }



      @Override

      public String toString() {

         return name().toLowerCase();

      }

@@ -594,11 +601,11 @@
         return list;

      }

      try {

         if (objectId == null || objectId.trim().length() == 0) {

         if (StringUtils.isEmpty(objectId)) {

            objectId = Constants.HEAD;

         }

         RevWalk walk = new RevWalk(r);

         walk.setRevFilter(new RevFilter() {

         RevWalk rw = new RevWalk(r);

         rw.setRevFilter(new RevFilter() {



            @Override

            public RevFilter clone() {

@@ -608,25 +615,30 @@
            @Override

            public boolean include(RevWalk walker, RevCommit commit) throws StopWalkException,

                  MissingObjectException, IncorrectObjectTypeException, IOException {

               boolean include = false;

               switch (type) {

               case AUTHOR:

                  return (commit.getAuthorIdent().getName().toLowerCase().indexOf(lcValue) > -1)

                  include = (commit.getAuthorIdent().getName().toLowerCase().indexOf(lcValue) > -1)

                        || (commit.getAuthorIdent().getEmailAddress().toLowerCase()

                              .indexOf(lcValue) > -1);

                  break;

               case COMMITTER:

                  return (commit.getCommitterIdent().getName().toLowerCase().indexOf(lcValue) > -1)

                  include = (commit.getCommitterIdent().getName().toLowerCase()

                        .indexOf(lcValue) > -1)

                        || (commit.getCommitterIdent().getEmailAddress().toLowerCase()

                              .indexOf(lcValue) > -1);

                  break;

               case COMMIT:

                  return commit.getFullMessage().toLowerCase().indexOf(lcValue) > -1;

                  include = commit.getFullMessage().toLowerCase().indexOf(lcValue) > -1;

                  break;

               }

               return false;

               return include;

            }



         });

         ObjectId object = r.resolve(objectId);

         walk.markStart(walk.parseCommit(object));

         Iterable<RevCommit> revlog = walk;

         rw.markStart(rw.parseCommit(object));

         Iterable<RevCommit> revlog = rw;

         if (offset > 0) {

            int count = 0;

            for (RevCommit rev : revlog) {

@@ -646,34 +658,44 @@
               }

            }

         }

         walk.dispose();

         rw.dispose();

      } catch (Throwable t) {

         LOGGER.error("Failed to determine last change", t);

         LOGGER.error("Failed to search revlogs", t);

      }

      return list;

   }



   public static List<RefModel> getTags(Repository r, int maxCount) {

      return getRefs(r, Constants.R_TAGS, maxCount);

   public static List<RefModel> getTags(Repository r, boolean fullName, int maxCount) {

      return getRefs(r, Constants.R_TAGS, fullName, maxCount);

   }



   public static List<RefModel> getLocalBranches(Repository r, int maxCount) {

      return getRefs(r, Constants.R_HEADS, maxCount);

   public static List<RefModel> getLocalBranches(Repository r, boolean fullName, int maxCount) {

      return getRefs(r, Constants.R_HEADS, fullName, maxCount);

   }



   public static List<RefModel> getRemoteBranches(Repository r, int maxCount) {

      return getRefs(r, Constants.R_REMOTES, maxCount);

   public static List<RefModel> getRemoteBranches(Repository r, boolean fullName, int maxCount) {

      return getRefs(r, Constants.R_REMOTES, fullName, maxCount);

   }



   public static List<RefModel> getRefs(Repository r, String refs, int maxCount) {

   public static List<RefModel> getNotesRefs(Repository r, boolean fullName, int maxCount) {

      return getRefs(r, Constants.R_NOTES, fullName, maxCount);

   }



   private static List<RefModel> getRefs(Repository r, String refs, boolean fullName, int maxCount) {

      List<RefModel> list = new ArrayList<RefModel>();

      try {

         Map<String, Ref> map = r.getRefDatabase().getRefs(refs);

         RevWalk rw = new RevWalk(r);

         for (Entry<String, Ref> entry : map.entrySet()) {

            Ref ref = entry.getValue();

            RevCommit commit = getCommit(r, ref.getObjectId().getName());

            list.add(new RefModel(entry.getKey(), ref, commit));

            RevObject object = rw.parseAny(ref.getObjectId());

            String name = entry.getKey();

            if (fullName && !StringUtils.isEmpty(refs)) {

               name = refs + name;

            }

            list.add(new RefModel(name, ref, object));

         }

         rw.dispose();

         Collections.sort(list);

         Collections.reverse(list);

         if (maxCount > 0 && list.size() > maxCount) {

@@ -685,45 +707,36 @@
      return list;

   }



   public static Ref getRef(Repository r, String id) {

      // FIXME

      try {

         Map<String, Ref> map = r.getRefDatabase().getRefs(id);

         for (Entry<String, Ref> entry : map.entrySet()) {

            return entry.getValue();

   public static List<GitNote> getNotesOnCommit(Repository repository, RevCommit commit) {

      List<GitNote> list = new ArrayList<GitNote>();

      List<RefModel> notesRefs = getNotesRefs(repository, true, -1);

      for (RefModel notesRef : notesRefs) {

         RevTree notesTree = JGitUtils.getCommit(repository, notesRef.getName()).getTree();

         StringBuilder sb = new StringBuilder(commit.getName());

         sb.insert(2, '/');

         String notePath = sb.toString();

         String text = getStringContent(repository, notesTree, notePath);

         if (!StringUtils.isEmpty(text)) {

            List<RevCommit> history = getRevLog(repository, notesRef.getName(), notePath, 0, -1);

            RefModel noteRef = new RefModel(notesRef.displayName, null, history.get(history

                  .size() - 1));

            GitNote gitNote = new GitNote(noteRef, text);

            list.add(gitNote);

         }

      } catch (IOException e) {

         LOGGER.error("Failed to retrieve ref " + id, e);

      }

      return null;

   }



   public static Date getCommitDate(RevCommit commit) {

      return new Date(commit.getCommitTime() * 1000L);

   }



   public static String getDisplayName(PersonIdent person) {

      final StringBuilder r = new StringBuilder();

      r.append(person.getName());

      r.append(" <");

      r.append(person.getEmailAddress());

      r.append('>');

      return r.toString();

      return list;

   }



   public static StoredConfig readConfig(Repository r) {

      StoredConfig c = r.getConfig();

      if (c != null) {

         try {

            c.load();

         } catch (ConfigInvalidException cex) {

            LOGGER.error("Repository configuration is invalid!", cex);

         } catch (IOException cex) {

            LOGGER.error("Could not open repository configuration!", cex);

         }

         return c;

      try {

         c.load();

      } catch (ConfigInvalidException cex) {

         LOGGER.error("Repository configuration is invalid!", cex);

      } catch (IOException cex) {

         LOGGER.error("Could not open repository configuration!", cex);

      }

      return null;

      return c;

   }



   public static boolean zip(Repository r, String basePath, String objectId, OutputStream os)

@@ -732,26 +745,27 @@
      if (commit == null) {

         return false;

      }

      final RevWalk rw = new RevWalk(r);

      final TreeWalk walk = new TreeWalk(r);

      boolean success = false;

      RevWalk rw = new RevWalk(r);

      TreeWalk tw = new TreeWalk(r);

      try {

         walk.addTree(commit.getTree());

         tw.addTree(commit.getTree());

         ZipOutputStream zos = new ZipOutputStream(os);

         zos.setComment("Generated by Git:Blit");

         if (basePath != null && basePath.length() > 0) {

         if (!StringUtils.isEmpty(basePath)) {

            PathFilter f = PathFilter.create(basePath);

            walk.setFilter(f);

            tw.setFilter(f);

         }

         walk.setRecursive(true);

         while (walk.next()) {

            ZipEntry entry = new ZipEntry(walk.getPathString());

            entry.setSize(walk.getObjectReader().getObjectSize(walk.getObjectId(0),

         tw.setRecursive(true);

         while (tw.next()) {

            ZipEntry entry = new ZipEntry(tw.getPathString());

            entry.setSize(tw.getObjectReader().getObjectSize(tw.getObjectId(0),

                  Constants.OBJ_BLOB));

            entry.setComment(commit.getName());

            zos.putNextEntry(entry);



            ObjectId entid = walk.getObjectId(0);

            FileMode entmode = walk.getFileMode(0);

            ObjectId entid = tw.getObjectId(0);

            FileMode entmode = tw.getFileMode(0);

            RevBlob blob = (RevBlob) rw.lookupAny(entid, entmode.getObjectType());

            rw.parseBody(blob);



@@ -765,175 +779,13 @@
            in.close();

         }

         zos.finish();

         return true;

         success = true;

      } catch (IOException e) {

         LOGGER.error("Failed to zip files from commit " + commit.getName(), e);

      } finally {

         walk.release();

         tw.release();

         rw.dispose();

      }

      return false;

   }



   public static List<Metric> getDateMetrics(Repository r) {

      Metric total = new Metric("TOTAL");

      final Map<String, Metric> metricMap = new HashMap<String, Metric>();



      if (hasCommits(r)) {

         final List<RefModel> tags = getTags(r, -1);

         final Map<ObjectId, RefModel> tagMap = new HashMap<ObjectId, RefModel>();

         for (RefModel tag : tags) {

            tagMap.put(tag.getCommitId(), tag);

         }

         try {

            RevWalk walk = new RevWalk(r);

            ObjectId object = r.resolve(Constants.HEAD);



            RevCommit firstCommit = getFirstCommit(r, Constants.HEAD);

            RevCommit lastCommit = walk.parseCommit(object);

            int diffDays = (lastCommit.getCommitTime() - firstCommit.getCommitTime())

                  / (60 * 60 * 24);

            total.duration = diffDays;

            DateFormat df;

            if (diffDays <= 90) {

               // Days

               df = new SimpleDateFormat("yyyy-MM-dd");

            } else if (diffDays > 90 && diffDays < 365) {

               // Weeks

               df = new SimpleDateFormat("yyyy-MM (w)");

            } else {

               // Months

               df = new SimpleDateFormat("yyyy-MM");

            }

            walk.markStart(lastCommit);



            Iterable<RevCommit> revlog = walk;

            for (RevCommit rev : revlog) {

               Date d = getCommitDate(rev);

               String p = df.format(d);

               if (!metricMap.containsKey(p)) {

                  metricMap.put(p, new Metric(p));

               }

               Metric m = metricMap.get(p);

               m.count++;

               total.count++;

               if (tagMap.containsKey(rev.getId())) {

                  m.tag++;

                  total.tag++;

               }

            }

         } catch (Throwable t) {

            LOGGER.error("Failed to mine log history for metrics", t);

         }

      }

      List<String> keys = new ArrayList<String>(metricMap.keySet());

      Collections.sort(keys);

      List<Metric> metrics = new ArrayList<Metric>();

      for (String key : keys) {

         metrics.add(metricMap.get(key));

      }

      metrics.add(0, total);

      return metrics;

   }



   public static RefModel getTicketsBranch(Repository r) {

      RefModel ticgitBranch = null;

      try {

         // search for ticgit branch in local heads

         for (RefModel ref : getLocalBranches(r, -1)) {

            if (ref.displayName.endsWith("ticgit")) {

               ticgitBranch = ref;

               break;

            }

         }



         // search for ticgit branch in remote heads

         if (ticgitBranch == null) {

            for (RefModel ref : getRemoteBranches(r, -1)) {

               if (ref.displayName.endsWith("ticgit")) {

                  ticgitBranch = ref;

                  break;

               }

            }

         }

      } catch (Throwable t) {

         LOGGER.error("Failed to find ticgit branch!", t);

      }

      return ticgitBranch;

   }



   public static List<TicketModel> getTickets(Repository r) {

      RefModel ticgitBranch = getTicketsBranch(r);

      List<PathModel> paths = getFilesInPath(r, null, ticgitBranch.commit);

      List<TicketModel> tickets = new ArrayList<TicketModel>();

      for (PathModel ticketFolder : paths) {

         if (ticketFolder.isTree()) {

            try {

               TicketModel t = new TicketModel(ticketFolder.name);

               readTicketContents(r, ticgitBranch, t);

               tickets.add(t);

            } catch (Throwable t) {

               LOGGER.error("Failed to get a ticket!", t);

            }

         }

      }

      Collections.sort(tickets);

      Collections.reverse(tickets);

      return tickets;

   }



   public static TicketModel getTicket(Repository r, String ticketFolder) {

      RefModel ticketsBranch = getTicketsBranch(r);

      if (ticketsBranch != null) {

         try {

            TicketModel ticket = new TicketModel(ticketFolder);

            readTicketContents(r, ticketsBranch, ticket);

            return ticket;

         } catch (Throwable t) {

            LOGGER.error("Failed to get ticket " + ticketFolder, t);

         }

      }

      return null;

   }



   private static void readTicketContents(Repository r, RefModel ticketsBranch, TicketModel ticket) {

      List<PathModel> ticketFiles = getFilesInPath(r, ticket.name, ticketsBranch.commit);

      for (PathModel file : ticketFiles) {

         String content = getRawContentAsString(r, ticketsBranch.commit, file.path).trim();

         if (file.name.equals("TICKET_ID")) {

            ticket.id = content;

         } else if (file.name.equals("TITLE")) {

            ticket.title = content;

         } else {

            String[] chunks = file.name.split("_");

            if (chunks[0].equals("ASSIGNED")) {

               ticket.handler = content;

            } else if (chunks[0].equals("COMMENT")) {

               try {

                  Comment c = new Comment(file.name, content);

                  ticket.comments.add(c);

               } catch (ParseException e) {

                  e.printStackTrace();

               }

            } else if (chunks[0].equals("TAG")) {

               if (content.startsWith("TAG_")) {

                  ticket.tags.add(content.substring(4));

               } else {

                  ticket.tags.add(content);

               }

            } else if (chunks[0].equals("STATE")) {

               ticket.state = content;

            }

         }

      }

      Collections.sort(ticket.comments);

   }



   public static String getTicketContent(Repository r, String filePath) {

      RefModel ticketsBranch = getTicketsBranch(r);

      if (ticketsBranch != null) {

         return getRawContentAsString(r, ticketsBranch.commit, filePath);

      }

      return "";

      return success;

   }

}