Merge pull request #1022 from gitblit/974-in-browser-doc-editor

Paul Martin

2016-03-28 33f3580f8f4499ac9cd4812872c94fcdd81a5829

 src/main/java/com/gitblit/utils/JGitUtils.java

@@ -21,6 +21,7 @@
import java.text.MessageFormat;

import java.util.ArrayList;

import java.util.Arrays;

import java.util.Collection;

import java.util.Collections;

import java.util.Date;

import java.util.HashMap;

@@ -28,23 +29,29 @@
import java.util.List;

import java.util.Map;

import java.util.Map.Entry;

import java.util.regex.Matcher;

import java.util.regex.Pattern;



import com.google.common.base.Strings;

import org.apache.commons.io.filefilter.TrueFileFilter;

import org.eclipse.jgit.api.CloneCommand;

import org.eclipse.jgit.api.FetchCommand;

import org.eclipse.jgit.api.Git;

import org.eclipse.jgit.api.TagCommand;

import org.eclipse.jgit.api.errors.ConcurrentRefUpdateException;

import org.eclipse.jgit.api.errors.GitAPIException;

import org.eclipse.jgit.api.errors.JGitInternalException;

import org.eclipse.jgit.diff.DiffEntry;

import org.eclipse.jgit.diff.DiffEntry.ChangeType;

import org.eclipse.jgit.diff.DiffFormatter;

import org.eclipse.jgit.diff.RawTextComparator;

import org.eclipse.jgit.dircache.DirCache;

import org.eclipse.jgit.dircache.DirCacheEntry;

import org.eclipse.jgit.errors.ConfigInvalidException;

import org.eclipse.jgit.errors.IncorrectObjectTypeException;

import org.eclipse.jgit.errors.LargeObjectException;

import org.eclipse.jgit.errors.MissingObjectException;

import org.eclipse.jgit.errors.StopWalkException;

import org.eclipse.jgit.internal.JGitText;

import org.eclipse.jgit.lib.BlobBasedConfig;

import org.eclipse.jgit.lib.CommitBuilder;

import org.eclipse.jgit.lib.Constants;

@@ -62,6 +69,7 @@
import org.eclipse.jgit.lib.TreeFormatter;

import org.eclipse.jgit.merge.MergeStrategy;

import org.eclipse.jgit.merge.RecursiveMerger;

import org.eclipse.jgit.merge.ThreeWayMerger;

import org.eclipse.jgit.revwalk.RevBlob;

import org.eclipse.jgit.revwalk.RevCommit;

import org.eclipse.jgit.revwalk.RevObject;

@@ -74,6 +82,7 @@
import org.eclipse.jgit.transport.CredentialsProvider;

import org.eclipse.jgit.transport.FetchResult;

import org.eclipse.jgit.transport.RefSpec;

import org.eclipse.jgit.treewalk.CanonicalTreeParser;

import org.eclipse.jgit.treewalk.TreeWalk;

import org.eclipse.jgit.treewalk.filter.AndTreeFilter;

import org.eclipse.jgit.treewalk.filter.OrTreeFilter;

@@ -85,12 +94,17 @@
import org.slf4j.Logger;

import org.slf4j.LoggerFactory;



import com.gitblit.GitBlit;

import com.gitblit.GitBlitException;

import com.gitblit.manager.GitblitManager;

import com.gitblit.models.FilestoreModel;

import com.gitblit.models.GitNote;

import com.gitblit.models.PathModel;

import com.gitblit.models.PathModel.PathChangeModel;

import com.gitblit.models.RefModel;

import com.gitblit.models.SubmoduleModel;

import com.gitblit.servlet.FilestoreServlet;

import com.google.common.base.Strings;



/**

 * Collection of static methods for retrieving information from a repository.

@@ -691,7 +705,10 @@
      if (commit == null) {

         return new Date(0);

      }

      return commit.getAuthorIdent().getWhen();

      if (commit.getAuthorIdent() != null) {

         return commit.getAuthorIdent().getWhen();

      }

      return getCommitDate(commit);

   }



   /**

@@ -774,7 +791,7 @@
         }

      } finally {

         rw.dispose();

         tw.release();

         tw.close();

      }

      return content;

   }

@@ -885,7 +902,7 @@
      } catch (IOException e) {

         error(e, repository, "{0} failed to get files for commit {1}", commit.getName());

      } finally {

         tw.release();

         tw.close();

      }

      Collections.sort(list);

      return list;

@@ -942,7 +959,7 @@
      } catch (IOException e) {

         error(e, repository, "{0} failed to get files for commit {1}", commit.getName());

      } finally {

         tw.release();

         tw.close();

      }

      Collections.sort(list);

      return list;

@@ -990,23 +1007,40 @@
            tw.setRecursive(true);

            tw.addTree(commit.getTree());

            while (tw.next()) {

               list.add(new PathChangeModel(tw.getPathString(), tw.getPathString(), 0, tw

                     .getRawMode(0), tw.getObjectId(0).getName(), commit.getId().getName(),

               long size = 0;

               FilestoreModel filestoreItem = null;

               ObjectId objectId = tw.getObjectId(0);

					
               try {

                  if (!tw.isSubtree() && (tw.getFileMode(0) != FileMode.GITLINK)) {



                     size = tw.getObjectReader().getObjectSize(objectId, Constants.OBJ_BLOB);



                     if (isPossibleFilestoreItem(size)) {

                        filestoreItem = getFilestoreItem(tw.getObjectReader().open(objectId));

                     }

                  }

               } catch (Throwable t) {

                  error(t, null, "failed to retrieve blob size for " + tw.getPathString());

               }

					
               list.add(new PathChangeModel(tw.getPathString(), tw.getPathString(),filestoreItem, size, tw

                     .getRawMode(0), objectId.getName(), commit.getId().getName(),

                     ChangeType.ADD));

            }

            tw.release();

            tw.close();

         } else {

            RevCommit parent = rw.parseCommit(commit.getParent(0).getId());

            DiffStatFormatter df = new DiffStatFormatter(commit.getName());

            DiffStatFormatter df = new DiffStatFormatter(commit.getName(), repository);

            df.setRepository(repository);

            df.setDiffComparator(RawTextComparator.DEFAULT);

            df.setDetectRenames(true);

            List<DiffEntry> diffs = df.scan(parent.getTree(), commit.getTree());

            for (DiffEntry diff : diffs) {

               // create the path change model

               PathChangeModel pcm = PathChangeModel.from(diff, commit.getName());



               if (calculateDiffStat) {

               PathChangeModel pcm = PathChangeModel.from(diff, commit.getName(), repository);

						
                  if (calculateDiffStat) {

                  // update file diffstats

                  df.format(diff);

                  PathChangeModel pathStat = df.getDiffStat().getPath(pcm.path);

@@ -1049,7 +1083,7 @@
         RevCommit start = rw.parseCommit(startRange);

         RevCommit end = rw.parseCommit(endRange);

         list.addAll(getFilesInRange(repository, start, end));

         rw.release();

         rw.close();

      } catch (Throwable t) {

         error(t, repository, "{0} failed to determine files in range {1}..{2}!", startCommit, endCommit);

      }

@@ -1080,7 +1114,7 @@


         List<DiffEntry> diffEntries = df.scan(startCommit.getTree(), endCommit.getTree());

         for (DiffEntry diff : diffEntries) {

            PathChangeModel pcm = PathChangeModel.from(diff,  endCommit.getName());

            PathChangeModel pcm = PathChangeModel.from(diff,  endCommit.getName(), repository);

            list.add(pcm);

         }

         Collections.sort(list);

@@ -1147,7 +1181,7 @@
      } catch (IOException e) {

         error(e, repository, "{0} failed to get documents for commit {1}", commit.getName());

      } finally {

         tw.release();

         tw.close();

      }

      Collections.sort(list);

      return list;

@@ -1164,21 +1198,54 @@
   private static PathModel getPathModel(TreeWalk tw, String basePath, RevCommit commit) {

      String name;

      long size = 0;

		
      if (StringUtils.isEmpty(basePath)) {

         name = tw.getPathString();

      } else {

         name = tw.getPathString().substring(basePath.length() + 1);

      }

      ObjectId objectId = tw.getObjectId(0);

      FilestoreModel filestoreItem = null;

		
      try {

         if (!tw.isSubtree() && (tw.getFileMode(0) != FileMode.GITLINK)) {



            size = tw.getObjectReader().getObjectSize(objectId, Constants.OBJ_BLOB);



            if (isPossibleFilestoreItem(size)) {

               filestoreItem = getFilestoreItem(tw.getObjectReader().open(objectId));

            }

         }

      } catch (Throwable t) {

         error(t, null, "failed to retrieve blob size for " + tw.getPathString());

      }

      return new PathModel(name, tw.getPathString(), size, tw.getFileMode(0).getBits(),

      return new PathModel(name, tw.getPathString(), filestoreItem, size, tw.getFileMode(0).getBits(),

            objectId.getName(), commit.getName());

   }

	
   public static boolean isPossibleFilestoreItem(long size) {

      return (   (size >= com.gitblit.Constants.LEN_FILESTORE_META_MIN) 
            && (size <= com.gitblit.Constants.LEN_FILESTORE_META_MAX));

   }

	
   /**

    * 
    * @return Representative FilestoreModel if valid, otherwise null

    */

   public static FilestoreModel getFilestoreItem(ObjectLoader obj){

      try {

         final byte[] blob = obj.getCachedBytes(com.gitblit.Constants.LEN_FILESTORE_META_MAX);

         final String meta = new String(blob, "UTF-8");

		
         return FilestoreModel.fromMetaString(meta);



      } catch (LargeObjectException e) {

         //Intentionally failing silent

      } catch (Exception e) {

         error(e, null, "failed to retrieve filestoreItem " + obj.toString());

      }

		
      return null;

   }



   /**

@@ -1194,29 +1261,34 @@
         throws IOException {



      long size = 0;

      FilestoreModel filestoreItem = null;

      TreeWalk tw = TreeWalk.forPath(repo, path, commit.getTree());

      String pathString = path;



         if (!tw.isSubtree() && (tw.getFileMode(0) != FileMode.GITLINK)) {

            size = tw.getObjectReader().getObjectSize(tw.getObjectId(0), Constants.OBJ_BLOB);

            pathString = PathUtils.getLastPathComponent(pathString);

      if (!tw.isSubtree() && (tw.getFileMode(0) != FileMode.GITLINK)) {



         } else if (tw.isSubtree()) {

         pathString = PathUtils.getLastPathComponent(pathString);

			
         size = tw.getObjectReader().getObjectSize(tw.getObjectId(0), Constants.OBJ_BLOB);

			
         if (isPossibleFilestoreItem(size)) {

            filestoreItem = getFilestoreItem(tw.getObjectReader().open(tw.getObjectId(0)));

         }

      } else if (tw.isSubtree()) {



            // do not display dirs that are behind in the path

            if (!Strings.isNullOrEmpty(filter)) {

               pathString = path.replaceFirst(filter + "/", "");

            }



            // remove the last slash from path in displayed link

            if (pathString != null && pathString.charAt(pathString.length()-1) == '/') {

               pathString = pathString.substring(0, pathString.length()-1);

            }

         // do not display dirs that are behind in the path

         if (!Strings.isNullOrEmpty(filter)) {

            pathString = path.replaceFirst(filter + "/", "");

         }



         return new PathModel(pathString, tw.getPathString(), size, tw.getFileMode(0).getBits(),

               tw.getObjectId(0).getName(), commit.getName());

         // remove the last slash from path in displayed link

         if (pathString != null && pathString.charAt(pathString.length()-1) == '/') {

            pathString = pathString.substring(0, pathString.length()-1);

         }

      }



      return new PathModel(pathString, tw.getPathString(), filestoreItem, size, tw.getFileMode(0).getBits(),

            tw.getObjectId(0).getName(), commit.getName());



   }



@@ -2044,7 +2116,7 @@
         error(t, repository, "{0} can't find {1} in commit {2}", path, commit.name());

      } finally {

         rw.dispose();

         tw.release();

         tw.close();

      }

      return commitId;

   }

@@ -2218,10 +2290,10 @@
                  success = false;

               }

            } finally {

               revWalk.release();

               revWalk.close();

            }

         } finally {

            odi.release();

            odi.close();

         }

      } catch (Throwable t) {

         error(t, repository, "Failed to create orphan branch {1} in repository {0}", branchName);

@@ -2412,7 +2484,7 @@
         LOGGER.error("Failed to determine canMerge", e);

      } finally {

         if (revWalk != null) {

            revWalk.release();

            revWalk.close();

         }

      }

      return MergeStatus.NOT_MERGEABLE;

@@ -2498,16 +2570,179 @@
               // return the merge commit id

               return new MergeResult(MergeStatus.MERGED, mergeCommitId.getName());

            } finally {

               odi.release();

               odi.close();

            }

         }

      } catch (IOException e) {

         LOGGER.error("Failed to merge", e);

      } finally {

         if (revWalk != null) {

            revWalk.release();

            revWalk.close();

         }

      }

      return new MergeResult(MergeStatus.FAILED, null);

   }

	
	
   /**

    * Returns the LFS URL for the given oid 
    * Currently assumes that the Gitblit Filestore is used 
    *

    * @param baseURL

    * @param repository name

    * @param oid of lfs item

    * @return the lfs item URL

    */

   public static String getLfsRepositoryUrl(String baseURL, String repositoryName, String oid) {

		
      if (baseURL.length() > 0 && baseURL.charAt(baseURL.length() - 1) == '/') {

         baseURL = baseURL.substring(0, baseURL.length() - 1);

      }

		
      return baseURL + com.gitblit.Constants.R_PATH 
                  + repositoryName + "/" 
                  + com.gitblit.Constants.R_LFS 
                  + "objects/" + oid;

		
   }

	
   /**

    * Returns all tree entries that do not match the ignore paths.

    *

    * @param db

    * @param ignorePaths

    * @param dcBuilder

    * @throws IOException

    */

   public static List<DirCacheEntry> getTreeEntries(Repository db, String branch, Collection<String> ignorePaths) throws IOException {

      List<DirCacheEntry> list = new ArrayList<DirCacheEntry>();

      TreeWalk tw = null;

      try {

         ObjectId treeId = db.resolve(branch + "^{tree}");

         if (treeId == null) {

            // branch does not exist yet

            return list;

         }

         tw = new TreeWalk(db);

         int hIdx = tw.addTree(treeId);

         tw.setRecursive(true);



         while (tw.next()) {

            String path = tw.getPathString();

            CanonicalTreeParser hTree = null;

            if (hIdx != -1) {

               hTree = tw.getTree(hIdx, CanonicalTreeParser.class);

            }

            if (!ignorePaths.contains(path)) {

               // add all other tree entries

               if (hTree != null) {

                  final DirCacheEntry entry = new DirCacheEntry(path);

                  entry.setObjectId(hTree.getEntryObjectId());

                  entry.setFileMode(hTree.getEntryFileMode());

                  list.add(entry);

               }

            }

         }

      } finally {

         if (tw != null) {

            tw.close();

         }

      }

      return list;

   }

	
   public static boolean commitIndex(Repository db, String branch, DirCache index,

                             ObjectId parentId, boolean forceCommit,

                             String author, String authorEmail, String message) throws IOException, ConcurrentRefUpdateException {

      boolean success = false;



      ObjectId headId = db.resolve(branch + "^{commit}");

      ObjectId baseId = parentId;

      if (baseId == null || headId == null) { return false; }

		
      ObjectInserter odi = db.newObjectInserter();

      try {

         // Create the in-memory index of the new/updated ticket

         ObjectId indexTreeId = index.writeTree(odi);



         // Create a commit object

         PersonIdent ident = new PersonIdent(author, authorEmail);

			
         if (forceCommit == false) {

            ThreeWayMerger merger = MergeStrategy.RECURSIVE.newMerger(db, true);

            merger.setObjectInserter(odi);

            merger.setBase(baseId);

            boolean mergeSuccess = merger.merge(indexTreeId, headId);

				
            if (mergeSuccess) {

               indexTreeId = merger.getResultTreeId();

             } else {

               //Manual merge required

               return false; 
             }

         }

			
         CommitBuilder commit = new CommitBuilder();

         commit.setAuthor(ident);

         commit.setCommitter(ident);

         commit.setEncoding(com.gitblit.Constants.ENCODING);

         commit.setMessage(message);

         commit.setParentId(headId);

         commit.setTreeId(indexTreeId);



         // Insert the commit into the repository

         ObjectId commitId = odi.insert(commit);

         odi.flush();



         RevWalk revWalk = new RevWalk(db);

         try {

            RevCommit revCommit = revWalk.parseCommit(commitId);

            RefUpdate ru = db.updateRef(branch);

            ru.setForceUpdate(forceCommit);

            ru.setNewObjectId(commitId);

            ru.setExpectedOldObjectId(headId);

            ru.setRefLogMessage("commit: " + revCommit.getShortMessage(), false);

            Result rc = ru.update();



            switch (rc) {

            case NEW:

            case FORCED:

            case FAST_FORWARD:

               success = true;

               break;

            case REJECTED:

            case LOCK_FAILURE:

               throw new ConcurrentRefUpdateException(JGitText.get().couldNotLockHEAD,

                     ru.getRef(), rc);

            default:

               throw new JGitInternalException(MessageFormat.format(

                     JGitText.get().updatingRefFailed, branch, commitId.toString(),

                     rc));

            }

         } finally {

            revWalk.close();

         }

      } finally {

         odi.close();

      }

      return success;

   }

	
   /**

    * Returns true if the commit identified by commitId is at the tip of it's branch.

    *

    * @param repository

    * @param commitId

    * @return true if the given commit is the tip

    */

   public static boolean isTip(Repository repository, String commitId) {

      try {

         RefModel tip = getBranch(repository, commitId);

         return (tip != null);	
      } catch (Exception e) {

         LOGGER.error("Failed to determine isTip", e);

      }

      return false;

   }



}