Unit testing.

James Moger

2011-05-29 db653ae29c54163c7ca2dd6d2b5063d4623c3a8c

 src/com/gitblit/GitBlitServer.java

@@ -1,41 +1,39 @@
/*

 * Copyright 2011 gitblit.com.

 *

 * Licensed under the Apache License, Version 2.0 (the "License");

 * you may not use this file except in compliance with the License.

 * You may obtain a copy of the License at

 *

 *     http://www.apache.org/licenses/LICENSE-2.0

 *

 * Unless required by applicable law or agreed to in writing, software

 * distributed under the License is distributed on an "AS IS" BASIS,

 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

 * See the License for the specific language governing permissions and

 * limitations under the License.

 */

package com.gitblit;



import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.InputStreamReader;

import java.io.OutputStream;

import java.math.BigInteger;

import java.net.InetAddress;

import java.net.ServerSocket;

import java.net.Socket;

import java.net.URL;

import java.net.UnknownHostException;

import java.security.KeyPair;

import java.security.KeyPairGenerator;

import java.security.KeyStore;

import java.security.ProtectionDomain;

import java.security.SecureRandom;

import java.security.Security;

import java.security.cert.X509Certificate;

import java.text.MessageFormat;

import java.util.ArrayList;

import java.util.Date;

import java.util.List;



import org.apache.log4j.ConsoleAppender;

import org.apache.log4j.PatternLayout;

import org.apache.wicket.protocol.http.ContextParamWebApplicationFactory;

import org.apache.wicket.protocol.http.WicketFilter;

import org.bouncycastle.asn1.x500.X500NameBuilder;

import org.bouncycastle.asn1.x500.style.BCStyle;

import org.bouncycastle.cert.X509v3CertificateBuilder;

import org.bouncycastle.cert.jcajce.JcaX509CertificateConverter;

import org.bouncycastle.cert.jcajce.JcaX509v3CertificateBuilder;

import org.bouncycastle.operator.ContentSigner;

import org.bouncycastle.operator.jcajce.JcaContentSignerBuilder;

import org.eclipse.jetty.http.security.Constraint;

import org.eclipse.jetty.security.ConstraintMapping;

import org.eclipse.jetty.security.ConstraintSecurityHandler;

@@ -46,17 +44,17 @@
import org.eclipse.jetty.server.Server;

import org.eclipse.jetty.server.bio.SocketConnector;

import org.eclipse.jetty.server.nio.SelectChannelConnector;

import org.eclipse.jetty.server.session.HashSessionManager;

import org.eclipse.jetty.server.ssl.SslConnector;

import org.eclipse.jetty.server.ssl.SslSelectChannelConnector;

import org.eclipse.jetty.server.ssl.SslSocketConnector;

import org.eclipse.jetty.servlet.FilterHolder;

import org.eclipse.jetty.servlet.FilterMapping;

import org.eclipse.jetty.servlet.ServletHolder;

import org.eclipse.jetty.util.log.Log;

import org.eclipse.jetty.util.log.Logger;

import org.eclipse.jetty.util.thread.QueuedThreadPool;

import org.eclipse.jetty.webapp.WebAppContext;

import org.eclipse.jgit.http.server.GitServlet;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;



import com.beust.jcommander.JCommander;

import com.beust.jcommander.Parameter;

@@ -67,32 +65,31 @@


public class GitBlitServer {



   private final static Logger logger = Log.getLogger(GitBlitServer.class.getSimpleName());

   private final static String border_star = "***********************************************************";



   private final static FileSettings fileSettings = new FileSettings();

   private static Logger logger;



   public static void main(String[] args) {

      Params params = new Params();

      JCommander jc = new JCommander(params);

      try {

         jc.parse(args);

         if (params.help)

         if (params.help) {

            usage(jc, null);

         }

      } catch (ParameterException t) {

         usage(jc, t);

      }



      if (params.stop)

      if (params.stop) {

         stop(params);

      else

      } else {

         start(params);

      }

   }



   private static void usage(JCommander jc, ParameterException t) {

      System.out.println(border_star);

      System.out.println(Constants.getRunningVersion());

      System.out.println(border_star);

      System.out.println(Constants.BORDER);

      System.out.println(Constants.getGitBlitVersion());

      System.out.println(Constants.BORDER);

      System.out.println();

      if (t != null) {

         System.out.println(t.getMessage());

@@ -100,7 +97,8 @@
      }

      if (jc != null) {

         jc.usage();

         System.out.println("\nExample:\n  java -server -Xmx1024M -jar gitblit.jar --repos c:\\git --port 80 --securePort 443");

         System.out

               .println("\nExample:\n  java -server -Xmx1024M -jar gitblit.jar --repos c:\\git --port 80 --securePort 443");

      }

      System.exit(0);

   }

@@ -113,7 +111,7 @@
         Socket s = new Socket(InetAddress.getByName("127.0.0.1"), params.shutdownPort);

         OutputStream out = s.getOutputStream();

         System.out.println("Sending Shutdown Request to " + Constants.NAME);

         out.write(("\r\n").getBytes());

         out.write("\r\n".getBytes());

         out.flush();

         s.close();

      } catch (UnknownHostException e) {

@@ -127,17 +125,19 @@
    * Start Server.

    */

   private static void start(Params params) {

      String pattern = fileSettings.getString(Keys.server.log4jPattern, "%-5p %d{MM-dd HH:mm:ss.SSS}  %-20.20c{1}  %m%n");

      FileSettings settings = params.FILESETTINGS;

      String pattern = settings.getString(Keys.server.log4jPattern,

            "%-5p %d{MM-dd HH:mm:ss.SSS}  %-20.20c{1}  %m%n");



      // allow os override of logging pattern

      String os = System.getProperty("os.name").toLowerCase();

      if (os.indexOf("windows") > -1) {

         String winPattern = fileSettings.getString(Keys.server.log4jPattern_windows, pattern);

         String winPattern = settings.getString(Keys.server.log4jPattern_windows, pattern);

         if (!StringUtils.isEmpty(winPattern)) {

            pattern = winPattern;

         }

      } else if (os.indexOf("linux") > -1) {

         String linuxPattern = fileSettings.getString(Keys.server.log4jPattern_linux, pattern);

         String linuxPattern = settings.getString(Keys.server.log4jPattern_linux, pattern);

         if (!StringUtils.isEmpty(linuxPattern)) {

            pattern = linuxPattern;

         }

@@ -147,9 +147,10 @@
      org.apache.log4j.Logger rootLogger = org.apache.log4j.Logger.getRootLogger();

      rootLogger.addAppender(new ConsoleAppender(layout));



      logger.info(border_star);

      logger.info(Constants.getRunningVersion());

      logger.info(border_star);

      logger = LoggerFactory.getLogger(GitBlitServer.class);

      logger.info(Constants.BORDER);

      logger.info(Constants.getGitBlitVersion());

      logger.info(Constants.BORDER);



      String osname = System.getProperty("os.name");

      String osversion = System.getProperty("os.version");

@@ -159,9 +160,10 @@
      List<Connector> connectors = new ArrayList<Connector>();

      if (params.port > 0) {

         Connector httpConnector = createConnector(params.useNIO, params.port);

         String bindInterface = fileSettings.getString(Keys.server.httpBindInterface, null);

         String bindInterface = settings.getString(Keys.server.httpBindInterface, null);

         if (!StringUtils.isEmpty(bindInterface)) {

            logger.warn(MessageFormat.format("Binding connector on port {0} to {1}", params.port, bindInterface));

            logger.warn(MessageFormat.format("Binding connector on port {0} to {1}",

                  params.port, bindInterface));

            httpConnector.setHost(bindInterface);

         }

         connectors.add(httpConnector);

@@ -170,14 +172,17 @@
      if (params.securePort > 0) {

         File keystore = new File("keystore");

         if (!keystore.exists()) {

            logger.info("Generating self-signed ssl certificate");

            generateSelfSignedCertificate("localhost", keystore, params.storePassword);

            logger.info("Generating self-signed SSL certificate");

            MakeCertificate.generateSelfSignedCertificate("localhost", keystore,

                  params.storePassword);

         }

         if (keystore.exists()) {

            Connector secureConnector = createSSLConnector(keystore, params.storePassword, params.useNIO, params.securePort);

            String bindInterface = fileSettings.getString(Keys.server.httpsBindInterface, null);

            Connector secureConnector = createSSLConnector(keystore, params.storePassword,

                  params.useNIO, params.securePort);

            String bindInterface = settings.getString(Keys.server.httpsBindInterface, null);

            if (!StringUtils.isEmpty(bindInterface)) {

               logger.warn(MessageFormat.format("Binding ssl connector on port {0} to {1}", params.securePort, bindInterface));

               logger.warn(MessageFormat.format("Binding ssl connector on port {0} to {1}",

                     params.securePort, bindInterface));

               secureConnector.setHost(bindInterface);

            }

            connectors.add(secureConnector);

@@ -191,9 +196,14 @@
      // * WebApp is expanded

      //

      File tempDir = new File(params.temp);

      if (tempDir.exists())

         deleteRecursively(tempDir);

      tempDir.mkdirs();

      if (tempDir.exists()) {

         if (!deleteRecursively(tempDir)) {

            logger.warn("Failed to delete temp dir " + tempDir.getAbsolutePath());

         }

      }

      if (!tempDir.mkdirs()) {

         logger.warn("Failed to create temp dir " + tempDir.getAbsolutePath());

      }



      Server server = new Server();

      server.setStopAtShutdown(true);

@@ -211,45 +221,58 @@
      rootContext.setWar(location.toExternalForm());

      rootContext.setTempDirectory(tempDir);



      // Set cookies HttpOnly so they are not accessible to JavaScript engines

      HashSessionManager sessionManager = new HashSessionManager();

      sessionManager.setHttpOnly(true);

      // Use secure cookies if only serving https

      sessionManager.setSecureCookies(params.port <= 0 && params.securePort > 0);

      rootContext.getSessionHandler().setSessionManager(sessionManager);



      // Wicket Filter

      String wicketPathSpec = "/*";

      FilterHolder wicketFilter = new FilterHolder(WicketFilter.class);

      wicketFilter.setInitParameter(ContextParamWebApplicationFactory.APP_CLASS_PARAM, GitBlitWebApp.class.getName());

      wicketFilter.setInitParameter(ContextParamWebApplicationFactory.APP_CLASS_PARAM,

            GitBlitWebApp.class.getName());

      wicketFilter.setInitParameter(WicketFilter.FILTER_MAPPING_PARAM, wicketPathSpec);

      wicketFilter.setInitParameter(WicketFilter.IGNORE_PATHS_PARAM, "git/");

      rootContext.addFilter(wicketFilter, wicketPathSpec, FilterMapping.DEFAULT);



      // Zip Servlet

      rootContext.addServlet(DownloadZipServlet.class, Constants.ZIP_SERVLET_PATH + "*");



      // Git Servlet

      ServletHolder gitServlet = null;

      String gitServletPathSpec = "/git/*";

      if (fileSettings.getBoolean(Keys.git.allowPushPull, true)) {

         gitServlet = rootContext.addServlet(GitServlet.class, gitServletPathSpec);

      String gitServletPathSpec = Constants.GIT_SERVLET_PATH + "*";

      if (settings.getBoolean(Keys.git.enableGitServlet, true)) {

         gitServlet = rootContext.addServlet(GitBlitServlet.class, gitServletPathSpec);

         gitServlet.setInitParameter("base-path", params.repositoriesFolder);

         gitServlet.setInitParameter("export-all", params.exportAll ? "1" : "0");

         gitServlet.setInitParameter("export-all",

               settings.getBoolean(Keys.git.exportAll, true) ? "1" : "0");

      }



      // Login Service

      LoginService loginService = null;

      String realmUsers = params.realmFile;

      if (realmUsers != null && new File(realmUsers).exists()) {

         logger.info("Setting up login service from " + realmUsers);

         JettyLoginService jettyLoginService = new JettyLoginService(realmUsers);

         GitBlit.self().setLoginService(jettyLoginService);

         loginService = jettyLoginService;

      if (!StringUtils.isEmpty(realmUsers)) {

         File realmFile = new File(realmUsers);

         if (realmFile.exists()) {

            logger.info("Setting up login service from " + realmUsers);

            JettyLoginService jettyLoginService = new JettyLoginService(realmFile);

            GitBlit.self().setLoginService(jettyLoginService);

            loginService = jettyLoginService;

         }

      }



      // Determine what handler to use

      Handler handler;

      if (gitServlet != null) {

         if (loginService != null && params.authenticatePushPull) {

            // Authenticate Pull/Push

            String[] roles = new String[] { Constants.PULL_ROLE, Constants.PUSH_ROLE };

            logger.info("Authentication required for git servlet pull/push access");

         if (loginService != null) {

            // Authenticate Clone/Push

            logger.info("Setting up authenticated git servlet clone/push access");



            Constraint constraint = new Constraint();

            constraint.setName("auth");

            constraint.setAuthenticate(true);

            constraint.setRoles(roles);

            constraint.setRoles(new String[] { "*" });



            ConstraintMapping mapping = new ConstraintMapping();

            mapping.setPathSpec(gitServletPathSpec);

@@ -257,9 +280,6 @@


            ConstraintSecurityHandler security = new ConstraintSecurityHandler();

            security.addConstraintMapping(mapping);

            for (String role : roles) {

               security.addRole(role);

            }

            security.setAuthenticator(new BasicAuthenticator());

            security.setLoginService(loginService);

            security.setStrict(false);

@@ -273,16 +293,19 @@
            handler = rootContext;

         }

      } else {

         logger.info("Git servlet pull/push disabled");

         logger.info("Git servlet clone/push disabled");

         handler = rootContext;

      }



      logger.info("Git repositories folder "

            + new File(params.repositoriesFolder).getAbsolutePath());



      // Set the server's contexts

      server.setHandler(handler);



      // Setup the GitBlit context

      GitBlit gitblit = GitBlit.self();

      gitblit.configureContext(fileSettings);

      gitblit.configureContext(settings);

      rootContext.addEventListener(gitblit);



      // Start the Server

@@ -318,67 +341,26 @@
      return connector;

   }



   private static Connector createSSLConnector(File keystore, String password, boolean useNIO, int port) {

   private static Connector createSSLConnector(File keystore, String password, boolean useNIO,

         int port) {

      SslConnector connector;

      if (useNIO) {

         logger.info("Setting up NIO SslSelectChannelConnector on port " + port);

         SslSelectChannelConnector ssl = new SslSelectChannelConnector();

         ssl.setSoLingerTime(-1);

         ssl.setThreadPool(new QueuedThreadPool(20));			
         ssl.setThreadPool(new QueuedThreadPool(20));

         connector = ssl;

      } else {

         logger.info("Setting up NIO SslSocketConnector on port " + port);

         SslSocketConnector ssl = new SslSocketConnector();

         connector = ssl;

      }

      connector.setAllowRenegotiate(true);

      connector.setAllowRenegotiate(false);

      connector.setKeystore(keystore.getAbsolutePath());

      connector.setPassword(password);

      connector.setPort(port);

      connector.setMaxIdleTime(30000);

      return connector;

   }

	
   private static void generateSelfSignedCertificate(String hostname, File keystore, String keystorePassword) {

      try {

         Security.addProvider(new org.bouncycastle.jce.provider.BouncyCastleProvider());



         final String BC = org.bouncycastle.jce.provider.BouncyCastleProvider.PROVIDER_NAME;

			
         KeyPairGenerator kpGen = KeyPairGenerator.getInstance("RSA", "BC");

         kpGen.initialize(1024, new SecureRandom());

         KeyPair pair = kpGen.generateKeyPair();



         // Generate self-signed certificate

         X500NameBuilder builder = new X500NameBuilder(BCStyle.INSTANCE);

         builder.addRDN(BCStyle.OU, Constants.NAME);

         builder.addRDN(BCStyle.O, Constants.NAME);

         builder.addRDN(BCStyle.CN, hostname);



         Date notBefore = new Date(System.currentTimeMillis() - 1*24*60*60*1000l);

         Date notAfter = new Date(System.currentTimeMillis() + 10*365*24*60*60*1000l);

         BigInteger serial = BigInteger.valueOf(System.currentTimeMillis());



         X509v3CertificateBuilder certGen = new JcaX509v3CertificateBuilder(builder.build(), serial, notBefore, notAfter, builder.build(), pair.getPublic());

         ContentSigner sigGen = new JcaContentSignerBuilder("SHA256WithRSAEncryption").setProvider(BC).build(pair.getPrivate());

         X509Certificate cert = new JcaX509CertificateConverter().setProvider(BC).getCertificate(certGen.build(sigGen));

         cert.checkValidity(new Date());

         cert.verify(cert.getPublicKey());



         // Save to keystore			
         KeyStore store = KeyStore.getInstance("JKS");

         if (keystore.exists()) {

            FileInputStream fis = new FileInputStream(keystore);

            store.load(fis, keystorePassword.toCharArray());

         } else {

            store.load(null);

         }

         store.setKeyEntry(hostname, pair.getPrivate(), keystorePassword.toCharArray(), new java.security.cert.Certificate[] { cert });

         store.store(new FileOutputStream(keystore), keystorePassword.toCharArray());

      } catch (Throwable t) {

         t.printStackTrace();

         throw new RuntimeException("Failed to generate self-signed certificate!", t);

      }

   }



   /**

@@ -386,14 +368,16 @@
    * 

    * @param folder

    */

   private static void deleteRecursively(File folder) {

   private static boolean deleteRecursively(File folder) {

      boolean deleted = true;

      for (File file : folder.listFiles()) {

         if (file.isDirectory())

            deleteRecursively(file);

         else

            file.delete();

         if (file.isDirectory()) {

            deleted &= deleteRecursively(file);

         } else {

            deleted &= file.delete();

         }

      }

      folder.delete();

      return deleted && folder.delete();

   }



   private static class ShutdownMonitorThread extends Thread {

@@ -401,6 +385,8 @@
      private final ServerSocket socket;



      private final Server server;



      private final Logger logger = LoggerFactory.getLogger(ShutdownMonitorThread.class);



      public ShutdownMonitorThread(Server server, Params params) {

         this.server = server;

@@ -410,7 +396,7 @@
         try {

            skt = new ServerSocket(params.shutdownPort, 1, InetAddress.getByName("127.0.0.1"));

         } catch (Exception e) {

            logger.warn(e);

            logger.warn("Could not open shutdown monitor on port " + params.shutdownPort, e);

         }

         socket = skt;

      }

@@ -421,11 +407,12 @@
         Socket accept;

         try {

            accept = socket.accept();

            BufferedReader reader = new BufferedReader(new InputStreamReader(accept.getInputStream()));

            BufferedReader reader = new BufferedReader(new InputStreamReader(

                  accept.getInputStream()));

            reader.readLine();

            logger.info(border_star);

            logger.info(Constants.BORDER);

            logger.info("Stopping " + Constants.NAME);

            logger.info(border_star);

            logger.info(Constants.BORDER);

            server.stop();

            server.setStopAtShutdown(false);

            accept.close();

@@ -439,6 +426,8 @@
   @Parameters(separators = " ")

   private static class Params {



      private static final FileSettings FILESETTINGS = new FileSettings(Constants.PROPERTIES_FILE);



      /*

       * Server parameters

       */

@@ -448,44 +437,39 @@
      @Parameter(names = { "--stop" }, description = "Stop Server")

      public Boolean stop = false;



      @Parameter(names = { "--temp" }, description = "Server temp folder")

      public String temp = fileSettings.getString(Keys.server.tempFolder, "temp");

      @Parameter(names = { "--tempFolder" }, description = "Server temp folder")

      public String temp = FILESETTINGS.getString(Keys.server.tempFolder, "temp");



      /*

       * GIT Servlet Parameters

       */

      @Parameter(names = { "--repos" }, description = "Git Repositories Folder")

      public String repositoriesFolder = fileSettings.getString(Keys.git.repositoriesFolder, "repos");



      @Parameter(names = { "--exportAll" }, description = "Export All Found Repositories")

      public Boolean exportAll = fileSettings.getBoolean(Keys.git.exportAll, true);

      @Parameter(names = { "--repositoriesFolder" }, description = "Git Repositories Folder")

      public String repositoriesFolder = FILESETTINGS.getString(Keys.git.repositoriesFolder,

            "repos");



      /*

       * Authentication Parameters

       */

      @Parameter(names = { "--authenticatePushPull" }, description = "Authenticate Git Push/Pull access")

      public Boolean authenticatePushPull = fileSettings.getBoolean(Keys.git.authenticate, true);



      @Parameter(names = { "--realm" }, description = "Users Realm Hash File")

      public String realmFile = fileSettings.getString(Keys.server.realmFile, "users.properties");

      @Parameter(names = { "--realmFile" }, description = "Users Realm Hash File")

      public String realmFile = FILESETTINGS.getString(Keys.realm.realmFile, "users.properties");



      /*

       * JETTY Parameters

       */

      @Parameter(names = { "--nio" }, description = "Use NIO Connector else use Socket Connector.")

      public Boolean useNIO = fileSettings.getBoolean(Keys.server.useNio, true);

      @Parameter(names = { "--useNio" }, description = "Use NIO Connector else use Socket Connector.")

      public Boolean useNIO = FILESETTINGS.getBoolean(Keys.server.useNio, true);



      @Parameter(names = "--port", description = "HTTP port for to serve. (port <= 0 will disable this connector)")

      public Integer port = fileSettings.getInteger(Keys.server.httpPort, 80);

      @Parameter(names = "--httpPort", description = "HTTP port for to serve. (port <= 0 will disable this connector)")

      public Integer port = FILESETTINGS.getInteger(Keys.server.httpPort, 80);



      @Parameter(names = "--securePort", description = "HTTPS port to serve.  (port <= 0 will disable this connector)")

      public Integer securePort = fileSettings.getInteger(Keys.server.httpsPort, 443);

      @Parameter(names = "--httpsPort", description = "HTTPS port to serve.  (port <= 0 will disable this connector)")

      public Integer securePort = FILESETTINGS.getInteger(Keys.server.httpsPort, 443);



      @Parameter(names = "--storePassword", description = "Password for SSL (https) keystore.")

      public String storePassword = fileSettings.getString(Keys.server.storePassword, "");

      public String storePassword = FILESETTINGS.getString(Keys.server.storePassword, "");



      @Parameter(names = "--shutdownPort", description = "Port for Shutdown Monitor to listen on. (port <= 0 will disable this monitor)")

      public Integer shutdownPort = fileSettings.getInteger(Keys.server.shutdownPort, 8081);

      public Integer shutdownPort = FILESETTINGS.getInteger(Keys.server.shutdownPort, 8081);



   }

}