Wie ordne ich einer Datei ohne Git einen Git SHA1 zu?

Soweit ich weiß, wenn Git einer Datei einen SHA1-Hash zuweist, ist dieser SHA1 aufgrund seines Inhalts für die Datei eindeutig.

Wenn eine Datei von einem Repository in ein anderes verschoben wird, bleibt der SHA1 für die Datei unverändert, da sich der Inhalt nicht geändert hat.

Wie berechnet Git den SHA1-Digest? Tut es das mit dem vollständigen unkomprimierten Dateiinhalt?

Ich möchte die Zuweisung von SHA1s außerhalb von Git emulieren.

So berechnet Git den SHA1 für eine Datei (oder, in Git-Begriffen, einen "Blob"):

sha1("blob " + filesize + "\0" + data)

So können Sie es einfach selbst berechnen, ohne Git installiert zu haben. Beachten Sie, dass "\ 0" das NULL-Byte ist und keine zweistellige Zeichenfolge.

Zum Beispiel der Hash einer leeren Datei:

sha1("blob 0\0") = "e69de29bb2d1d6434b8b29ae775ad8c2e48c5391"

$ touch empty
$ git hash-object empty
e69de29bb2d1d6434b8b29ae775ad8c2e48c5391

Ein anderes Beispiel:

sha1("blob 7\0foobar\n") = "323fae03f4606ea9991df8befbb2fca795e648fa"

$ echo "foobar" > foo.txt
$ git hash-object foo.txt 
323fae03f4606ea9991df8befbb2fca795e648fa

Hier ist eine Python-Implementierung:

from hashlib import sha1
def githash(data):
    s = sha1()
    s.update("blob %u\0" % len(data))
    s.update(data)
    return s.hexdigest()

Ein kleiner Leckerbissen: in der Schale

echo -en "blob ${#CONTENTS}\0$CONTENTS" | sha1sum

Sie können eine Bash-Shell-Funktion erstellen, um sie ganz einfach zu berechnen, wenn Sie kein Git installiert haben.

git_id () { printf 'blob %s\0' "$(ls -l "$1" | awk '{print $5;}')" | cat - "$1" | sha1sum | awk '{print $1}'; }

Schauen Sie sich die Manpage für Git-Hash-Objekt an . Sie können es verwenden, um den Git-Hash einer bestimmten Datei zu berechnen. Ich denke, dass git mehr als nur den Inhalt der Datei in den Hash-Algorithmus einspeist, aber ich weiß es nicht genau, und wenn es zusätzliche Daten einspeist, weiß ich nicht, was es ist.

/// Calculates the SHA1 for a given string
let calcSHA1 (text:string) =
    text 
      |> System.Text.Encoding.ASCII.GetBytes
      |> (new System.Security.Cryptography.SHA1CryptoServiceProvider()).ComputeHash
      |> Array.fold (fun acc e -> 
           let t = System.Convert.ToString(e, 16)
           if t.Length = 1 then acc + "0" + t else acc + t) 
           ""
/// Calculates the SHA1 like git
let calcGitSHA1 (text:string) =
    let s = text.Replace("\r\n","\n")
    sprintf "blob %d%c%s" (s.Length) (char 0) s
      |> calcSHA1

Dies ist eine Lösung in F #.

Vollständige Python3-Implementierung:

import os
from hashlib import sha1

def hashfile(filepath):
    filesize_bytes = os.path.getsize(filepath)

    s = sha1()
    s.update(b"blob %u\0" % filesize_bytes)

    with open(filepath, 'rb') as f:
        s.update(f.read())

    return s.hexdigest() 

In Perl:

#!/usr/bin/env perl
use Digest::SHA1;

my $content = do { local $/ = undef; <> };
print Digest::SHA1->new->add('blob '.length($content)."\0".$content)->hexdigest(), "\n";

Als Shell-Befehl:

perl -MDigest::SHA1 -E '$/=undef;$_=<>;say Digest::SHA1->new->add("blob ".length()."\0".$_)->hexdigest' < file

Und in Perl (siehe auch Git :: PurePerl unter http://search.cpan.org/dist/Git-PurePerl/ )

use strict;
use warnings;
use Digest::SHA1;

my @input = <>;

my $content = join("", @input);

my $git_blob = 'blob' . ' ' . length($content) . "\0" . $content;

my $sha1 = Digest::SHA1->new();

$sha1->add($git_blob);

print $sha1->hexdigest();

Mit Ruby können Sie Folgendes tun:

require 'digest/sha1'

def git_hash(file)
  data = File.read(file)
  size = data.bytesize.to_s
  Digest::SHA1.hexdigest('blob ' + size + "\0" + data)
end

Ein kleines Bash-Skript, das identische Ausgaben erzeugen sollte wie git hash-object:

#!/bin/sh
( 
    echo -en 'blob '"$(stat -c%s "$1")"'\0';
    cat "$1" 
) | sha1sum | cut -d\  -f 1

In JavaScript

const crypto = require('crypto')
const bytes = require('utf8-bytes')

function sha1(data) {
    const shasum = crypto.createHash('sha1')
    shasum.update(data)
    return shasum.digest('hex')
}

function shaGit(data) {
    const total_bytes = bytes(data).length
    return sha1(`blob ${total_bytes}\0${data}`)
}

Es ist interessant festzustellen, dass Git offensichtlich am Ende der Daten ein Zeilenumbruchzeichen hinzufügt, bevor sie gehasht werden. Eine Datei, die nichts als "Hallo Welt!" bekommt einen Blob-Hash von 980a0d5 ..., der der gleiche ist wie dieser:

$ php -r 'echo sha1("blob 13" . chr(0) . "Hello World!\n") , PHP_EOL;'