]> git.stg.codes - stg.git/blob - stglibs/crypto.lib/ag_md5.c
Produce debug output only if SMUX_DEBUG is defined
[stg.git] / stglibs / crypto.lib / ag_md5.c
1
2 #ifdef WIN32
3 #include <process.h>
4 #include <windows.h>
5 #else
6 #include <sys/time.h>
7 #include <unistd.h>
8 #endif
9
10 #include <time.h>
11 #include <stdio.h>
12 #include <stdlib.h>
13 #include <string.h>
14 #include "ag_md5.h"
15
16
17 #define F1(x, y, z) (z ^ (x & (y ^ z)))
18 #define F2(x, y, z) F1(z, x, y)
19 #define F3(x, y, z) (x ^ y ^ z)
20 #define F4(x, y, z) (y ^ (x | ~z))
21
22 #define MD5STEP(f, w, x, y, z, data, s) \
23     ( w += f(x, y, z) + data,  w = w<<s | w>>(32-s),  w += x )
24
25
26 int i64c(int i)
27 {
28     if (i <= 0)
29         return ('.');
30
31     if (i == 1)
32         return ('/');
33
34     if (i >= 2 && i < 12)
35         return ('0' - 2 + i);
36
37     if (i >= 12 && i < 38)
38         return ('A' - 12 + i);
39
40     if (i >= 38 && i < 63)
41         return ('a' - 38 + i);
42
43     return ('z');
44 }
45
46 char * l64a_(long l)
47 {
48     static  char    buf[8];
49     int i = 0;
50
51     if (l < 0L)
52         return ((char *) 0);
53
54     do {
55         buf[i++] = i64c ((int) (l % 64));
56         buf[i] = '\0';
57     } while (l /= 64L, l > 0 && i < 6);
58
59     return (buf);
60 }
61
62 char * crypt_make_salt(void)
63 {
64
65     static char result[40];
66     #ifdef WIN32
67     unsigned int tsec;
68     #else
69     struct timeval tv;
70     #endif
71
72     result[0] = '\0';
73         strcpy(result, "$1$");  /* magic for the new MD5 crypt() */
74
75     /*
76      * Generate 8 chars of salt, the old crypt() will use only first 2.
77      */
78     #ifdef WIN32
79     strcat(result, l64a_(GetTickCount()));
80     tsec = time(NULL);
81     strcat(result, l64a_(tsec + getpid() + clock()));
82     #else
83     gettimeofday(&tv, (struct timezone *) 0);
84     strcat(result, l64a_(tv.tv_usec));
85     strcat(result, l64a_(tv.tv_sec + getpid() + clock()));
86     #endif
87
88     if (strlen(result) > 3 + 8)  /* magic+salt */
89         result[11] = '\0';
90
91     return result;
92 }
93
94 void byteReverse(unsigned char *buf, unsigned longs)
95 {
96     uint32_t t;
97     do {
98     t = (uint32_t) ((unsigned) buf[3] << 8 | buf[2]) << 16 |
99         ((unsigned) buf[1] << 8 | buf[0]);
100     *(uint32_t *) buf = t;
101     buf += 4;
102     } while (--longs);
103 }
104
105 /*
106  * Start MD5 accumulation.  Set bit count to 0 and buffer to mysterious
107  * initialization constants.
108  */
109 void MD5Init(struct MD5Context *ctx)
110 {
111     ctx->buf[0] = 0x67452301;
112     ctx->buf[1] = 0xefcdab89;
113     ctx->buf[2] = 0x98badcfe;
114     ctx->buf[3] = 0x10325476;
115
116     ctx->bits[0] = 0;
117     ctx->bits[1] = 0;
118 }
119
120 /*
121  * Update context to reflect the concatenation of another buffer full
122  * of bytes.
123  */
124 void MD5Update(struct MD5Context *ctx, char const *buf, unsigned len)
125 {
126     uint32_t t;
127
128     /* Update bitcount */
129
130     t = ctx->bits[0];
131     if ((ctx->bits[0] = t + ((uint32_t) len << 3)) < t)
132     ctx->bits[1]++;     /* Carry from low to high */
133     ctx->bits[1] += len >> 29;
134
135     t = (t >> 3) & 0x3f;    /* Bytes already in shsInfo->data */
136
137     /* Handle any leading odd-sized chunks */
138
139     if (t) {
140     unsigned char *p = (unsigned char *) ctx->in + t;
141
142     t = 64 - t;
143     if (len < t) {
144         memcpy(p, buf, len);
145         return;
146     }
147     memcpy(p, buf, t);
148     byteReverse(ctx->in, 16);
149     MD5Transform(ctx->buf, (uint32_t *) ctx->in);
150     buf += t;
151     len -= t;
152     }
153     /* Process data in 64-byte chunks */
154
155     while (len >= 64) {
156     memcpy(ctx->in, buf, 64);
157     byteReverse(ctx->in, 16);
158     MD5Transform(ctx->buf, (uint32_t *) ctx->in);
159     buf += 64;
160     len -= 64;
161     }
162
163     /* Handle any remaining bytes of data. */
164
165     memcpy(ctx->in, buf, len);
166 }
167
168 /*
169  * Final wrapup - pad to 64-byte boundary with the bit pattern
170  * 1 0* (64-bit count of bits processed, MSB-first)
171  */
172 void
173 MD5Final(unsigned char digest[16], struct MD5Context *ctx)
174 {
175     unsigned count;
176     unsigned char *p;
177
178     /* Compute number of bytes mod 64 */
179     count = (ctx->bits[0] >> 3) & 0x3F;
180
181     /* Set the first char of padding to 0x80.  This is safe since there is
182        always at least one byte free */
183     p = ctx->in + count;
184     *p++ = 0x80;
185
186     /* Bytes of padding needed to make 64 bytes */
187     count = 64 - 1 - count;
188
189     /* Pad out to 56 mod 64 */
190     if (count < 8) {
191     /* Two lots of padding:  Pad the first block to 64 bytes */
192     memset(p, 0, count);
193     byteReverse(ctx->in, 16);
194     MD5Transform(ctx->buf, (uint32_t *) ctx->in);
195
196     /* Now fill the next block with 56 bytes */
197     memset(ctx->in, 0, 56);
198     } else {
199     /* Pad block to 56 bytes */
200     memset(p, 0, count - 8);
201     }
202     byteReverse(ctx->in, 14);
203
204     /* Append length in bits and transform */
205     ((uint32_t *) ctx->in)[14] = ctx->bits[0];
206     ((uint32_t *) ctx->in)[15] = ctx->bits[1];
207
208     MD5Transform(ctx->buf, (uint32_t *) ctx->in);
209     byteReverse((unsigned char *) ctx->buf, 4);
210     memcpy(digest, ctx->buf, 16);
211     memset((char *) ctx, 0, sizeof(ctx));   /* In case it's sensitive */
212 }
213
214 /*
215  * The core of the MD5 algorithm, this alters an existing MD5 hash to
216  * reflect the addition of 16 longwords of new data.  MD5Update blocks
217  * the data and converts bytes into longwords for this routine.
218  */
219 void
220 MD5Transform(uint32_t buf[4], uint32_t const in[16])
221 {
222     register uint32_t a, b, c, d;
223
224     a = buf[0];
225     b = buf[1];
226     c = buf[2];
227     d = buf[3];
228
229     MD5STEP(F1, a, b, c, d, in[0] + 0xd76aa478, 7);
230     MD5STEP(F1, d, a, b, c, in[1] + 0xe8c7b756, 12);
231     MD5STEP(F1, c, d, a, b, in[2] + 0x242070db, 17);
232     MD5STEP(F1, b, c, d, a, in[3] + 0xc1bdceee, 22);
233     MD5STEP(F1, a, b, c, d, in[4] + 0xf57c0faf, 7);
234     MD5STEP(F1, d, a, b, c, in[5] + 0x4787c62a, 12);
235     MD5STEP(F1, c, d, a, b, in[6] + 0xa8304613, 17);
236     MD5STEP(F1, b, c, d, a, in[7] + 0xfd469501, 22);
237     MD5STEP(F1, a, b, c, d, in[8] + 0x698098d8, 7);
238     MD5STEP(F1, d, a, b, c, in[9] + 0x8b44f7af, 12);
239     MD5STEP(F1, c, d, a, b, in[10] + 0xffff5bb1, 17);
240     MD5STEP(F1, b, c, d, a, in[11] + 0x895cd7be, 22);
241     MD5STEP(F1, a, b, c, d, in[12] + 0x6b901122, 7);
242     MD5STEP(F1, d, a, b, c, in[13] + 0xfd987193, 12);
243     MD5STEP(F1, c, d, a, b, in[14] + 0xa679438e, 17);
244     MD5STEP(F1, b, c, d, a, in[15] + 0x49b40821, 22);
245
246     MD5STEP(F2, a, b, c, d, in[1] + 0xf61e2562, 5);
247     MD5STEP(F2, d, a, b, c, in[6] + 0xc040b340, 9);
248     MD5STEP(F2, c, d, a, b, in[11] + 0x265e5a51, 14);
249     MD5STEP(F2, b, c, d, a, in[0] + 0xe9b6c7aa, 20);
250     MD5STEP(F2, a, b, c, d, in[5] + 0xd62f105d, 5);
251     MD5STEP(F2, d, a, b, c, in[10] + 0x02441453, 9);
252     MD5STEP(F2, c, d, a, b, in[15] + 0xd8a1e681, 14);
253     MD5STEP(F2, b, c, d, a, in[4] + 0xe7d3fbc8, 20);
254     MD5STEP(F2, a, b, c, d, in[9] + 0x21e1cde6, 5);
255     MD5STEP(F2, d, a, b, c, in[14] + 0xc33707d6, 9);
256     MD5STEP(F2, c, d, a, b, in[3] + 0xf4d50d87, 14);
257     MD5STEP(F2, b, c, d, a, in[8] + 0x455a14ed, 20);
258     MD5STEP(F2, a, b, c, d, in[13] + 0xa9e3e905, 5);
259     MD5STEP(F2, d, a, b, c, in[2] + 0xfcefa3f8, 9);
260     MD5STEP(F2, c, d, a, b, in[7] + 0x676f02d9, 14);
261     MD5STEP(F2, b, c, d, a, in[12] + 0x8d2a4c8a, 20);
262
263     MD5STEP(F3, a, b, c, d, in[5] + 0xfffa3942, 4);
264     MD5STEP(F3, d, a, b, c, in[8] + 0x8771f681, 11);
265     MD5STEP(F3, c, d, a, b, in[11] + 0x6d9d6122, 16);
266     MD5STEP(F3, b, c, d, a, in[14] + 0xfde5380c, 23);
267     MD5STEP(F3, a, b, c, d, in[1] + 0xa4beea44, 4);
268     MD5STEP(F3, d, a, b, c, in[4] + 0x4bdecfa9, 11);
269     MD5STEP(F3, c, d, a, b, in[7] + 0xf6bb4b60, 16);
270     MD5STEP(F3, b, c, d, a, in[10] + 0xbebfbc70, 23);
271     MD5STEP(F3, a, b, c, d, in[13] + 0x289b7ec6, 4);
272     MD5STEP(F3, d, a, b, c, in[0] + 0xeaa127fa, 11);
273     MD5STEP(F3, c, d, a, b, in[3] + 0xd4ef3085, 16);
274     MD5STEP(F3, b, c, d, a, in[6] + 0x04881d05, 23);
275     MD5STEP(F3, a, b, c, d, in[9] + 0xd9d4d039, 4);
276     MD5STEP(F3, d, a, b, c, in[12] + 0xe6db99e5, 11);
277     MD5STEP(F3, c, d, a, b, in[15] + 0x1fa27cf8, 16);
278     MD5STEP(F3, b, c, d, a, in[2] + 0xc4ac5665, 23);
279
280     MD5STEP(F4, a, b, c, d, in[0] + 0xf4292244, 6);
281     MD5STEP(F4, d, a, b, c, in[7] + 0x432aff97, 10);
282     MD5STEP(F4, c, d, a, b, in[14] + 0xab9423a7, 15);
283     MD5STEP(F4, b, c, d, a, in[5] + 0xfc93a039, 21);
284     MD5STEP(F4, a, b, c, d, in[12] + 0x655b59c3, 6);
285     MD5STEP(F4, d, a, b, c, in[3] + 0x8f0ccc92, 10);
286     MD5STEP(F4, c, d, a, b, in[10] + 0xffeff47d, 15);
287     MD5STEP(F4, b, c, d, a, in[1] + 0x85845dd1, 21);
288     MD5STEP(F4, a, b, c, d, in[8] + 0x6fa87e4f, 6);
289     MD5STEP(F4, d, a, b, c, in[15] + 0xfe2ce6e0, 10);
290     MD5STEP(F4, c, d, a, b, in[6] + 0xa3014314, 15);
291     MD5STEP(F4, b, c, d, a, in[13] + 0x4e0811a1, 21);
292     MD5STEP(F4, a, b, c, d, in[4] + 0xf7537e82, 6);
293     MD5STEP(F4, d, a, b, c, in[11] + 0xbd3af235, 10);
294     MD5STEP(F4, c, d, a, b, in[2] + 0x2ad7d2bb, 15);
295     MD5STEP(F4, b, c, d, a, in[9] + 0xeb86d391, 21);
296
297     buf[0] += a;
298     buf[1] += b;
299     buf[2] += c;
300     buf[3] += d;
301 }
302
303 static unsigned char itoa64[] =     /* 0 ... 63 => ascii - 64 */
304     "./0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz";
305
306 static void
307 to64(char *s, unsigned long v, int n)
308 {
309     while (--n >= 0) {
310         *s++ = itoa64[v&0x3f];
311         v >>= 6;
312     }
313 }
314
315 /*
316  * UNIX password
317  *
318  * Use MD5 for what it is best at...
319  */
320
321 char *
322 libshadow_md5_crypt(const char *pw, const char *salt)
323 {
324     static const char *magic = "$1$"; /*
325                          * This string is magic for
326                          * this algorithm.  Having
327                          * it this way, we can get
328                          * get better later on
329                          */
330     static char     passwd[120], *p;
331     static const char *sp,*ep;
332     unsigned char   final[16];
333     int sl,pl,i,j;
334     MD5_CTX ctx,ctx1;
335     unsigned long l;
336
337     /* Refine the Salt first */
338     sp = salt;
339
340     /* If it starts with the magic string, then skip that */
341     if(!strncmp(sp,magic,strlen(magic)))
342         sp += strlen(magic);
343
344     /* It stops at the first '$', max 8 chars */
345     for(ep=sp;*ep && *ep != '$' && ep < (sp+8);ep++)
346         continue;
347
348     /* get the length of the true salt */
349     sl = ep - sp;
350
351     MD5Init(&ctx);
352
353     /* The password first, since that is what is most unknown */
354     MD5Update(&ctx, pw, strlen(pw));
355
356     /* Then our magic string */
357     MD5Update(&ctx, magic, strlen(magic));
358
359     /* Then the raw salt */
360     MD5Update(&ctx, sp, sl);
361
362     /* Then just as many characters of the MD5(pw,salt,pw) */
363     MD5Init(&ctx1);
364     MD5Update(&ctx1,pw,strlen(pw));
365     MD5Update(&ctx1,sp,sl);
366     MD5Update(&ctx1,pw,strlen(pw));
367     MD5Final(final,&ctx1);
368     for(pl = strlen(pw); pl > 0; pl -= 16)
369         MD5Update(&ctx, (char*)final, pl>16 ? 16 : pl);
370
371     /* Don't leave anything around in vm they could use. */
372     memset(final,0,sizeof final);
373
374     /* Then something really weird... */
375     for (j=0,i = strlen(pw); i ; i >>= 1)
376         if(i&1)
377             MD5Update(&ctx, (char*)final+j, 1);
378         else
379             MD5Update(&ctx, pw+j, 1);
380
381     /* Now make the output string */
382     strcpy(passwd,magic);
383     strncat(passwd,sp,sl);
384     strcat(passwd,"$");
385
386     MD5Final(final,&ctx);
387
388     /*
389      * and now, just to make sure things don't run too fast
390      * On a 60 Mhz Pentium this takes 34 msec, so you would
391      * need 30 seconds to build a 1000 entry dictionary...
392          */
393         /*
394     for(i=0;i<1000;i++) {
395         MD5Init(&ctx1);
396         if(i & 1)
397             MD5Update(&ctx1,pw,strlen(pw));
398         else
399             MD5Update(&ctx1,final,16);
400
401         if(i % 3)
402             MD5Update(&ctx1,sp,sl);
403
404         if(i % 7)
405             MD5Update(&ctx1,pw,strlen(pw));
406
407         if(i & 1)
408             MD5Update(&ctx1,final,16);
409         else
410             MD5Update(&ctx1,pw,strlen(pw));
411         MD5Final(final,&ctx1);
412     }*/
413
414     p = passwd + strlen(passwd);
415
416     l = (final[ 0]<<16) | (final[ 6]<<8) | final[12]; to64(p,l,4); p += 4;
417     l = (final[ 1]<<16) | (final[ 7]<<8) | final[13]; to64(p,l,4); p += 4;
418     l = (final[ 2]<<16) | (final[ 8]<<8) | final[14]; to64(p,l,4); p += 4;
419     l = (final[ 3]<<16) | (final[ 9]<<8) | final[15]; to64(p,l,4); p += 4;
420     l = (final[ 4]<<16) | (final[10]<<8) | final[ 5]; to64(p,l,4); p += 4;
421     l =                    final[11]                ; to64(p,l,2); p += 2;
422     *p = '\0';
423
424     /* Don't leave anything around in vm they could use. */
425     memset(final,0,sizeof final);
426
427     return passwd;
428 }
429
430 char *pw_encrypt(const char *clear, const char *salt) {
431
432     /*
433      * If the salt string from the password file or from crypt_make_salt()
434      * begins with the magic string, use the new algorithm.
435      */
436     if (strncmp(salt, "$1$", 3) == 0)
437             return(libshadow_md5_crypt(clear, salt));
438         else return(NULL);
439
440 }
441 /* AG MD5 functions */
442 char *make_ag_hash(time_t salt, const char *clear) {
443     char salt_str[20];
444     char *res=NULL;
445     char *p;
446
447     unsigned long slt = salt;
448     sprintf(salt_str, "$1$%08lx", slt);
449     res=libshadow_md5_crypt(clear, salt_str);
450     p=strrchr(res, '$');
451     return(++p);
452 }
453
454 int check_ag_hash(time_t salt, const char *clear, const char *hash) {
455     return(strcmp(hash, make_ag_hash(salt, clear)));
456 }
457