d64a3417a5fca6827a1c6d7c4eb234dee18d1e23
[ikiwiki.git] / ikiwiki
1 #!/usr/bin/perl -T
2
3 use warnings;
4 use strict;
5 use File::Find;
6 use Memoize;
7 use File::Spec;
8
9 $ENV{PATH}="/usr/local/bin:/usr/bin:/bin";
10
11 BEGIN {
12         $blosxom::version="is a proper perl module too much to ask?";
13         do "/usr/bin/markdown";
14 }
15
16 my ($srcdir, $destdir, %links, %oldlinks, %oldpagemtime, %renderedfiles,
17     %pagesources);
18 my $wiki_link_regexp=qr/\[\[([^\s]+)\]\]/;
19 my $wiki_file_regexp=qr/(^[-A-Za-z0-9_.:\/+]+$)/;
20 my $wiki_file_prune_regexp=qr!((^|/).svn/|\.\.|^\.|\/\.|\.html?$)!;
21 my $verbose=0;
22 my $wikiname="wiki";
23 my $default_pagetype=".mdwn";
24 my $cgi=0;
25 my $url="";
26 my $cgiurl="";
27 my $svn=1;
28
29 sub usage {
30         die "usage: ikiwiki [options] source dest\n";
31 }
32
33 sub error ($) {
34         if ($cgi) {
35                 print "Content-type: text/html\n\n";
36                 print "Error: @_\n";
37                 exit 1;
38         }
39         else {
40                 die @_;
41         }
42 }
43
44 sub debug ($) {
45         print "@_\n" if $verbose;
46 }
47
48 sub mtime ($) {
49         my $page=shift;
50         
51         return (stat($page))[9];
52 }
53
54 sub possibly_foolish_untaint ($) {
55         my $tainted=shift;
56         my ($untainted)=$tainted=~/(.*)/;
57         return $untainted;
58 }
59
60 sub basename {
61         my $file=shift;
62
63         $file=~s!.*/!!;
64         return $file;
65 }
66
67 sub dirname {
68         my $file=shift;
69
70         $file=~s!/?[^/]+$!!;
71         return $file;
72 }
73
74 sub pagetype ($) {
75         my $page=shift;
76         
77         if ($page =~ /\.mdwn$/) {
78                 return ".mdwn";
79         }
80         else {
81                 return "unknown";
82         }
83 }
84
85 sub pagename ($) {
86         my $file=shift;
87
88         my $type=pagetype($file);
89         my $page=$file;
90         $page=~s/\Q$type\E*$// unless $type eq 'unknown';
91         return $page;
92 }
93
94 sub htmlpage ($) {
95         my $page=shift;
96
97         return $page.".html";
98 }
99
100 sub readfile ($) {
101         my $file=shift;
102
103         local $/=undef;
104         open (IN, "$file") || error("failed to read $file: $!");
105         my $ret=<IN>;
106         close IN;
107         return $ret;
108 }
109
110 sub writefile ($$) {
111         my $file=shift;
112         my $content=shift;
113
114         my $dir=dirname($file);
115         if (! -d $dir) {
116                 my $d="";
117                 foreach my $s (split(m!/+!, $dir)) {
118                         $d.="$s/";
119                         if (! -d $d) {
120                                 mkdir($d) || error("failed to create directory $d: $!");
121                         }
122                 }
123         }
124         
125         open (OUT, ">$file") || error("failed to write $file: $!");
126         print OUT $content;
127         close OUT;
128 }
129
130 sub findlinks {
131         my $content=shift;
132
133         my @links;
134         while ($content =~ /$wiki_link_regexp/g) {
135                 push @links, lc($1);
136         }
137         return @links;
138 }
139
140 # Given a page and the text of a link on the page, determine which existing
141 # page that link best points to. Prefers pages under a subdirectory with
142 # the same name as the source page, failing that goes down the directory tree
143 # to the base looking for matching pages.
144 sub bestlink ($$) {
145         my $page=shift;
146         my $link=lc(shift);
147         
148         my $cwd=$page;
149         do {
150                 my $l=$cwd;
151                 $l.="/" if length $l;
152                 $l.=$link;
153
154                 if (exists $links{$l}) {
155                         #debug("for $page, \"$link\", use $l");
156                         return $l;
157                 }
158         } while $cwd=~s!/?[^/]+$!!;
159
160         #print STDERR "warning: page $page, broken link: $link\n";
161         return "";
162 }
163
164 sub isinlinableimage ($) {
165         my $file=shift;
166         
167         $file=~/\.(png|gif|jpg|jpeg)$/;
168 }
169
170 sub htmllink ($$) {
171         my $page=shift;
172         my $link=shift;
173
174         my $bestlink=bestlink($page, $link);
175
176         return $link if $page eq $bestlink;
177         
178         # TODO BUG: %renderedfiles may not have it, if the linked to page
179         # was also added and isn't yet rendered! Note that this bug is
180         # masked by the bug mentioned below that makes all new files
181         # be rendered twice.
182         if (! grep { $_ eq $bestlink } values %renderedfiles) {
183                 $bestlink=htmlpage($bestlink);
184         }
185         if (! grep { $_ eq $bestlink } values %renderedfiles) {
186                 return "<a href=\"$cgiurl?do=create&page=$link&from=$page\">?</a>$link"
187         }
188         
189         $bestlink=File::Spec->abs2rel($bestlink, dirname($page));
190         
191         if (isinlinableimage($bestlink)) {
192                 return "<img src=\"$bestlink\">";
193         }
194         return "<a href=\"$bestlink\">$link</a>";
195 }
196
197 sub linkify ($$) {
198         my $content=shift;
199         my $file=shift;
200
201         $content =~ s/$wiki_link_regexp/htmllink(pagename($file), $1)/eg;
202         
203         return $content;
204 }
205
206 sub htmlize ($$) {
207         my $type=shift;
208         my $content=shift;
209         
210         if ($type eq '.mdwn') {
211                 return Markdown::Markdown($content);
212         }
213         else {
214                 error("htmlization of $type not supported");
215         }
216 }
217
218 sub linkbacks ($$) {
219         my $content=shift;
220         my $page=shift;
221
222         my @links;
223         foreach my $p (keys %links) {
224                 next if bestlink($page, $p) eq $page;
225                 if (grep { length $_ && bestlink($p, $_) eq $page } @{$links{$p}}) {
226                         my $href=File::Spec->abs2rel(htmlpage($p), dirname($page));
227                         
228                         # Trim common dir prefixes from both pages.
229                         my $p_trimmed=$p;
230                         my $page_trimmed=$page;
231                         my $dir;
232                         1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
233                                 defined $dir &&
234                                 $p_trimmed=~s/^\Q$dir\E// &&
235                                 $page_trimmed=~s/^\Q$dir\E//;
236                                        
237                         push @links, "<a href=\"$href\">$p_trimmed</a>";
238                 }
239         }
240
241         $content.="<hr><p>Links: ".join(" ", sort @links)."</p>\n" if @links;
242         return $content;
243 }
244
245 sub finalize ($$) {
246         my $content=shift;
247         my $page=shift;
248
249         my $title=basename($page);
250         $title=~s/_/ /g;
251         
252         my $pagelink="";
253         my $path="";
254         foreach my $dir (reverse split("/", $page)) {
255                 if (length($pagelink)) {
256                         $pagelink="<a href=\"$path$dir.html\">$dir</a>/ $pagelink";
257                 }
258                 else {
259                         $pagelink=$dir;
260                 }
261                 $path.="../";
262         }
263         $path=~s/\.\.\/$/index.html/;
264         $pagelink="<a href=\"$path\">$wikiname</a>/ $pagelink";
265         
266         my @actions;
267         if (length $cgiurl) {
268                 push @actions, "<a href=\"$cgiurl?do=edit&page=$page\">Edit</a>";
269                 push @actions, "<a href=\"$cgiurl?do=recentchanges\">RecentChanges</a>";
270         }
271         
272         $content="<html>\n<head><title>$title</title></head>\n<body>\n".
273                   "<h1>$pagelink</h1>\n".
274                   "@actions\n<hr>\n".
275                   $content.
276                   "</body>\n</html>\n";
277         
278         return $content;
279 }
280
281 sub render ($) {
282         my $file=shift;
283         
284         my $type=pagetype($file);
285         my $content=readfile("$srcdir/$file");
286         if ($type ne 'unknown') {
287                 my $page=pagename($file);
288                 
289                 $links{$page}=[findlinks($content)];
290                 
291                 $content=linkify($content, $file);
292                 $content=htmlize($type, $content);
293                 $content=linkbacks($content, $page);
294                 $content=finalize($content, $page);
295                 
296                 writefile("$destdir/".htmlpage($page), $content);
297                 $oldpagemtime{$page}=time;
298                 $renderedfiles{$page}=htmlpage($page);
299         }
300         else {
301                 $links{$file}=[];
302                 writefile("$destdir/$file", $content);
303                 $oldpagemtime{$file}=time;
304                 $renderedfiles{$file}=$file;
305         }
306 }
307
308 sub loadindex () {
309         open (IN, "$srcdir/.index") || return;
310         while (<IN>) {
311                 $_=possibly_foolish_untaint($_);
312                 chomp;
313                 my ($mtime, $file, $rendered, @links)=split(' ', $_);
314                 my $page=pagename($file);
315                 $pagesources{$page}=$file;
316                 $oldpagemtime{$page}=$mtime;
317                 $oldlinks{$page}=[@links];
318                 $links{$page}=[@links];
319                 $renderedfiles{$page}=$rendered;
320         }
321         close IN;
322 }       
323
324 sub saveindex () {
325         open (OUT, ">$srcdir/.index") || error("cannot write to .index: $!");
326         foreach my $page (keys %oldpagemtime) {
327         print OUT "$oldpagemtime{$page} $pagesources{$page} $renderedfiles{$page} ".
328                   join(" ", @{$links{$page}})."\n"
329                         if $oldpagemtime{$page};
330         }
331         close OUT;
332 }
333
334 sub rcs_update () {
335         if (-d "$srcdir/.svn") {
336                 if (system("svn", "update", "--quiet", $srcdir) != 0) {
337                         warn("svn update failed\n");
338                 }
339         }
340 }
341
342 sub rcs_commit ($) {
343         my $message=shift;
344
345         if (-d "$srcdir/.svn") {
346                 if (system("svn", "commit", "--quiet", "-m",
347                            possibly_foolish_untaint($message), $srcdir) != 0) {
348                         warn("svn commit failed\n");
349                 }
350         }
351 }
352
353 sub rcs_add ($) {
354         my $file=shift;
355
356         if (-d "$srcdir/.svn") {
357                 my $parent=dirname($file);
358                 while (! -d "$srcdir/$parent/.svn") {
359                         $file=$parent;
360                         $parent=dirname($file);
361                 }
362                 
363                 if (system("svn", "add", "--quiet", $file) != 0) {
364                         warn("svn add failed\n");
365                 }
366         }
367 }
368
369 sub prune ($) {
370         my $file=shift;
371
372         unlink($file);
373         my $dir=dirname($file);
374         while (rmdir($dir)) {
375                 $dir=dirname($dir);
376         }
377 }
378
379 sub refresh () {
380         # Find existing pages.
381         my %exists;
382         my @files;
383         find({
384                 no_chdir => 1,
385                 wanted => sub {
386                         if (/$wiki_file_prune_regexp/) {
387                                 $File::Find::prune=1;
388                         }
389                         elsif (! -d $_) {
390                                 my ($f)=/$wiki_file_regexp/; # untaint
391                                 if (! defined $f) {
392                                         warn("skipping bad filename $_\n");
393                                 }
394                                 else {
395                                         $f=~s/^\Q$srcdir\E\/?//;
396                                         push @files, $f;
397                                         $exists{pagename($f)}=1;
398                                 }
399                         }
400                 },
401         }, $srcdir);
402
403         my %rendered;
404
405         # check for added or removed pages
406         my @add;
407         foreach my $file (@files) {
408                 my $page=pagename($file);
409                 if (! $oldpagemtime{$page}) {
410                         debug("new page $page");
411                         push @add, $file;
412                         $links{$page}=[];
413                         $pagesources{$page}=$file;
414                 }
415         }
416         my @del;
417         foreach my $page (keys %oldpagemtime) {
418                 if (! $exists{$page}) {
419                         debug("removing old page $page");
420                         push @del, $renderedfiles{$page};
421                         prune($destdir."/".$renderedfiles{$page});
422                         delete $renderedfiles{$page};
423                         $oldpagemtime{$page}=0;
424                         delete $pagesources{$page};
425                 }
426         }
427         
428         # render any updated files
429         foreach my $file (@files) {
430                 my $page=pagename($file);
431                 
432                 if (! exists $oldpagemtime{$page} ||
433                     mtime("$srcdir/$file") > $oldpagemtime{$page}) {
434                         debug("rendering changed file $file");
435                         render($file);
436                         $rendered{$file}=1;
437                 }
438         }
439         
440         # if any files were added or removed, check to see if each page
441         # needs an update due to linking to them
442         # TODO: inefficient; pages may get rendered above and again here;
443         # problem is the bestlink may have changed and we won't know until
444         # now
445         if (@add || @del) {
446 FILE:           foreach my $file (@files) {
447                         my $page=pagename($file);
448                         foreach my $f (@add, @del) {
449                                 my $p=pagename($f);
450                                 foreach my $link (@{$links{$page}}) {
451                                         if (bestlink($page, $link) eq $p) {
452                                                 debug("rendering $file, which links to $p");
453                                                 render($file);
454                                                 $rendered{$file}=1;
455                                                 next FILE;
456                                         }
457                                 }
458                         }
459                 }
460         }
461
462         # handle linkbacks; if a page has added/removed links, update the
463         # pages it links to
464         # TODO: inefficient; pages may get rendered above and again here;
465         # problem is the linkbacks could be wrong in the first pass render
466         # above
467         if (%rendered) {
468                 my %linkchanged;
469                 foreach my $file (keys %rendered, @del) {
470                         my $page=pagename($file);
471                         if (exists $links{$page}) {
472                                 foreach my $link (@{$links{$page}}) {
473                                         $link=bestlink($page, $link);
474                                         if (length $link &&
475                                             ! exists $oldlinks{$page} ||
476                                             ! grep { $_ eq $link } @{$oldlinks{$page}}) {
477                                                 $linkchanged{$link}=1;
478                                         }
479                                 }
480                         }
481                         if (exists $oldlinks{$page}) {
482                                 foreach my $link (@{$oldlinks{$page}}) {
483                                         $link=bestlink($page, $link);
484                                         if (length $link &&
485                                             ! exists $links{$page} ||
486                                             ! grep { $_ eq $link } @{$links{$page}}) {
487                                                 $linkchanged{$link}=1;
488                                         }
489                                 }
490                         }
491                 }
492                 foreach my $link (keys %linkchanged) {
493                         my $linkfile=$pagesources{$link};
494                         if (defined $linkfile) {
495                                 debug("rendering $linkfile, to update its linkbacks");
496                                 render($linkfile);
497                         }
498                 }
499         }
500 }
501
502 # Generates a C wrapper program for running ikiwiki in a specific way.
503 # The wrapper may be safely made suid.
504 sub gen_wrapper ($$) {
505         my ($svn, $rebuild)=@_;
506
507         eval {use Cwd 'abs_path'};
508         $srcdir=abs_path($srcdir);
509         $destdir=abs_path($destdir);
510         my $this=abs_path($0);
511         if (! -x $this) {
512                 error("$this doesn't seem to be executable");
513         }
514
515         my @params=($srcdir, $destdir, "--wikiname=$wikiname");
516         push @params, "--verbose" if $verbose;
517         push @params, "--rebuild" if $rebuild;
518         push @params, "--nosvn" if !$svn;
519         push @params, "--cgi" if $cgi;
520         push @params, "--url=$url" if $url;
521         push @params, "--cgiurl=$cgiurl" if $cgiurl;
522         my $params=join(" ", @params);
523         my $call='';
524         foreach my $p ($this, $this, @params) {
525                 $call.=qq{"$p", };
526         }
527         $call.="NULL";
528         
529         my @envsave;
530         push @envsave, qw{REMOTE_ADDR QUERY_STRING REQUEST_METHOD REQUEST_URI
531                        CONTENT_TYPE CONTENT_LENGTH GATEWAY_INTERFACE} if $cgi;
532         my $envsave="";
533         foreach my $var (@envsave) {
534                 $envsave.=<<"EOF"
535         if ((s=getenv("$var")))
536                 asprintf(&newenviron[i++], "%s=%s", "$var", s);
537 EOF
538         }
539         
540         open(OUT, ">ikiwiki-wrap.c") || error("failed to write ikiwiki-wrap.c: $!");;
541         print OUT <<"EOF";
542 /* A wrapper for ikiwiki, can be safely made suid. */
543 #define _GNU_SOURCE
544 #include <stdio.h>
545 #include <unistd.h>
546 #include <stdlib.h>
547 #include <string.h>
548
549 extern char **environ;
550
551 int main (int argc, char **argv) {
552         /* Sanitize environment. */
553         char *s;
554         char *newenviron[$#envsave+3];
555         int i=0;
556 $envsave
557         newenviron[i++]="HOME=$ENV{HOME}";
558         newenviron[i]=NULL;
559         environ=newenviron;
560
561         if (argc == 2 && strcmp(argv[1], "--params") == 0) {
562                 printf("$params\\n");
563                 exit(0);
564         }
565         
566         execl($call);
567         perror("failed to run $this");
568         exit(1);
569 }
570 EOF
571         close OUT;
572         if (system("gcc", "ikiwiki-wrap.c", "-o", "ikiwiki-wrap") != 0) {
573                 error("failed to compile ikiwiki-wrap.c");
574         }
575         unlink("ikiwiki-wrap.c");
576         print "successfully generated ikiwiki-wrap\n";
577         exit 0;
578 }
579
580 sub cgi () {
581         eval q{use CGI};
582         my $q=CGI->new;
583
584         my $do=$q->param('do');
585         if (! defined $do || ! length $do) {
586                 error("\"do\" parameter missing");
587         }
588         
589         my ($page)=$q->param('page')=~/$wiki_file_regexp/;
590         if (! defined $page || ! length $page || $page ne $q->param('page') ||
591             $page=~/$wiki_file_prune_regexp/ || $page=~/^\//) {
592                 error("bad page name");
593         }
594         $page=lc($page);
595         
596         my $action=$q->request_uri;
597         $action=~s/\?.*//;
598         
599         if ($do eq 'create') {
600                 if (exists $pagesources{lc($page)}) {
601                         # hmm, someone else made the page in the meantime?
602                         print $q->redirect("$url/".htmlpage($page));
603                 }
604
605                 my @page_locs;
606                 my ($from)=$q->param('from')=~/$wiki_file_regexp/;
607                 if (! defined $from || ! length $from ||
608                     $from ne $q->param('from') ||
609                     $from=~/$wiki_file_prune_regexp/ || $from=~/^\//) {
610                         @page_locs=$page;
611                 }
612                 else {
613                         my $dir=$from."/";
614                         $dir=~s![^/]+/$!!;
615                         push @page_locs, $dir.$page;
616                         push @page_locs, "$from/$page";
617                         while (length $dir) {
618                                 $dir=~s![^/]+/$!!;
619                                 push @page_locs, $dir.$page;
620                         }
621                 }
622                 
623                 $q->param("do", "save");
624                 print $q->header,
625                       $q->start_html("$wikiname: Creating $page"),
626                       $q->h1("$wikiname: Creating $page"),
627                       $q->start_form(-action => $action),
628                       $q->hidden('do'),
629                       "Select page location:",
630                       $q->popup_menu('page', \@page_locs),
631                       $q->textarea(-name => 'content',
632                                -default => "",
633                                -rows => 20,
634                                -columns => 80),
635                       $q->br,
636                       "Optional comment about this change:",
637                       $q->br,
638                       $q->textfield(-name => "comments", -size => 80),
639                       $q->br,
640                       $q->submit("Save Page"),
641                       $q->end_form,
642                       $q->end_html;
643         }
644         elsif ($do eq 'edit') {
645                 my $content="";
646                 if (exists $pagesources{lc($page)}) {
647                         $content=readfile("$srcdir/$pagesources{lc($page)}");
648                         $content=~s/\n/\r\n/g;
649                 }
650                 $q->param("do", "save");
651                 print $q->header,
652                       $q->start_html("$wikiname: Editing $page"),
653                       $q->h1("$wikiname: Editing $page"),
654                       $q->start_form(-action => $action),
655                       $q->hidden('do'),
656                       $q->hidden('page'),
657                       $q->textarea(-name => 'content',
658                                -default => $content,
659                                -rows => 20,
660                                -columns => 80),
661                       $q->br,
662                       "Optional comment about this change:",
663                       $q->br,
664                       $q->textfield(-name => "comments", -size => 80),
665                       $q->br,
666                       $q->submit("Save Page"),
667                       $q->end_form,
668                       $q->end_html;
669         }
670         elsif ($do eq 'save') {
671                 my $file=$page.$default_pagetype;
672                 my $newfile=1;
673                 if (exists $pagesources{lc($page)}) {
674                         $file=$pagesources{lc($page)};
675                         $newfile=0;
676                 }
677                 
678                 my $content=$q->param('content');
679                 $content=~s/\r\n/\n/g;
680                 $content=~s/\r/\n/g;
681                 writefile("$srcdir/$file", $content);
682                 
683                 my $message="web commit from $ENV{REMOTE_ADDR}";
684                 if (defined $q->param('comments')) {
685                         $message.=": ".$q->param('comments');
686                 }
687                 
688                 if ($svn) {
689                         if ($newfile) {
690                                 rcs_add($file);
691                         }
692                         # presumably the commit will trigger an update
693                         # of the wiki
694                         rcs_commit($message);
695                 }
696                 else {
697                         refresh();
698                 }
699                 
700                 print $q->redirect("$url/".htmlpage($page));
701         }
702         else {
703                 error("unknown do parameter");
704         }
705 }
706
707 my $rebuild=0;
708 my $wrapper=0;
709 if (grep /^-/, @ARGV) {
710         eval {use Getopt::Long};
711         GetOptions(
712                 "wikiname=s" => \$wikiname,
713                 "verbose|v" => \$verbose,
714                 "rebuild" => \$rebuild,
715                 "wrapper" => \$wrapper,
716                 "svn!" => \$svn,
717                 "cgi" => \$cgi,
718                 "url=s" => \$url,
719                 "cgiurl=s" => \$cgiurl,
720         ) || usage();
721 }
722 usage() unless @ARGV == 2;
723 ($srcdir) = possibly_foolish_untaint(shift);
724 ($destdir) = possibly_foolish_untaint(shift);
725
726 if ($cgi && ! length $url) {
727         error("Must specify url to wiki with --url when using --cgi");
728 }
729
730 gen_wrapper($svn, $rebuild) if $wrapper;
731 memoize('pagename');
732 memoize('bestlink');
733 loadindex() unless $rebuild;
734 if ($cgi) {
735         cgi();
736 }
737 else {
738         rcs_update() if $svn;
739         refresh();
740         saveindex();
741 }