ikiwiki

   1 #!/usr/bin/perl -T
   2
   3 use warnings;
   4 use strict;
   5 use File::Find;
   6 use Memoize;
   7 use File::Spec;
   8
   9 $ENV{PATH}="/usr/local/bin:/usr/bin:/bin";
  10
  11 BEGIN {
  12         $blosxom::version="is a proper perl module too much to ask?";
  13         do "/usr/bin/markdown";
  14 }
  15
  16 my ($srcdir, $destdir, %links, %oldlinks, %oldpagemtime, %renderedfiles,
  17     %pagesources);
  18 my $wiki_link_regexp=qr/\[\[([^\s]+)\]\]/;
  19 my $wiki_file_regexp=qr/(^[-A-Za-z0-9_.:\/+]+$)/;
  20 my $wiki_file_prune_regexp=qr!((^|/).svn/|\.\.|^\.|\/\.|\.html?$)!;
  21 my $verbose=0;
  22 my $wikiname="wiki";
  23 my $default_pagetype=".mdwn";
  24 my $cgi=0;
  25 my $url="";
  26 my $cgiurl="";
  27 my $svn=1;
  28
  29 sub usage {
  30         die "usage: ikiwiki [options] source dest\n";
  31 }
  32
  33 sub error ($) {
  34         if ($cgi) {
  35                 print "Content-type: text/html\n\n";
  36                 print "Error: @_\n";
  37                 exit 1;
  38         }
  39         else {
  40                 die @_;
  41         }
  42 }
  43
  44 sub debug ($) {
  45         print "@_\n" if $verbose;
  46 }
  47
  48 sub mtime ($) {
  49         my $page=shift;
  50
  51         return (stat($page))[9];
  52 }
  53
  54 sub possibly_foolish_untaint ($) {
  55         my $tainted=shift;
  56         my ($untainted)=$tainted=~/(.*)/;
  57         return $untainted;
  58 }
  59
  60 sub basename {
  61         my $file=shift;
  62
  63         $file=~s!.*/!!;
  64         return $file;
  65 }
  66
  67 sub dirname {
  68         my $file=shift;
  69
  70         $file=~s!/?[^/]+$!!;
  71         return $file;
  72 }
  73
  74 sub pagetype ($) {
  75         my $page=shift;
  76
  77         if ($page =~ /\.mdwn$/) {
  78                 return ".mdwn";
  79         }
  80         else {
  81                 return "unknown";
  82         }
  83 }
  84
  85 sub pagename ($) {
  86         my $file=shift;
  87
  88         my $type=pagetype($file);
  89         my $page=$file;
  90         $page=~s/\Q$type\E*$// unless $type eq 'unknown';
  91         return $page;
  92 }
  93
  94 sub htmlpage ($) {
  95         my $page=shift;
  96
  97         return $page.".html";
  98 }
  99
 100 sub readfile ($) {
 101         my $file=shift;
 102
 103         local $/=undef;
 104         open (IN, "$file") || error("failed to read $file: $!");
 105         my $ret=<IN>;
 106         close IN;
 107         return $ret;
 108 }
 109
 110 sub writefile ($$) {
 111         my $file=shift;
 112         my $content=shift;
 113
 114         my $dir=dirname($file);
 115         if (! -d $dir) {
 116                 my $d="";
 117                 foreach my $s (split(m!/+!, $dir)) {
 118                         $d.="$s/";
 119                         if (! -d $d) {
 120                                 mkdir($d) || error("failed to create directory $d: $!");
 121                         }
 122                 }
 123         }
 124
 125         open (OUT, ">$file") || error("failed to write $file: $!");
 126         print OUT $content;
 127         close OUT;
 128 }
 129
 130 sub findlinks {
 131         my $content=shift;
 132
 133         my @links;
 134         while ($content =~ /$wiki_link_regexp/g) {
 135                 push @links, lc($1);
 136         }
 137         return @links;
 138 }
 139
 140 # Given a page and the text of a link on the page, determine which existing
 141 # page that link best points to. Prefers pages under a subdirectory with
 142 # the same name as the source page, failing that goes down the directory tree
 143 # to the base looking for matching pages.
 144 sub bestlink ($$) {
 145         my $page=shift;
 146         my $link=lc(shift);
 147
 148         my $cwd=$page;
 149         do {
 150                 my $l=$cwd;
 151                 $l.="/" if length $l;
 152                 $l.=$link;
 153
 154                 if (exists $links{$l}) {
 155                         #debug("for $page, \"$link\", use $l");
 156                         return $l;
 157                 }
 158         } while $cwd=~s!/?[^/]+$!!;
 159
 160         #print STDERR "warning: page $page, broken link: $link\n";
 161         return "";
 162 }
 163
 164 sub isinlinableimage ($) {
 165         my $file=shift;
 166
 167         $file=~/\.(png|gif|jpg|jpeg)$/;
 168 }
 169
 170 sub htmllink ($$) {
 171         my $page=shift;
 172         my $link=shift;
 173
 174         my $bestlink=bestlink($page, $link);
 175
 176         return $link if $page eq $bestlink;
 177
 178         # TODO BUG: %renderedfiles may not have it, if the linked to page
 179         # was also added and isn't yet rendered! Note that this bug is
 180         # masked by the bug mentioned below that makes all new files
 181         # be rendered twice.
 182         if (! grep { $_ eq $bestlink } values %renderedfiles) {
 183                 $bestlink=htmlpage($bestlink);
 184         }
 185         if (! grep { $_ eq $bestlink } values %renderedfiles) {
 186                 return "<a href=\"$cgiurl?do=create&page=$link&from=$page\">?</a>$link"
 187         }
 188
 189         $bestlink=File::Spec->abs2rel($bestlink, dirname($page));
 190
 191         if (isinlinableimage($bestlink)) {
 192                 return "<img src=\"$bestlink\">";
 193         }
 194         return "<a href=\"$bestlink\">$link</a>";
 195 }
 196
 197 sub linkify ($$) {
 198         my $content=shift;
 199         my $file=shift;
 200
 201         $content =~ s/$wiki_link_regexp/htmllink(pagename($file), $1)/eg;
 202
 203         return $content;
 204 }
 205
 206 sub htmlize ($$) {
 207         my $type=shift;
 208         my $content=shift;
 209
 210         if ($type eq '.mdwn') {
 211                 return Markdown::Markdown($content);
 212         }
 213         else {
 214                 error("htmlization of $type not supported");
 215         }
 216 }
 217
 218 sub linkbacks ($$) {
 219         my $content=shift;
 220         my $page=shift;
 221
 222         my @links;
 223         foreach my $p (keys %links) {
 224                 next if bestlink($page, $p) eq $page;
 225                 if (grep { length $_ && bestlink($p, $_) eq $page } @{$links{$p}}) {
 226                         my $href=File::Spec->abs2rel(htmlpage($p), dirname($page));
 227
 228                         # Trim common dir prefixes from both pages.
 229                         my $p_trimmed=$p;
 230                         my $page_trimmed=$page;
 231                         my $dir;
 232                         1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
 233                                 defined $dir &&
 234                                 $p_trimmed=~s/^\Q$dir\E// &&
 235                                 $page_trimmed=~s/^\Q$dir\E//;
 236
 237                         push @links, "<a href=\"$href\">$p_trimmed</a>";
 238                 }
 239         }
 240
 241         $content.="<hr><p>Links: ".join(" ", sort @links)."</p>\n" if @links;
 242         return $content;
 243 }
 244
 245 sub finalize ($$) {
 246         my $content=shift;
 247         my $page=shift;
 248
 249         my $title=basename($page);
 250         $title=~s/_/ /g;
 251
 252         my $pagelink="";
 253         my $path="";
 254         foreach my $dir (reverse split("/", $page)) {
 255                 if (length($pagelink)) {
 256                         $pagelink="<a href=\"$path$dir.html\">$dir</a>/ $pagelink";
 257                 }
 258                 else {
 259                         $pagelink=$dir;
 260                 }
 261                 $path.="../";
 262         }
 263         $path=~s/\.\.\/$/index.html/;
 264         $pagelink="<a href=\"$path\">$wikiname</a>/ $pagelink";
 265
 266         my @actions;
 267         if (length $cgiurl) {
 268                 push @actions, "<a href=\"$cgiurl?do=edit&page=$page\">Edit</a>";
 269                 push @actions, "<a href=\"$cgiurl?do=recentchanges\">RecentChanges</a>";
 270         }
 271
 272         $content="<html>\n<head><title>$title</title></head>\n<body>\n".
 273                   "<h1>$pagelink</h1>\n".
 274                   "@actions\n<hr>\n".
 275                   $content.
 276                   "</body>\n</html>\n";
 277
 278         return $content;
 279 }
 280
 281 sub render ($) {
 282         my $file=shift;
 283
 284         my $type=pagetype($file);
 285         my $content=readfile("$srcdir/$file");
 286         if ($type ne 'unknown') {
 287                 my $page=pagename($file);
 288
 289                 $links{$page}=[findlinks($content)];
 290
 291                 $content=linkify($content, $file);
 292                 $content=htmlize($type, $content);
 293                 $content=linkbacks($content, $page);
 294                 $content=finalize($content, $page);
 295
 296                 writefile("$destdir/".htmlpage($page), $content);
 297                 $oldpagemtime{$page}=time;
 298                 $renderedfiles{$page}=htmlpage($page);
 299         }
 300         else {
 301                 $links{$file}=[];
 302                 writefile("$destdir/$file", $content);
 303                 $oldpagemtime{$file}=time;
 304                 $renderedfiles{$file}=$file;
 305         }
 306 }
 307
 308 sub loadindex () {
 309         open (IN, "$srcdir/.index") || return;
 310         while (<IN>) {
 311                 $_=possibly_foolish_untaint($_);
 312                 chomp;
 313                 my ($mtime, $file, $rendered, @links)=split(' ', $_);
 314                 my $page=pagename($file);
 315                 $pagesources{$page}=$file;
 316                 $oldpagemtime{$page}=$mtime;
 317                 $oldlinks{$page}=[@links];
 318                 $links{$page}=[@links];
 319                 $renderedfiles{$page}=$rendered;
 320         }
 321         close IN;
 322 }
 323
 324 sub saveindex () {
 325         open (OUT, ">$srcdir/.index") || error("cannot write to .index: $!");
 326         foreach my $page (keys %oldpagemtime) {
 327         print OUT "$oldpagemtime{$page} $pagesources{$page} $renderedfiles{$page} ".
 328                   join(" ", @{$links{$page}})."\n"
 329                         if $oldpagemtime{$page};
 330         }
 331         close OUT;
 332 }
 333
 334 sub rcs_update () {
 335         if (-d "$srcdir/.svn") {
 336                 if (system("svn", "update", "--quiet", $srcdir) != 0) {
 337                         warn("svn update failed\n");
 338                 }
 339         }
 340 }
 341
 342 sub rcs_commit ($) {
 343         my $message=shift;
 344
 345         if (-d "$srcdir/.svn") {
 346                 if (system("svn", "commit", "--quiet", "-m",
 347                            possibly_foolish_untaint($message), $srcdir) != 0) {
 348                         warn("svn commit failed\n");
 349                 }
 350         }
 351 }
 352
 353 sub rcs_add ($) {
 354         my $file=shift;
 355
 356         if (-d "$srcdir/.svn") {
 357                 my $parent=dirname($file);
 358                 while (! -d "$srcdir/$parent/.svn") {
 359                         $file=$parent;
 360                         $parent=dirname($file);
 361                 }
 362
 363                 if (system("svn", "add", "--quiet", "$srcdir/$file") != 0) {
 364                         warn("svn add failed\n");
 365                 }
 366         }
 367 }
 368
 369 sub prune ($) {
 370         my $file=shift;
 371
 372         unlink($file);
 373         my $dir=dirname($file);
 374         while (rmdir($dir)) {
 375                 $dir=dirname($dir);
 376         }
 377 }
 378
 379 sub refresh () {
 380         # Find existing pages.
 381         my %exists;
 382         my @files;
 383         find({
 384                 no_chdir => 1,
 385                 wanted => sub {
 386                         if (/$wiki_file_prune_regexp/) {
 387                                 $File::Find::prune=1;
 388                         }
 389                         elsif (! -d $_) {
 390                                 my ($f)=/$wiki_file_regexp/; # untaint
 391                                 if (! defined $f) {
 392                                         warn("skipping bad filename $_\n");
 393                                 }
 394                                 else {
 395                                         $f=~s/^\Q$srcdir\E\/?//;
 396                                         push @files, $f;
 397                                         $exists{pagename($f)}=1;
 398                                 }
 399                         }
 400                 },
 401         }, $srcdir);
 402
 403         my %rendered;
 404
 405         # check for added or removed pages
 406         my @add;
 407         foreach my $file (@files) {
 408                 my $page=pagename($file);
 409                 if (! $oldpagemtime{$page}) {
 410                         debug("new page $page");
 411                         push @add, $file;
 412                         $links{$page}=[];
 413                         $pagesources{$page}=$file;
 414                 }
 415         }
 416         my @del;
 417         foreach my $page (keys %oldpagemtime) {
 418                 if (! $exists{$page}) {
 419                         debug("removing old page $page");
 420                         push @del, $renderedfiles{$page};
 421                         prune($destdir."/".$renderedfiles{$page});
 422                         delete $renderedfiles{$page};
 423                         $oldpagemtime{$page}=0;
 424                         delete $pagesources{$page};
 425                 }
 426         }
 427
 428         # render any updated files
 429         foreach my $file (@files) {
 430                 my $page=pagename($file);
 431
 432                 if (! exists $oldpagemtime{$page} ||
 433                     mtime("$srcdir/$file") > $oldpagemtime{$page}) {
 434                         debug("rendering changed file $file");
 435                         render($file);
 436                         $rendered{$file}=1;
 437                 }
 438         }
 439
 440         # if any files were added or removed, check to see if each page
 441         # needs an update due to linking to them
 442         # TODO: inefficient; pages may get rendered above and again here;
 443         # problem is the bestlink may have changed and we won't know until
 444         # now
 445         if (@add || @del) {
 446 FILE:           foreach my $file (@files) {
 447                         my $page=pagename($file);
 448                         foreach my $f (@add, @del) {
 449                                 my $p=pagename($f);
 450                                 foreach my $link (@{$links{$page}}) {
 451                                         if (bestlink($page, $link) eq $p) {
 452                                                 debug("rendering $file, which links to $p");
 453                                                 render($file);
 454                                                 $rendered{$file}=1;
 455                                                 next FILE;
 456                                         }
 457                                 }
 458                         }
 459                 }
 460         }
 461
 462         # handle linkbacks; if a page has added/removed links, update the
 463         # pages it links to
 464         # TODO: inefficient; pages may get rendered above and again here;
 465         # problem is the linkbacks could be wrong in the first pass render
 466         # above
 467         if (%rendered) {
 468                 my %linkchanged;
 469                 foreach my $file (keys %rendered, @del) {
 470                         my $page=pagename($file);
 471                         if (exists $links{$page}) {
 472                                 foreach my $link (@{$links{$page}}) {
 473                                         $link=bestlink($page, $link);
 474                                         if (length $link &&
 475                                             ! exists $oldlinks{$page} ||
 476                                             ! grep { $_ eq $link } @{$oldlinks{$page}}) {
 477                                                 $linkchanged{$link}=1;
 478                                         }
 479                                 }
 480                         }
 481                         if (exists $oldlinks{$page}) {
 482                                 foreach my $link (@{$oldlinks{$page}}) {
 483                                         $link=bestlink($page, $link);
 484                                         if (length $link &&
 485                                             ! exists $links{$page} ||
 486                                             ! grep { $_ eq $link } @{$links{$page}}) {
 487                                                 $linkchanged{$link}=1;
 488                                         }
 489                                 }
 490                         }
 491                 }
 492                 foreach my $link (keys %linkchanged) {
 493                         my $linkfile=$pagesources{$link};
 494                         if (defined $linkfile) {
 495                                 debug("rendering $linkfile, to update its linkbacks");
 496                                 render($linkfile);
 497                         }
 498                 }
 499         }
 500 }
 501
 502 # Generates a C wrapper program for running ikiwiki in a specific way.
 503 # The wrapper may be safely made suid.
 504 sub gen_wrapper ($$) {
 505         my ($svn, $rebuild)=@_;
 506
 507         eval {use Cwd 'abs_path'};
 508         $srcdir=abs_path($srcdir);
 509         $destdir=abs_path($destdir);
 510         my $this=abs_path($0);
 511         if (! -x $this) {
 512                 error("$this doesn't seem to be executable");
 513         }
 514
 515         my @params=($srcdir, $destdir, "--wikiname=$wikiname");
 516         push @params, "--verbose" if $verbose;
 517         push @params, "--rebuild" if $rebuild;
 518         push @params, "--nosvn" if !$svn;
 519         push @params, "--cgi" if $cgi;
 520         push @params, "--url=$url" if $url;
 521         push @params, "--cgiurl=$cgiurl" if $cgiurl;
 522         my $params=join(" ", @params);
 523         my $call='';
 524         foreach my $p ($this, $this, @params) {
 525                 $call.=qq{"$p", };
 526         }
 527         $call.="NULL";
 528
 529         my @envsave;
 530         push @envsave, qw{REMOTE_ADDR QUERY_STRING REQUEST_METHOD REQUEST_URI
 531                        CONTENT_TYPE CONTENT_LENGTH GATEWAY_INTERFACE} if $cgi;
 532         my $envsave="";
 533         foreach my $var (@envsave) {
 534                 $envsave.=<<"EOF"
 535         if ((s=getenv("$var")))
 536                 asprintf(&newenviron[i++], "%s=%s", "$var", s);
 537 EOF
 538         }
 539
 540         open(OUT, ">ikiwiki-wrap.c") || error("failed to write ikiwiki-wrap.c: $!");;
 541         print OUT <<"EOF";
 542 /* A wrapper for ikiwiki, can be safely made suid. */
 543 #define _GNU_SOURCE
 544 #include <stdio.h>
 545 #include <unistd.h>
 546 #include <stdlib.h>
 547 #include <string.h>
 548
 549 extern char **environ;
 550
 551 int main (int argc, char **argv) {
 552         /* Sanitize environment. */
 553         char *s;
 554         char *newenviron[$#envsave+3];
 555         int i=0;
 556 $envsave
 557         newenviron[i++]="HOME=$ENV{HOME}";
 558         newenviron[i]=NULL;
 559         environ=newenviron;
 560
 561         if (argc == 2 && strcmp(argv[1], "--params") == 0) {
 562                 printf("$params\\n");
 563                 exit(0);
 564         }
 565
 566         execl($call);
 567         perror("failed to run $this");
 568         exit(1);
 569 }
 570 EOF
 571         close OUT;
 572         if (system("gcc", "ikiwiki-wrap.c", "-o", "ikiwiki-wrap") != 0) {
 573                 error("failed to compile ikiwiki-wrap.c");
 574         }
 575         unlink("ikiwiki-wrap.c");
 576         print "successfully generated ikiwiki-wrap\n";
 577         exit 0;
 578 }
 579
 580 sub cgi () {
 581         eval q{use CGI};
 582         my $q=CGI->new;
 583
 584         my $do=$q->param('do');
 585         if (! defined $do || ! length $do) {
 586                 error("\"do\" parameter missing");
 587         }
 588
 589         my ($page)=$q->param('page')=~/$wiki_file_regexp/;
 590         if (! defined $page || ! length $page || $page ne $q->param('page') ||
 591             $page=~/$wiki_file_prune_regexp/ || $page=~/^\//) {
 592                 error("bad page name");
 593         }
 594         $page=lc($page);
 595
 596         my $action=$q->request_uri;
 597         $action=~s/\?.*//;
 598
 599         if ($do eq 'create') {
 600                 if (exists $pagesources{lc($page)}) {
 601                         # hmm, someone else made the page in the meantime?
 602                         print $q->redirect("$url/".htmlpage($page));
 603                 }
 604
 605                 my @page_locs;
 606                 my ($from)=$q->param('from')=~/$wiki_file_regexp/;
 607                 if (! defined $from || ! length $from ||
 608                     $from ne $q->param('from') ||
 609                     $from=~/$wiki_file_prune_regexp/ || $from=~/^\//) {
 610                         @page_locs=$page;
 611                 }
 612                 else {
 613                         my $dir=$from."/";
 614                         $dir=~s![^/]+/$!!;
 615                         push @page_locs, $dir.$page;
 616                         push @page_locs, "$from/$page";
 617                         while (length $dir) {
 618                                 $dir=~s![^/]+/$!!;
 619                                 push @page_locs, $dir.$page;
 620                         }
 621                 }
 622
 623                 $q->param("do", "save");
 624                 print $q->header,
 625                       $q->start_html("$wikiname: Creating $page"),
 626                       $q->h1("$wikiname: Creating $page"),
 627                       $q->start_form(-action => $action),
 628                       $q->hidden('do'),
 629                       "Select page location:",
 630                       $q->popup_menu('page', \@page_locs),
 631                       $q->textarea(-name => 'content',
 632                                -default => "",
 633                                -rows => 20,
 634                                -columns => 80),
 635                       $q->br,
 636                       "Optional comment about this change:",
 637                       $q->br,
 638                       $q->textfield(-name => "comments", -size => 80),
 639                       $q->br,
 640                       $q->submit("Save Page"),
 641                       $q->end_form,
 642                       $q->end_html;
 643         }
 644         elsif ($do eq 'edit') {
 645                 my $content="";
 646                 if (exists $pagesources{lc($page)}) {
 647                         $content=readfile("$srcdir/$pagesources{lc($page)}");
 648                         $content=~s/\n/\r\n/g;
 649                 }
 650                 $q->param("do", "save");
 651                 print $q->header,
 652                       $q->start_html("$wikiname: Editing $page"),
 653                       $q->h1("$wikiname: Editing $page"),
 654                       $q->start_form(-action => $action),
 655                       $q->hidden('do'),
 656                       $q->hidden('page'),
 657                       $q->textarea(-name => 'content',
 658                                -default => $content,
 659                                -rows => 20,
 660                                -columns => 80),
 661                       $q->br,
 662                       "Optional comment about this change:",
 663                       $q->br,
 664                       $q->textfield(-name => "comments", -size => 80),
 665                       $q->br,
 666                       $q->submit("Save Page"),
 667                       $q->end_form,
 668                       $q->end_html;
 669         }
 670         elsif ($do eq 'save') {
 671                 my $file=$page.$default_pagetype;
 672                 my $newfile=1;
 673                 if (exists $pagesources{lc($page)}) {
 674                         $file=$pagesources{lc($page)};
 675                         $newfile=0;
 676                 }
 677
 678                 my $content=$q->param('content');
 679                 $content=~s/\r\n/\n/g;
 680                 $content=~s/\r/\n/g;
 681                 writefile("$srcdir/$file", $content);
 682
 683                 my $message="web commit from $ENV{REMOTE_ADDR}";
 684                 if (defined $q->param('comments')) {
 685                         $message.=": ".$q->param('comments');
 686                 }
 687
 688                 if ($svn) {
 689                         if ($newfile) {
 690                                 rcs_add($file);
 691                         }
 692                         # presumably the commit will trigger an update
 693                         # of the wiki
 694                         rcs_commit($message);
 695                 }
 696                 else {
 697                         refresh();
 698                 }
 699
 700                 print $q->redirect("$url/".htmlpage($page));
 701         }
 702         else {
 703                 error("unknown do parameter");
 704         }
 705 }
 706
 707 my $rebuild=0;
 708 my $wrapper=0;
 709 if (grep /^-/, @ARGV) {
 710         eval {use Getopt::Long};
 711         GetOptions(
 712                 "wikiname=s" => \$wikiname,
 713                 "verbose|v" => \$verbose,
 714                 "rebuild" => \$rebuild,
 715                 "wrapper" => \$wrapper,
 716                 "svn!" => \$svn,
 717                 "cgi" => \$cgi,
 718                 "url=s" => \$url,
 719                 "cgiurl=s" => \$cgiurl,
 720         ) || usage();
 721 }
 722 usage() unless @ARGV == 2;
 723 ($srcdir) = possibly_foolish_untaint(shift);
 724 ($destdir) = possibly_foolish_untaint(shift);
 725
 726 if ($cgi && ! length $url) {
 727         error("Must specify url to wiki with --url when using --cgi");
 728 }
 729
 730 gen_wrapper($svn, $rebuild) if $wrapper;
 731 memoize('pagename');
 732 memoize('bestlink');
 733 loadindex() unless $rebuild;
 734 if ($cgi) {
 735         cgi();
 736 }
 737 else {
 738         rcs_update() if $svn;
 739         refresh();
 740         saveindex();
 741 }