Merge commit 'upstream/master' into prv/po

po(change): reset renamed pages status at a better time

Signed-off-by: intrigeri <intrigeri@boum.org>

po: initial infrastructure to deal with renamed master page

This is a skeleton that does nothing yet.
See the comments in the code for an overview of the issue that arises, due to
the renamepage hook never being called globally.

Signed-off-by: intrigeri <intrigeri@boum.org>

po(delete): added hook, and function skeleton

Not implemented yet, 'cos the renamepage hook has to come first.
Else translations would be deleted on rename, what a shame.

Signed-off-by: intrigeri <intrigeri@boum.org>

po(change): avoid losing information before guessing the same...

Signed-off-by: intrigeri <intrigeri@boum.org>

po(istranslatablefile): extracted this from istranslatable

... will need this soon to deal with master file deletion.

Signed-off-by: intrigeri <intrigeri@boum.org>

po.t: cleanup

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: added test results

Signed-off-by: intrigeri <intrigeri@boum.org>

add news item for ikiwiki 2.70

releasing version 2.70

note fix versions

check for invalid utf-8, and toss it back to avoid crashes

Since ikiwiki uses open :utf8, perl assumes that files contain valid utf-8.
If it turns out to be malformed it may later crash while processing strings
read from them, with 'Malformed UTF-8 character (fatal)'.

As at least a quick fix, use utf8::valid as soon as data is read, and if
it's not valid, call encode_utf8 on the string, thus clearing the utf-8
flag. This may cause follow-on encoding problems, but will avoid this
crash, and the input file was broken anyway, so GIGO is a reasonable
response. (I looked at calling decode_utf8 after, but it seemed to cause
more trouble than it was worth. BTW, use open ':encoding(utf8)' avaoids
this problem, but the corrupted data later causes Storable to crash when
writing the index.)

This is a quick fix, clearly imperfect:
- It might be better to explicitly call decode_utf8 when reading files,
  rather than using the IO layer.
- Data read other than by readfile() can still sneak in bad utf-8. While
  ikiwiki does very little file input not using it, stdin for the CGI
  would be one way.

po(otherlanguages): return pages that should exist

... instead of already existing ones.
This fixes the "missing otherlanguages links on master pages just created via
the CGI" bug.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: memoized istranslatable, eventually

And enjoy a 10% rebuild time enhancement on a complex wiki full of maps and
other pseudo-dynamic content, with some other costly plugins enabled. So it
could well mean 20% on a more usual wiki.

Signed-off-by: intrigeri <intrigeri@boum.org>

po(change): flush Memoize cache, to fix bug after rename/remove

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: first pass of robustness tests, added todo for remove/rename

Signed-off-by: intrigeri <intrigeri@boum.org>

po(htmlize): ignore PO files not managed by this plugin

This way, the po plugin will not appropriate PO files it is not responsible for,
and PO files existing before this plugin was enabled can coexist peacefully with
our own ones.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: ooops, fixed just introduced bug

(I just removed in istranslation and _istranslation the dependency on
istranslatable... which broke things in a subtle way, hard to see at the first
glance.)

Signed-off-by: intrigeri <intrigeri@boum.org>

parentlinks: fixed links when po plugin is enabled

(and usedirs is disabled)

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fix istranslation/istranslatable for pages starting with /

Signed-off-by: intrigeri <intrigeri@boum.org>

po(mybestlink): fixed when fed with path beginning with /

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: added robustness tests that have to be done

Signed-off-by: intrigeri <intrigeri@boum.org>

po: compute internal links from a slave page relative to its master page

e.g. a link appearing on a slave page links to its masterpage's subpages.

Signed-off-by: intrigeri <intrigeri@boum.org>

add news item for ikiwiki 2.69

document other files in .ikiwiki

make unlockwiki drop the cgilock

This is necessary so that things that fork to the background,
like pinger, and inline ping, don't block other cgis from running.

Note that websetup also calls unlockwiki, before refreshing / rebuilding
the wiki. It makes perfect sense for that not to block other cgis.

pagetitle vs meta: announcing a working prototype

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'upstream/po' into prv/po

response

patch and a few comments

Merge commit 'intrigeri/po' into po

Merge branch 'master' into po

po/todo: bug report about linking to subpages from translation pages

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fixed bug when a new translatable page is created

Signed-off-by: intrigeri <intrigeri@boum.org>

po: change a bit the way links are generated

This will soon enable usage of translated page titles in link.

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: fixed internal links

Signed-off-by: intrigeri <intrigeri@boum.org>

lockwiki changes

* Stop busy-waiting in lockwiki, as this could delay ikiwiki from waking up
  for up to one second. The bailout code is no longer needed.
* Remove support for unused optional wait parameter from lockwiki.

O_CREATE needs mode

avoid multiple ikiwiki cgi processes piling up, eating all memory, and thrashing

Fixed by making the cgi wrapper wait on a cgilock.
If you had to set apache's MaxClients low to avoid ikiwiki thrashing
your server, you can now turn it up to a high value.

The downside to this is that a cgi call that doesn't need to call lockwiki
will be serialised by this so only one can run at a time. (For example,
do=search.) There are few such calls, and all of them call loadindex,
so each still eats gobs of memory, so serialising them still seems ok.

po/todo: added note about backlinks not being updated

Signed-off-by: intrigeri <intrigeri@boum.org>

bzr: Fix dates for recentchanges.

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

let's stop sucking :-)

po: fixed link to home page when po_link_to=negotiated, added testcase

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: update

Signed-off-by: intrigeri <intrigeri@boum.org>

po: answered Joey's "create a new translation" question

... that I previously completely missed.

Signed-off-by: intrigeri <intrigeri@boum.org>

po(change): fix uninitialized variables when running IkiWiki::refresh()

Signed-off-by: intrigeri <intrigeri@boum.org>

po: added HOMEPAGEURL template variable, documented when to use it

Hopefully all links should now be consistent with the chosen linking behavior,
but who knows...

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: added bug report for weird Perl warnings

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fixed link to homepage from non-translation page

Added testcases for this bug.
It remains broken when generated from <TMPL_VAR BASEURL>, though.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: some code simplification/clarification

Signed-off-by: intrigeri <intrigeri@boum.org>

add item to watch list

po/todo: updated page formats, broken links, documentation

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'upstream/master' into prv/po

po: help request

Signed-off-by: intrigeri <intrigeri@boum.org>

po(scan): make more clear what's being done

Mostly comments, and also a small code change: simplification and implementation
details hiding.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: reorder nearly all of the module code

It has grown up incrementally and new helper functions were added right in the
middle of the hooks, most often near the place they were used, which is
practical when doing initial development, but quite ugly afterwards, when helper
functions are useful to separate logic and implementation details.

Today's refactoring commits have brought the code to a much more maintainable
state, IMHO.

Signed-off-by: intrigeri <intrigeri@boum.org>

remove redundant link munge

This is not needed now that tagpage returns a page name starting with a
slash.

(Also fixes a minor bug that the edit links started with double slashes due
to the hack.)

typo

po/doc: first fuzzy-testing results for po4a and msgmerge

Chapter #1, in which we learn po4a could help to DoS ikiwiki + po,
whereas msgmerge seems reluctant to cooperate.

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

tag: Normalize tagbase so leading/trailing slashes in it don't break things.

reply

Merge branch 'master' of git://git.ikiwiki.info

response

add discussion on this tip

specifying the user in recentchanges for anon git pushes

update my userpage (and try out git pushes)

add a robots.txt

Yahoo! has been pounding on ikiwiki.cgi again. While I'd prefer ikiwiki to
generate sites that avoided robots hitting it in other ways, I'm adding a
robots.txt, at least temporarily.

Add rel=nofollow to recentchanges_links for the same (weak) reasons it was earlier added to edit links.

po/doc: more security research results

Apart of the fuzzying part, I'm done with what I can do without help.

The "Running po4a on untrusted content" section needs at least a quick glance
from an experimented Perl programmer.

Signed-off-by: intrigeri <intrigeri@boum.org>

reorg to avoid broken link in basewiki

ikiwiki/markdown is a basewiki page and shouldn't link to pages in tips.

Instead, make the tips link to it, so backlinks will point back to them.
While I'm at it, move the info about the emacs mode to a tip.

po(match_lang, match_currentlang): use the lang() function

... now that it exists, instead of duplicating it.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: rewrote otherlanguagesloop()

It is now more elegant IMHO, and the output is now sorted according to the
language name (instead of code).

Signed-off-by: intrigeri <intrigeri@boum.org>

po: factorize extraction of a slave page's masterpage and lang

The very same code was repeated at dozens of places.

NB: the real work is now done is _istranslation(), which is memoized,
so the additional function calls overhead should be compensated.

Signed-off-by: intrigeri <intrigeri@boum.org>

t/po.t: removed debug lines

Signed-off-by: intrigeri <intrigeri@boum.org>

response

reorganize vim syntax highlighting info

There was already a tip about it; move the plasticboy version to there.

po(otherlanguagesloop): start factorizing

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'upstream/master' into prv/po

po: finish abstracting %filtered by putting it into a blackbox

i.e. it is invisible for everyone but its accessors/mutators

Signed-off-by: intrigeri <intrigeri@boum.org>

po: actually use pofiles() function, to enhance code clarity

Signed-off-by: intrigeri <intrigeri@boum.org>

po: abstract "doing something for the same page in every other language"

Signed-off-by: intrigeri <intrigeri@boum.org>

po: abstract implementation details for %translations building and resetting

Signed-off-by: intrigeri <intrigeri@boum.org>

po: abstract %filtered implementation details

Signed-off-by: intrigeri <intrigeri@boum.org>

po: clarify error messages

Signed-off-by: intrigeri <intrigeri@boum.org>

po: clarify code with some comments

Signed-off-by: intrigeri <intrigeri@boum.org>

po: prevent a slave page to depend on itself

It has never caused harm yet, but it might in the future.

Signed-off-by: intrigeri <intrigeri@boum.org>

vim syntax file linked

Fix the link() pagespec to match links that are internally recorded as absolute.

This fixes a problem exposed by the recent change to tags
(a2839de9362187b67b0e3a564461e272e64fd9b4). That recorded tag links as
absolute by including a leading slash in the link. The same could also be
done with an absolute wikilink.

In either case, link() would not match such links, unless the leading slash
was included in the link to match. But that's not right, because pagespecs
match absolute by default. So strip the leading slash.

Note that to keep any existing `link(/foo)` pagespecs working after this
change, the leading slash is removed from there, too.

po/todo(security): many research results

... and some questions to Joey (hint: look for your name)

Signed-off-by: intrigeri <intrigeri@boum.org>

po(refreshpot): define the input charset before read()'ing

... to prevent the use of Encode::Guess::guess_encoding() in
Locale::Po4a::Transtractor (just a minor security measure, dependent on po4a
internals, but we have no reason to think Encode::Guess is not safe).

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

fix link to Jason Blevins user page

Merge branch 'prv/po' into pub/po

question about the format directive and relation with htmlize hooks

po/todo++: support other file formats than markdown

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'prv/po' into pub/po

po/todo: mostly security research

Signed-off-by: intrigeri <intrigeri@boum.org>