doc/plugins/po.mdwn

   1 [[!template id=plugin name=po core=0 author="[[intrigeri]]"]]
   2 [[!tag type/format]]
   3
   4 This plugin adds support for multi-lingual wikis, translated with
   5 gettext, using [po4a](http://po4a.alioth.debian.org/).
   6
   7 It depends on the Perl `Locale::Po4a::Po` library (`apt-get install po4a`).
   8 As detailed bellow in the security section, `po4a` is subject to
   9 denial-of-service attacks before version 0.35.
  10
  11 [[!toc levels=2]]
  12
  13 Introduction
  14 ============
  15
  16 A language is chosen as the "master" one, and any other supported
  17 language is a "slave" one.
  18
  19 A page written in the "master" language is a "master" page. It can be
  20 of any page type supported by ikiwiki, except `po`. It does not have to be
  21 named a special way: migration to this plugin does not imply any page
  22 renaming work.
  23
  24 Example: `bla/page.mdwn` is a "master" Markdown page written in
  25 English; if `usedirs` is enabled, it is rendered as
  26 `bla/page/index.en.html`, else as `bla/page.en.html`.
  27
  28 Any translation of a "master" page into a "slave" language is called
  29 a "slave" page; it is written in the gettext PO format. `po` is now
  30 a page type supported by ikiwiki.
  31
  32 Example: `bla/page.fr.po` is the PO "message catalog" used to
  33 translate `bla/page.mdwn` into French; if `usedirs` is enabled, it is
  34 rendered as `bla/page/index.fr.html`, else as `bla/page.fr.html`
  35
  36 (In)Compatibility
  37 =================
  38
  39 This plugin does not support the `indexpages` mode. If you don't know
  40 what it is, you probably don't care.
  41
  42
  43 Configuration
  44 =============
  45
  46 Supported languages
  47 -------------------
  48
  49 `po_master_language` is used to set the "master" language in
  50 `ikiwiki.setup`, such as:
  51
  52         po_master_language => { 'code' => 'en', 'name' => 'English' }
  53
  54 `po_slave_languages` is used to set the list of supported "slave"
  55 languages, such as:
  56
  57         po_slave_languages => { 'fr' => 'Français',
  58                                 'es' => 'Español',
  59                                 'de' => 'Deutsch',
  60         }
  61
  62 Decide which pages are translatable
  63 -----------------------------------
  64
  65 The `po_translatable_pages` setting configures what pages are
  66 translatable. It is a [[ikiwiki/PageSpec]], so you have lots of
  67 control over what kind of pages are translatable.
  68
  69 The `.po` files are not considered as being translatable, so you don't need to
  70 worry about excluding them explicitly from this [[ikiwiki/PageSpec]].
  71
  72 Internal links
  73 --------------
  74
  75 ### Links targets
  76
  77 The `po_link_to` option in `ikiwiki.setup` is used to decide how
  78 internal links should be generated, depending on web server features
  79 and site-specific preferences.
  80
  81 #### Default linking behavior
  82
  83 If `po_link_to` is unset, or set to `default`, ikiwiki's default
  84 linking behavior is preserved: `\[[destpage]]` links to the master
  85 language's page.
  86
  87 #### Link to current language
  88
  89 If `po_link_to` is set to `current`, `\[[destpage]]` links to the
  90 `destpage`'s version written in the current page's language, if
  91 available, *i.e.*:
  92
  93 * `foo/destpage/index.LL.html` if `usedirs` is enabled
  94 * `foo/destpage.LL.html` if `usedirs` is disabled
  95
  96 #### Link to negotiated language
  97
  98 If `po_link_to` is set to `negotiated`, `\[[page]]` links to the
  99 negotiated preferred language, *i.e.* `foo/page/`.
 100
 101 (In)compatibility notes:
 102
 103 * if `usedirs` is disabled, it does not make sense to set `po_link_to`
 104   to `negotiated`; this option combination is neither implemented
 105   nor allowed.
 106 * if the web server does not support Content Negotiation, setting
 107   `po_link_to` to `negotiated` will produce a unusable website.
 108
 109 Server support
 110 ==============
 111
 112 Apache
 113 ------
 114
 115 Using Apache `mod_negotiation` makes it really easy to have Apache
 116 serve any page in the client's preferred language, if available.
 117
 118 Add 'Options MultiViews' to the wiki directory's configuration in Apache.
 119
 120 When `usedirs` is enabled, one has to set `DirectoryIndex index` for
 121 the wiki context.
 122
 123 Setting `DefaultLanguage LL` (replace `LL` with your default MIME
 124 language code) for the wiki context can help to ensure
 125 `bla/page/index.en.html` is served as `Content-Language: LL`.
 126
 127 For details, see [Apache's documentation](http://httpd.apache.org/docs/2.2/content-negotiation.html).
 128
 129 lighttpd
 130 --------
 131
 132 lighttpd unfortunately does not support content negotiation.
 133
 134 **FIXME**: does `mod_magnet` provide the functionality needed to
 135  emulate this?
 136
 137
 138 Usage
 139 =====
 140
 141 Templates
 142 ---------
 143
 144 When `po_link_to` is not set to `negotiated`, one should replace some
 145 occurrences of `BASEURL` with `HOMEPAGEURL` to get correct links to
 146 the wiki homepage.
 147
 148 The `ISTRANSLATION` and `ISTRANSLATABLE` variables can be used to
 149 display things only on translatable or translation pages.
 150
 151 ### Display page's versions in other languages
 152
 153 The `OTHERLANGUAGES` loop provides ways to display other languages'
 154 versions of the same page, and the translations' status.
 155
 156 An example of its use can be found in the default
 157 `templates/page.tmpl`. In case you want to customize it, the following
 158 variables are available inside the loop (for every page in):
 159
 160 * `URL` - url to the page
 161 * `CODE` - two-letters language code
 162 * `LANGUAGE` - language name (as defined in `po_slave_languages`)
 163 * `MASTER` - is true (1) if, and only if the page is a "master" page
 164 * `PERCENT` - for "slave" pages, is set to the translation completeness, in percents
 165
 166 ### Display the current translation status
 167
 168 The `PERCENTTRANSLATED` variable is set to the translation
 169 completeness, expressed in percent, on "slave" pages. It is used by
 170 the default `templates/page.tmpl`.
 171
 172 Additional PageSpec tests
 173 -------------------------
 174
 175 This plugin enhances the regular [[ikiwiki/PageSpec]] syntax with some
 176 additional tests that are documented [[here|ikiwiki/pagespec/po]].
 177
 178 Automatic PO file update
 179 ------------------------
 180
 181 Committing changes to a "master" page:
 182
 183 1. updates the POT file and the PO files for the "slave" languages;
 184    the updated PO files are then put under version control;
 185 2. triggers a refresh of the corresponding HTML slave pages.
 186
 187 Also, when the plugin has just been enabled, or when a page has just
 188 been declared as being translatable, the needed POT and PO files are
 189 created, and the PO files are checked into version control.
 190
 191 Discussion pages and other sub-pages
 192 ------------------------------------
 193
 194 Discussion should happen in the language in which the pages are
 195 written for real, *i.e.* the "master" one. If discussion pages are
 196 enabled, "slave" pages therefore link to the "master" page's
 197 discussion page.
 198
 199 Likewise, "slave" pages are not supposed to have sub-pages;
 200 [[WikiLinks|wikilink]] that appear on a "slave" page therefore link to
 201 the master page's sub-pages.
 202
 203 Translating
 204 -----------
 205
 206 One can edit the PO files using ikiwiki's CGI (a message-by-message
 207 interface could also be implemented at some point).
 208
 209 If [[tips/untrusted_git_push]] is setup, one can edit the PO files in one's
 210 preferred `$EDITOR`, without needing to be online.
 211
 212 Markup languages support
 213 ------------------------
 214
 215 [[Markdown|mdwn]] is well supported. Some other markup languages supported
 216 by ikiwiki mostly work, but some pieces of syntax are not rendered
 217 correctly on the slave pages:
 218
 219 * [[reStructuredText|rst]]: anonymous hyperlinks and internal
 220   cross-references
 221 * [[wikitext]]: conversion of newlines to paragraphs
 222 * [[creole]]: verbatim text is wrapped, tables are broken
 223 * [[html]] and LaTeX: not supported yet; the dedicated po4a modules
 224   could be used to support them, but they would need a security audit
 225 * other markup languages have not been tested.
 226
 227 Security
 228 ========
 229
 230 [[po/discussion]] contains a detailed security analysis of this plugin
 231 and its dependencies.
 232
 233 When using po4a older than 0.35, it is recommended to uninstall
 234 `Text::WrapI18N` (Debian package `libtext-wrapi18n-perl`), in order to
 235 avoid a potential denial of service.
 236
 237 TODO
 238 ====
 239
 240 Better links
 241 ------------
 242
 243 Once the fix to
 244 [[bugs/pagetitle_function_does_not_respect_meta_titles]] from
 245 [[intrigeri]]'s `meta` branch is merged into ikiwiki upstream, the
 246 generated links' text will be optionally based on the page titles set
 247 with the [[meta|plugins/meta]] plugin, and will thus be translatable.
 248 It will also allow displaying the translation status in links to slave
 249 pages. Both were implemented, and reverted in commit
 250 ea753782b222bf4ba2fb4683b6363afdd9055b64, which should be reverted
 251 once [[intrigeri]]'s `meta` branch is merged.
 252
 253 An integration branch, called `meta-po`, merges [[intrigeri]]'s `po`
 254 and `meta` branches, and thus has this additional features.
 255
 256 Self links
 257 ----------
 258
 259 If a page contains a WikiLink to itself, ikiwiki does not normally
 260 turn that into a hyperlink. However, if a translated page contains a
 261 WikiLink to itself, a hyperlink is inserted, at least with the default
 262 `po_link_to` the link points to the English version of the page. Is there a
 263 good reason for that to be done? --[[Joey]]
 264
 265 > The commit 0113c69d4fb in my po branch might fix this. --[[intrigeri]]
 266
 267 >> It may fix it in passing, but shouldn't it also be fixed for the other
 268 >> `po_link_to` styles? (Also, if `mybestlink` is going to always
 269 >> just return `bestlink` in this case, there seems no reason to inject
 270 >> it.) --[[Joey]]
 271
 272 Language display order
 273 ----------------------
 274
 275 Jonas pointed out that one might want to control the order that links to
 276 other languages are listed, for various reasons. Currently, there is no
 277 order, as `po_slave_languages` is a hash. It would need to be converted
 278 to an array to support this. (If twere done, twere best done quickly.)
 279 --[[Joey]]
 280
 281 Duplicate %links ?
 282 ------------------
 283
 284 I notice code in the scan hook that seems to assume
 285 that %links will accumulate duplicate links for a page.
 286 That used to be so, but the bug was fixed. Does this mean
 287 that po might be replacing the only link on a page, in error?
 288 --[[Joey]]
 289
 290 > It would replace it. The only problematic case is when another
 291 > plugin has its own reasons, in its `scan` hook, to add a page
 292 > that is already there to `$links{$page}`. This other plugin's
 293 > effect might then be changed by po's `scan` hook... which could
 294 > be either good (better overall l10n) or bad (break the other
 295 > plugin's goal). --[[intrigeri]]
 296
 297 >> Right.. well, the cases where links are added is very small.
 298 >> Grepping for `add_link`, it's just done by link, camelcase, meta, and
 299 >> tag. All of these are supposed to work just link regular links
 300 >> so I'd think that is ok. We could probably remove the currently scary
 301 >> comment about only wanting to change the first link. --[[Joey]]
 302
 303 Name of toplevel index page
 304 ---------------------------
 305
 306 Normally at the top index page of a wiki, you see the wiki name at
 307 the top. However, at the top *translated* index page, you see something
 308 like "index.da". --[[Joey]]
 309
 310 > I suggest changing `Render.pm`, line 115, to replace the `$page eq 'index'`
 311 > test with a predicate call such as isindexpage($page). Such a predicate
 312 > function could then be overriden by the po plugin. --[[intrigeri]]
 313
 314 >> Could do that, but if you have such a function it's natural to want to
 315 >> use it elsewhere. Not clear to me it would make sense for po to override
 316 >> such a function if it were used in some of the other places that compare
 317 >> to index.
 318 >>
 319 >> The other option would be for po to override the template setting.
 320 >> --[[Joey]]
 321
 322 Pagespecs
 323 ---------
 324
 325 I was suprised that, when using the map directive, a pagespec of "*"
 326 listed all the translated pages as well as regular pages. That can
 327 make a big difference to an existing wiki when po is turned on,
 328 and seems generally not wanted.
 329 (OTOH, you do want to match translated pages by
 330 default when locking pages.) --[[Joey]]
 331
 332 Edit links on untranslated pages
 333 --------------------------------
 334
 335 If a page is not translated yet, the "translated" version of it
 336 displays wikilinks to other, existing (but not yet translated?)
 337 pages as edit links, as if those pages do not exist.
 338
 339 That's really confusing, especially as clicking such a link
 340 brings up an edit form to create a new, english page.
 341
 342 This is with po_link_to=current or negotiated. With default, it doesn't
 343 happen..
 344
 345 Also, this may only happen if the page being linked to is coming from an
 346 underlay, and the underlays lack translation to a given language.
 347 --[[Joey]]
 348
 349 Double commits of po files
 350 --------------------------
 351
 352 When adding a new english page, the po files are created, committed,
 353 and then committed again. The second commit makes this change:
 354
 355         -"Content-Type: text/plain; charset=utf-8\n"
 356         -"Content-Transfer-Encoding: ENCODING"
 357         +"Content-Type: text/plain; charset=UTF-8\n"
 358         +"Content-Transfer-Encoding: ENCODING\n"
 359
 360 Same thing happens when a change to an existing page triggers a po file
 361 update. --[[Joey]]
 362
 363 Ugly messages with empty files
 364 ------------------------------
 365
 366 If there are empty .mdwn files, the po plugin displays some ugly messages.
 367
 368 Translation of directives
 369 -------------------------
 370
 371 If a translated page contains a directive, it may expand to some english
 372 text, or text in whatever single language ikiwiki is configured to "speak".
 373
 374 Maybe there could be a way to switch ikiwiki to speaking another language
 375 when building a non-english page? Then the directives would get translated.
 376
 377 Documentation
 378 -------------
 379
 380 Maybe write separate documentation depending on the people it targets:
 381 translators, wiki administrators, hackers. This plugin may be complex
 382 enough to deserve this.