teximg: Make TeX handle preventing unsafe things; remove insufficient blacklist

TeX has configuration options that prevent unsafe things like shell
escapes and insecure file reads/writes.  Turn all of them on.

teximg's regex-based blacklist does not suffice.  For instance:

[[!teximg code="""
\catcode`\%=0
%input{/etc/passwd}
"""]]

Remove the blacklist, since the TeX configuration options seal off the
underlying mechanisms more safely, and the blacklist blocks other TeX
commands that can prove useful.

img: Don't generate new verison of image if it is scaled to be larger in either dimension.

Although imagemagick handles even really large sizes sanely, using a page
file, doing so would just waste time and disk space, since the browser
can be told to resize it larger.

merged

Merge commit 'intrigeri/po'

avoid clobbering origsub if checkconfig runs more than once

checkconfig can run more than once in a single ikiwiki run if setup is
building wrappers. That clobbered the origsub value for bestlink, leading
to infinite recursion

po test suite failure

<pedant>rename depends_exact to depends_simple

It's not "exact" since case munging has to be done, and I think
"simple" captures the optimisation better.</pedant>

With apologies to smcv, who probably has to rebuild his wiki now.

changelpg

Merge commit 'smcv/ready/depends-exact'

response

Merge commit 'smcv/ready/trivia'

Introduce myself

my first edit to this site, please forgive mistakes

Some crude benchmarking on a larger wiki

Merge commit 'origin/master'

Mark as done

Updated branch, thanks for the feedback

Avoid duplicating debug message for building a page due to a dependency

As per Joey's review

Force %depends_exact to lower case, fixing incorrect case-sensitivity

Auto-detect "simple dependencies" instead of requiring callers to use add_depends_exact()

doc/po: report problem with link() + propose patch

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fix link() pagespec when used on translation pages

Signed-off-by: intrigeri <intrigeri@boum.org>

Fix typo in dependency debug message

Add depends_exact: simplified dependency tracking for dependencies on a single page

Let E be the number of dependencies per page of the form "A depends on B and
nothing else", let D be the number of other dependencies per page,
let P be the total number of pages, and let C be the number of changed
pages in a refresh.

This patch should speed up a refresh from O(E*C*P + D*C*P) to
O(C + E*P + D*C*P), assuming that hash lookups are O(1).

In practice, plugins like inline and map produce a lot of these very simple
dependencies, and my album plugin's combination of inline with a large
number of pages causes it to suffer particularly badly.

In testing on a wiki with about 7000 objects (3500 full pages, 3500
images), a full rebuild continued to take about 5:30, and a refresh
after touching about 350 pages and 350 images reduced from 5:30 to 1:30.

As with my previous optimizations, this change will result in downgrades not
working correctly until the wiki is rebuilt.

inline: if using pagenames, don't add a dependency on "page1 or page2 or..."

This is unnecessary and just slows us down (by a factor of 2, in the
pessimal case where every page has an inline with pagenames); it's also
not possible to optimize it into add_depends_exact calls.

Fix typo in underlay.setup

Merge commit 'upstream/master' into prv/po

follow-up

Signed-off-by: intrigeri <intrigeri@boum.org>

doc/po: bug report + patch proposal wrt. inline's post form's rootpage

Signed-off-by: intrigeri <intrigeri@boum.org>

po: better rootpage logic for inline's post form

Set rootpage to the non-l10n'd rootpage parameter if it is set,
else to the masterpage of the linking page.

Signed-off-by: intrigeri <intrigeri@boum.org>

Revert "po: keep masterpage as the rootpage for inline's post form"

This reverts commit cf43ae5a1f5460a98cdd7acb36c0691b2eec988f, which actually
only works when a rootpage parameter is set. A more complete fix will be
written soon.

Merge commit 'upstream/master' into prv/po

po: keep masterpage as the rootpage for inline's post form

Signed-off-by: intrigeri <intrigeri@boum.org>

inline: moved rootpage logic to a function

The po plugin's injected bestlink must do something special when called by this
exact part of inline's code.

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'intrigeri/po'

both changes picked

po: favor the type of linking page's masterpage on page creation

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fix interdiction to create pages of type po

... which was broken by the new page_types code.

Signed-off-by: intrigeri <intrigeri@boum.org>
(cherry picked from commit 1914ae2fd24e1e8021404eae847d70c710f8542d)

doc/po: reported bug + patches wrt. created page type

Signed-off-by: intrigeri <intrigeri@boum.org>

po: favor the type of linking page's masterpage on page creation

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fix interdiction to create pages of type po

... which was broken by the new page_types code.

Signed-off-by: intrigeri <intrigeri@boum.org>

Czech basewiki enabled

Initial Czech translation of basewiki/

merge updates to danish translation from l10n

print which remotes are failing

response

mention ignore branch

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

avoid fetching tags from random remotes

git makes it too easy to get crap tags into origin

Explain my depends-exact branch

htmltidy: Return an error message if tidy fails. Closes: #543722

On second^Wthird^Wfourth thought, putting the message into the page seems
better than using stderr.

fix merged

Merge commit 'intrigeri/po'

fix cherry-picked

po: override the title template variable for coherent homepage titling

Signed-off-by: intrigeri <intrigeri@boum.org>
(cherry picked from commit 6c0f9c691c3df3a2ec30dec626c997623568a400)

change cherry-picked; move to discussion

po(scan): removed scary comment about only wanting to change the first link

Signed-off-by: intrigeri <intrigeri@boum.org>
(cherry picked from commit 3c2bffe21b91684971155ab41b15dacc515b2fc5)

doc/po(self-links): follow-ups

Signed-off-by: intrigeri <intrigeri@boum.org>

po: do not inject custom bestlink function when po_link_to eq default

Signed-off-by: intrigeri <intrigeri@boum.org>

doc/po: follow-up

po: override the title template variable for coherent homepage titling

Signed-off-by: intrigeri <intrigeri@boum.org>

doc/po: follow-up

Signed-off-by: intrigeri <intrigeri@boum.org>

po(scan): removed scary comment about only wanting to change the first link

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'upstream/master' into prv/po

followups

cherry-picked fix for recentchanges links

po: do not beautify urls on the recentchanges page

... else, the recentchanges page shows a link such as "sandbox.es". But,
clicking on it goes to the English (or negotiated language) version of the page.

It is better in this one case if the link goes direct to the translated version
of the page.
(cherry picked from commit 496e8523c6706d096f1b794e3f3ba5dd2fa260f3)

unsure if this patch is enough

forwarded

initial patch proposal

Forgot to mention I have multimarkdown enabled

htmltidy: Print a warning message if tidy fails. Closes: #543722

close; multimarkdown not enabled by default

translation of directives

typo

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

fix emphasis examples to actually work

initial report

suggestion

po: more TODO items comments and patches

po: do not beautify urls on the recentchanges page

... else, the recentchanges page shows a link such as "sandbox.es". But,
clicking on it goes to the English (or negotiated language) version of the page.

It is better in this one case if the link goes direct to the translated version
of the page.

po: commenting some TODO items

po: maybe fixed self links

po: (hopefully) fixed WikiLink to self with po_link_to=default

don't use pagespec_match_list

This should be more efficient than pagespec_match_list since it short-circuits
after the first match is found.

The other problem with using pagespec_match_list here is it may throw an
error if a bad or failing pagespec somehow got into the dependencies.

changelog and news file, also make postinst rebuild on upgrade

Merge commit 'remotes/smcv/ready/remove-pagespec-merge'

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

reply

Revert "Allow add_depends to take an arrayref"

This reverts commit e4cd168ebedd95585290c97ff42234344bfed46c.

There was no benefit to this change.

Merge commit 'smcv/ready/optimize-depends'

Fix example blog's tags/life to not have a broken PageSpec. Closes: #543510

better analysis of why the depends keep growing

at this point I'm down to deciding which specific commits to merge and
which were dead ends

Respond with benchmarks and an updated branch

Indicate that pagespec_merge() is no longer needed (much rejoicing?)

Remove now-unused function pagespec_merge

Now that dependencies are a list of pagespecs with an implicit "or"
operation, there's no need to try to merge pagespecs under normal use.

ikiwiki-transition contains the only use of the function, so move
it there rather than deleting it entirely (it's used to concatenate all
admins' lists of locked pages).

Mark "should optimise pagespecs" as done