livecdfs-update.sh: Escape ampersands in STARTX sed expression

From sed(1):

  s/regexp/replacement/
    Attempt to match regexp against the pattern space.  If successful,
    replace that portion matched with replacement.  The replacement
    may contain the special character & to refer to that portion of
    the pattern space which matched, and the special escapes \1
    through \9 to refer to the corresponding matching sub-expressions
    in the regexp.

This means that the old expression (with unescaped ampersands) lead
to:

  source /etc/profile ##STARTX##STARTX su - ${first_user} -c startx

when we want:

  source /etc/profile && su - ${first_user} -c startx

with ${first_user} expanded in both cases.

Reviewed-by: Matt Turner <mattst88@gmail.com>

doc/HOWTO: First pass at a gentle Catalyst introduction

Reviewed-by: Matt Turner <mattst88@gmail.com>

create-iso.sh: add usb boot via isohybrid

Add an isohybrid call to create-iso.sh for isolinux targets so the resulting
images are usb/hdd bootable.

Fix bugs 407051 and 458536 by using FEATURES="preserve-libs" on the unmerge step of livecd-stage2 target.

update version to identify the rewite-git code is being run

fix indent.

Fix broken seed stage update...

Add a check for the update_seed option to set the correct update options.
Fix default seed stage update command to properly update gcc and it's deps.
Add --binpkg-respect-use=y for all cases --usepkg is enabled.
Apply patch to fix broken if logic in the setup_emergeoptions() by Douglas Freed <dwfreed@mtu.edu> and rebase

Fix typo in error message, clean up useless tracebacks

Remove useless python tracebacks for bash side target failures.

update gitignore

mixed spaces/tabs and indent cleanup.

Migrate hardcoded /etc/portage paths

Create "port_conf" default.
Migrate all references to /etc/portage to the config's default.
Migrate all make.conf paths to the config'd default.

Fix a bug that portage didn't get rebuilt with the build use flag

If clst_PGKCACHE is defined, --newuse was not being added to clst_myemergeopts, so then portage was not being rebuilt if portage was already up to date.

Add archdir to settings

Commit my testpath file with instructions to run the git checkout code directly without being installed.

FIXME! Add a forced debug print statement in cmd() for better debug output

Migrate this and other code to use python's logging module.

Remove trailing slash for consistency in variables

remove extra slashes in paths,
fix hash header

Fix a relative path bug

Add '--- 'to at the start of all echo messages to aid debugging

Make shdir a complete path to ease it's use.

Add a "shdir" setting to config.
This is to make moving the bash code around easier.
It also reduces more hardcoded paths in the bash scripts.
Migrate all target shell scripts to use the new shdir setting

Extend ParserBase to do variable substitution.

Also add embedded variable substitiution to default settings.
Why are we not using python's built-in ConfigParser?
We'll migrate it later.

reduce 2 operations into one simpler one

rename a make.conf key to make_conf due to bash variable name restrictions

Break out more repeated (path1 + path2)'s...

Just do it once and use the temp variable.
Comment out some debug print's.
Fix options conversion for export to bash.

FIXME! Comment out a small code block causing TypeError.

This was also short circuiting another large code block.  FIXME!!!! This
whole class seems overly complicated with TOO MANY nested try:excepts:

Rename all target .py files and classes without _target in them.

This is so they are the named the same as the target .sh files
and work with the now simplified module loading.

chmod +x all sh scripts so they can run from the git checkout

Use normpath from support

Fix mounts, mountmap hardcoding removal...

Use normpath to fix paths, add some debug print statements,
Fix some missed conversions from uppercase to lowercase settings members.

fix options being reset by a config file

Update module loading for the new python structure, rename snapshot_target to snapshot

Move base stage and target files to thier own sub-pkg

Fix an indent error in grp_target.py

remove redundant /bin/bash additions in cmd() calls

some spacing and comment and indent cleanup, etc.

Begin splitting up generic_stage_target into smaller code blocks.

This so snapshot_target does not need to import it since most of it was
not used or initialized properly.

Massive pyflakes import cleanup and broken CatalystError calls.

Replace "import *" with named imports, remove unused imports.
Fix broken CatalystError usage.

Move LockInUse from support.py to lock.py, fix bad execption raising,  pyflakes cleanup

Some options cleanup, unifying their use, reducing redundancy.

Move confdefaults out of main.py

Initial creation of a defaults file and Split up support.py

Split out hash and contents to their own classes, files.

Fix undefined variable: RLIMIT_NOFILE

It was not imported from resource, it was also not used correctly.

Remove unused variable new and an undefined variable s.

Commit b3475906d5f51a21ecaf4ff048002a2f44face52 introduced an
undefined variable "s".  The code must always be hitting the
general except: pass block.  Seems useless, if not maybe it'll
spit out a true error, so the real problem can be fixed.  Removed it all.

Remove unused urllib import.

This urllib import was added in commit 64c16cae70da13de3c55d8555a2e4c5dcdf2fcad
to fix an issue, but it is not used.  So must have covered up the real bug.  Removing it now
that I've completed some testing and haven't come across anything I can attribute to it.

rename files directory to etc to better reflect the directories contents

rename the modules subpkg to targets, it better reflects what it contains

move catalyst_support, builder, catalyst_lock out of modules, into the catalyst's base namespace

fix catalyst_support import to new location and specify imported modules

update the module loading paths for the new locations

add __init__.py's to modules and arch sub-pkgs

new minimal start script

Initial rearrangement of the python directories

cleanup long lines, improve usage() output formatting slightly

Remove self.mounts and self.mountmap's use of paths for keys and paths.

Migrate more hardcoded paths to use settings variables instead.

Add more configured defaults

Use the new configured snapshot_name and portdir settings
Use the portdir setting rather than hard-coded path

Whitespace cleanup.

Run the following command to cleanup whitespace.
  for FILE in $(git ls-tree -r --name-only HEAD | grep -v 'bz2$'); do
    sed -i 's/[[:space:]]*$//' "$FILE"
  done

kmerge.sh: Make /var/tmp/${clst_kname}.config optional

For users that don't want to specify a seed config.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target: Handle unspecified boot/kernel/<kname>/config

If boot/kernel/<kname>/config is not set, make _copy_kernel_config a
no-op.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target: Split ._copy_initramfs_overlay() from ._build_kernel()

_copy_initramfs_overlay() is long enough that it makes reading
_build_kernel() difficult.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target.py: Dedent the bulk of ._build_kernel()

At the beginning of the function, we check for an autoresume point.
If we find it, just return.  This allows us to dedent the `else` block
that had been handling the no-autoresume-found case.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target: Split ._copy_kernel_config() from ._build_kernel()

_copy_kernel_config() is one idea with a bunch of error handling.
Isolating it in its own function makes _build_kernel() easier to read.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target: Split ._build_kernel() out of .build_kernel()

The indentation was getting too deep ;).  This also makes the
single-kernel-building code more digestible, by removing the
multiple-kernel looping and error handling from the function you're
reading.

Reviewed-by: Matt Turner <mattst88@gmail.com>

Make sure shutil.rmtree() isn't passed a symlink

Bugzilla: https://bugs.gentoo.org/show_bug.cgi?id=455022
Reviewed-by: Matt Turner <mattst88@gentoo.org>

Add hppa support for netboot 2 target

Bugzilla: https://bugs.gentoo.org/show_bug.cgi?id=455018
Reviewed-by: Matt Turner <mattst88@gentoo.org>

don't build packages during update_seed

when update_seed is run it uses the default catalyst emerge options
which causes binary packages to be built which are linked against the
seed stage rather than the generated stage.  These binary packages
can be later used and cause significant and odd issues due to being
linked to older libraries.  I am passing "--buildpkg=n" for the
update_seed runs to prevent this issue and close bug #454184

make bindist optional

After the recent fixes which ensure the bindist use flag
is always set, users now have no way to disable this flag.
This patch introduces the new "bindist" feature, enabled by
default, which will allow users to turn off bindist if
they are not going to redistribute the builds (or for
tinderbox testing, etc).

Use update_seed_command, as documented

Not update_command. Bug in 4dc9de30.

Use 'in' instead of deprecated has_key()

Since Python 2.2 'in' has been preferred to has_key() since it is
shorter, more readable, and faster. has_key() has been deprecated since
2.6 and was removed in 3.0.

See:
http://www.python.org/dev/peps/pep-0290/#testing-dictionary-membership

Mostly scripted with
sed -i -e 's/if \(not \)\?\(.*\)\.has_key(\(.*\))/if \3 \1in \2/'

bug fix wrt 443024, recent changes to use lbzip2 were too agressive
and we should only be using lbzip2 OUTSIDE the chroot, inside the
chroot we don't have lbzip2 available at this time.

ppc: Remove -fno-strict-aliasing from CFLAGS

Added temporarily in 2004 (commit b010c1bd) for gcc-3.3.3/nptl. Time to
go.

Fixes https://bugs.gentoo.org/show_bug.cgi?id=449240

Do not "highly recommend" ccache

ccache has a history of causing strange problems, and Gentoo recommends
disabling it before reporting bugs. As such, we shouldn't highly
recommend it. See http://en.gentoo-wiki.com/wiki/Ccache#Caveats

Suggested-and-Acked-by: Rick "Zero_Chaos" Farina <zerochaos@gentoo.org>

Fix broken syntax in previous commit.

Rework update_seed support.
Split it between update_seed (do we want to update the seed or not) and update_seed_command (custom command to run when updating).
The later is left for advanced uses / users. If not present, catalyst will update gcc deps.

catalyst 2.0.12.2

Make sure we always append bindist use flag to all targets.

Clean-up the dirs we remove on stage1 target (stop cleaning old non-existant python dirs).

Document the update_seed option

Use update_seed's argument as an argument list to emerge

Previously, update_seed caused the seed stage to be updated with
--update --deep --newuse @world. This proved to be unnecessary in the
majority of cases.

Simply give run_merge the previously unused argument of update_seed as
an argument list. This allows updating select packages in a seed stage.

We need to specify the chroot_path to the chmod call.

Make sure the files we try to execute in the chroot are marked as executable.

re-apply "Revert "Use relative path.""

re-apply "Make sure we have ${destdir} on copy_to_chroot and simplify exec_in_chroot.""

RE-Apply Mike's suggested patch to fix the setting of +x on copy_to_chroot - bug 434252.

more forcing of python2 for make dist

catalyst 2.0.12.1

fix issue introduced by commit c57b514c2295df27eafe57dfb1452b486e9c547b by reverting
original as well as 17b34223a4afc1f070ac2fb9bdfb51e47c03db61 and
7be5b3b53cd0f89f954845ea9fd885a73cc0aedc

fix issue where extra "tmpfs" folder was created in cwd for no reason

Revert "Apply Mike's suggested patch to fix the setting of +x on copy_to_chroot - bug 434252."

This reverts commit c57b514c2295df27eafe57dfb1452b486e9c547b.

Revert "Make sure we have ${destdir} on copy_to_chroot and simplify exec_in_chroot."

This reverts commit 17b34223a4afc1f070ac2fb9bdfb51e47c03db61.

Revert "Use relative path."

This reverts commit 7be5b3b53cd0f89f954845ea9fd885a73cc0aedc.

prevent creating pointless "tmpfs" dir

It seems we are automatically creating the src dir we are trying to mount,
although that whole idea is a little wierd, for now I'll just prevent it
from doing that when mounting a tmpfs.

fix make dist for python2

catalyst 2.0.12

add more lbzip2 support

Matt Turner on commit 166a23995f9ca2356cfb2722df37f13c54bffcfd added in
support for lbzip2 use in compression. This extends his patch as much as
possible for decompression as well.

Do not break autopoint by cleaning out /usr/share/gettext in stage1

The problem comes in stage3 when you have packages that inherit autotools.eclass.
The eclass may make use of gettext and run autopoint which will fail if it doesn't
find  /usr/share/gettext/archive.dir.tar.gz.

X-Gentoo-Bug: 439636
X-Gentoo-Bug-URL: https://bugs.gentoo.org/show_bug.cgi?id=439636
Signed-off-by: Anthony G. Basile <blueness@gentoo.org>

keep logs outside of chroot

Every time stage build is restarted, the build logs of the previous run
are lost. This new feature allows the logs to be kept outside the chroot
and thus protected from purging. This new feature forces portage to use
FEATURES="clean-logs" no matter what, but it should have no effect on
users not using the new functionality added by this patch.

This new function is DISABLED per default due to a lack of feedback,
however, it is highly suggested that this is made default for the next
release cycle.

initial support for /var/tmp/portage in tmpfs

recently a bug in ZFS completely preventing building on my host system,
due to this fact I hacked in this support to get around the issue.
Since building in tmpfs can speed things significantly I've added the
support properly and optionally. Hopefully others like this as much as
I do.
My motivation: https://bugs.gentoo.org/show_bug.cgi?id=411555
Thanks to jmbsvicetto and dol-sen for helping me read catalyst.

fix order of stage1 portage updates

Reorder things based on proper understanding of stage1 builds.
This allows a slight reduction in redundancy.

setup portage before updating seed_cache

When updating of seed_cache support was added it was added before portage
was setup/updated. We always was portage first.

prevent cleaning .a files

The releng specs already remove all the static libs from the system
We do not need to do it with catalyst as this breaks all other livecds

Use lbzip2 for tar.bz2

Fix the breakage of /lib on amd64 caused by tar replacing the symlink with a dir.

The emerge option is newuse and not new.

Stop passing ${clst_root_path} and /tmp/stage1root to exec_in_chroot.