kmerge.sh: Don't set USE=build for emerging kernels.

USE=build for kernels means that they're not going to be built and that
we just want to install the sources. In catalyst, we do also want to
build the kernels, so settings the (badly named) USE flag prevents
installing sys-devel/bc, ultimately leading to the kernel build failing.

Remove USE=build from kmerge.sh and let it install dependencies
necessary for actually building the kernel. Fixes Live CD builds with
kernels that require bc (>= 3.9, I believe). See bug 478244.

Tested-by: Ben Kohler <bkohler@gmail.com>

Remove ChangeLog.

git tells us the same information, but better.

chroot-functions: Give variables more appropriate names.

Replace 'system' with '@system' where applicable, to be more greppable.

Fixes a bug inadvertently caused by 6c0a577 where setting update_seed
to no would result in dropping the use and making of binpkgs while
building stage1, which is undesirable.  The conditional was getting a
bit unwieldly, so I added a comment explaining when it matches, which is
especially helpful to those who don't know every single test flag.

Tested-By: Rick Farina <zerochaos@gentoo.org>
Tested-By: Brian Dolbec <dolsen@gentoo.org>

proper lbzip2 decompression of stages

use lbzip2 to decompress stages ONLY, snapshots can be bz2 or xz.
This provides me a 6x increase and likely more if you have fast IO

Revert "use lbzip2 to unpack the stages"

This reverts commit 978c02e6fa04ab7ed1a40003fa0eb4cfce952ca2, missed a
test

use lbzip2 to unpack the stages

Since we already use lbzip2 to compress everthing,
it makes a significant performance difference to
also unpack the stages using lbzip2.  When the stage
compression is selectable this should be enhanced to use
other decompressors as well (although xz doesn't seem to
need a multi-threaded decompressor).

Drop addpatches from the livecd-stage2 example spec as well.

Drop addpatches from the stage4 example spec.

Fix broken "preserve_libs" commit - ";" is not ":".

Make the use of preserved_libs optional by setting the options variable.

Fix bugs 407051 and 458536 by using FEATURES="preserve-libs" on the unmerge step of livecd-stage2 target.

Fix update_seed use by not using nor building binary packages during the seed update.

Add support for m68k

livecdfs-update.sh: Escape ampersands in STARTX sed expression

From sed(1):

  s/regexp/replacement/
    Attempt to match regexp against the pattern space.  If successful,
    replace that portion matched with replacement.  The replacement
    may contain the special character & to refer to that portion of
    the pattern space which matched, and the special escapes \1
    through \9 to refer to the corresponding matching sub-expressions
    in the regexp.

This means that the old expression (with unescaped ampersands) lead
to:

  source /etc/profile ##STARTX##STARTX su - ${first_user} -c startx

when we want:

  source /etc/profile && su - ${first_user} -c startx

with ${first_user} expanded in both cases.

Reviewed-by: Matt Turner <mattst88@gmail.com>

doc/HOWTO.txt: Explain how to run catalyst without installing

Thanks to Chris White for explaining this to me.

Reviewed-by: Matt Turner <mattst88@gmail.com>

files/.gitignore: Ignore $(DOCS) and $(DOC_SIDE_EFFECTS)

These are generated by the Makefile from sources in doc/.

Reviewed-by: Matt Turner <mattst88@gmail.com>

Makefile: Add DOCS for building files/HOWTO.html

The rules are more general though; any new *.txt file in doc/ that
doesn't match *.?.txt or one of the explicitly-listed *.generated.txt
files will be automatically built and distributed.

The generated `files/docbook-xsl.css` is a side effect of the xhtml
target.

Reviewed-by: Matt Turner <mattst88@gmail.com>

doc/HOWTO: First pass at a gentle Catalyst introduction

Reviewed-by: Matt Turner <mattst88@gmail.com>

Whitespace cleanup.

Run the following command to cleanup whitespace.
  for FILE in $(git ls-tree -r --name-only HEAD | grep -v 'bz2$'); do
    sed -i 's/[[:space:]]*$//' "$FILE"
  done
  git checkout COPYING ChangeLog

Reviewed-by: Matt Turner <mattst88@gmail.com>

create-iso.sh: add usb boot via isohybrid

Add an isohybrid call to create-iso.sh for isolinux targets so the resulting
images are usb/hdd bootable.

kmerge.sh: Fix line wrapping typo from 9ceebbf

In 9ceebbf (kmerge.sh: Make /var/tmp/${clst_kname}.config optional,
2013-02-09), I added a KERNCACHE check to a `[` test, wrapping the two
clauses in the test to avoid a very long line.  Unfortunately,
newlines do not appear to be legal in this position.  For example:

  $ if [ -n "a" -a
  > -n "b" ]; then echo "c"; fi
  bash: [: missing `]'
  bash: -n: command not found

This commit fixes the error by explicitly wrapping the line with a
backslash.

Reviewed-by: Matt Turner <mattst88@gmail.com>

kmerge.sh: Make /var/tmp/${clst_kname}.config optional

For users that don't want to specify a seed config.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target: Handle unspecified boot/kernel/<kname>/config

If boot/kernel/<kname>/config is not set, make _copy_kernel_config a
no-op.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target: Split ._copy_initramfs_overlay() from ._build_kernel()

_copy_initramfs_overlay() is long enough that it makes reading
_build_kernel() difficult.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target.py: Dedent the bulk of ._build_kernel()

At the beginning of the function, we check for an autoresume point.
If we find it, just return.  This allows us to dedent the `else` block
that had been handling the no-autoresume-found case.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target: Split ._copy_kernel_config() from ._build_kernel()

_copy_kernel_config() is one idea with a bunch of error handling.
Isolating it in its own function makes _build_kernel() easier to read.

Reviewed-by: Matt Turner <mattst88@gmail.com>

generic_stage_target: Split ._build_kernel() out of .build_kernel()

The indentation was getting too deep ;).  This also makes the
single-kernel-building code more digestible, by removing the
multiple-kernel looping and error handling from the function you're
reading.

Reviewed-by: Matt Turner <mattst88@gmail.com>

Make sure shutil.rmtree() isn't passed a symlink

Bugzilla: https://bugs.gentoo.org/show_bug.cgi?id=455022
Reviewed-by: Matt Turner <mattst88@gentoo.org>

Add hppa support for netboot 2 target

Bugzilla: https://bugs.gentoo.org/show_bug.cgi?id=455018
Reviewed-by: Matt Turner <mattst88@gentoo.org>

don't build packages during update_seed

when update_seed is run it uses the default catalyst emerge options
which causes binary packages to be built which are linked against the
seed stage rather than the generated stage.  These binary packages
can be later used and cause significant and odd issues due to being
linked to older libraries.  I am passing "--buildpkg=n" for the
update_seed runs to prevent this issue and close bug #454184

make bindist optional

After the recent fixes which ensure the bindist use flag
is always set, users now have no way to disable this flag.
This patch introduces the new "bindist" feature, enabled by
default, which will allow users to turn off bindist if
they are not going to redistribute the builds (or for
tinderbox testing, etc).

Use update_seed_command, as documented

Not update_command. Bug in 4dc9de30.

Use 'in' instead of deprecated has_key()

Since Python 2.2 'in' has been preferred to has_key() since it is
shorter, more readable, and faster. has_key() has been deprecated since
2.6 and was removed in 3.0.

See:
http://www.python.org/dev/peps/pep-0290/#testing-dictionary-membership

Mostly scripted with
sed -i -e 's/if \(not \)\?\(.*\)\.has_key(\(.*\))/if \3 \1in \2/'

bug fix wrt 443024, recent changes to use lbzip2 were too agressive
and we should only be using lbzip2 OUTSIDE the chroot, inside the
chroot we don't have lbzip2 available at this time.

ppc: Remove -fno-strict-aliasing from CFLAGS

Added temporarily in 2004 (commit b010c1bd) for gcc-3.3.3/nptl. Time to
go.

Fixes https://bugs.gentoo.org/show_bug.cgi?id=449240

Do not "highly recommend" ccache

ccache has a history of causing strange problems, and Gentoo recommends
disabling it before reporting bugs. As such, we shouldn't highly
recommend it. See http://en.gentoo-wiki.com/wiki/Ccache#Caveats

Suggested-and-Acked-by: Rick "Zero_Chaos" Farina <zerochaos@gentoo.org>

Fix broken syntax in previous commit.

Rework update_seed support.
Split it between update_seed (do we want to update the seed or not) and update_seed_command (custom command to run when updating).
The later is left for advanced uses / users. If not present, catalyst will update gcc deps.

catalyst 2.0.12.2

Make sure we always append bindist use flag to all targets.

Clean-up the dirs we remove on stage1 target (stop cleaning old non-existant python dirs).

Document the update_seed option

Use update_seed's argument as an argument list to emerge

Previously, update_seed caused the seed stage to be updated with
--update --deep --newuse @world. This proved to be unnecessary in the
majority of cases.

Simply give run_merge the previously unused argument of update_seed as
an argument list. This allows updating select packages in a seed stage.

We need to specify the chroot_path to the chmod call.

Make sure the files we try to execute in the chroot are marked as executable.

re-apply "Revert "Use relative path.""

re-apply "Make sure we have ${destdir} on copy_to_chroot and simplify exec_in_chroot.""

RE-Apply Mike's suggested patch to fix the setting of +x on copy_to_chroot - bug 434252.

more forcing of python2 for make dist

catalyst 2.0.12.1

fix issue introduced by commit c57b514c2295df27eafe57dfb1452b486e9c547b by reverting
original as well as 17b34223a4afc1f070ac2fb9bdfb51e47c03db61 and
7be5b3b53cd0f89f954845ea9fd885a73cc0aedc

fix issue where extra "tmpfs" folder was created in cwd for no reason

Revert "Apply Mike's suggested patch to fix the setting of +x on copy_to_chroot - bug 434252."

This reverts commit c57b514c2295df27eafe57dfb1452b486e9c547b.

Revert "Make sure we have ${destdir} on copy_to_chroot and simplify exec_in_chroot."

This reverts commit 17b34223a4afc1f070ac2fb9bdfb51e47c03db61.

Revert "Use relative path."

This reverts commit 7be5b3b53cd0f89f954845ea9fd885a73cc0aedc.

prevent creating pointless "tmpfs" dir

It seems we are automatically creating the src dir we are trying to mount,
although that whole idea is a little wierd, for now I'll just prevent it
from doing that when mounting a tmpfs.

fix make dist for python2

catalyst 2.0.12

add more lbzip2 support

Matt Turner on commit 166a23995f9ca2356cfb2722df37f13c54bffcfd added in
support for lbzip2 use in compression. This extends his patch as much as
possible for decompression as well.

Do not break autopoint by cleaning out /usr/share/gettext in stage1

The problem comes in stage3 when you have packages that inherit autotools.eclass.
The eclass may make use of gettext and run autopoint which will fail if it doesn't
find  /usr/share/gettext/archive.dir.tar.gz.

X-Gentoo-Bug: 439636
X-Gentoo-Bug-URL: https://bugs.gentoo.org/show_bug.cgi?id=439636
Signed-off-by: Anthony G. Basile <blueness@gentoo.org>

keep logs outside of chroot

Every time stage build is restarted, the build logs of the previous run
are lost. This new feature allows the logs to be kept outside the chroot
and thus protected from purging. This new feature forces portage to use
FEATURES="clean-logs" no matter what, but it should have no effect on
users not using the new functionality added by this patch.

This new function is DISABLED per default due to a lack of feedback,
however, it is highly suggested that this is made default for the next
release cycle.

initial support for /var/tmp/portage in tmpfs

recently a bug in ZFS completely preventing building on my host system,
due to this fact I hacked in this support to get around the issue.
Since building in tmpfs can speed things significantly I've added the
support properly and optionally. Hopefully others like this as much as
I do.
My motivation: https://bugs.gentoo.org/show_bug.cgi?id=411555
Thanks to jmbsvicetto and dol-sen for helping me read catalyst.

fix order of stage1 portage updates

Reorder things based on proper understanding of stage1 builds.
This allows a slight reduction in redundancy.

setup portage before updating seed_cache

When updating of seed_cache support was added it was added before portage
was setup/updated. We always was portage first.

prevent cleaning .a files

The releng specs already remove all the static libs from the system
We do not need to do it with catalyst as this breaks all other livecds

Use lbzip2 for tar.bz2

Fix the breakage of /lib on amd64 caused by tar replacing the symlink with a dir.

The emerge option is newuse and not new.

Stop passing ${clst_root_path} and /tmp/stage1root to exec_in_chroot.

Use relative path.

Make sure we have ${destdir} on copy_to_chroot and simplify exec_in_chroot.

Apply Mike's suggested patch to fix the setting of +x on copy_to_chroot - bug 434252.

mips.py: Add loongson3a classes

Don't emerge ccache/distcc/icecream with --nodeps

ccache-3.1.8 changed to using tar.xz sources, which exposed a problem in
catalyst where an old stage without xz would fail to seed a new stage
using ccache.

ccache's dependencies are zlib (and xz for >=ccache-3.1.8). distcc's are
already part of stages: dev-libs/popt, virtual/pkgconfig, and
sys-devel/gcc-config. icecream has no dependencies (???).

Emerging with --nodeps only has the potential to cause problems.

Whitespace.

Whitespace.

Whitespace.

Whitespace.

Replace "." with "source".

add x32 abi

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Update version to prepare the 2.0.11 release.

Fix optional update of seed_stage.

We need to quote UPDATE_SEED_STAGE or the test will always return sucess.

We want update_seed to be optional.

Fix whitespace \t != ' '

Add armv6j_hardfp

Signed-off-by: Raúl Porcel (armin76) <armin76@gentoo.org>
Signed-off-by: Jorge Manuel B. S. Vicetto (jmbsvicetto) <jmbsvicetto@gentoo.org>

Signed-off-by: Daniel Solano Gómez <gentoo@sattvik.com>
Signed-off-by: Jorge Manuel B. S. Vicetto (jmbsvicetto) <jmbsvicetto@gentoo.org>
Fixes 'HOSTUSER' typo for Pentium M
Adds CHOST for Prescott

Let's see if we can update the seed stage and fix bug 397505.

Add initial support to update the seed stage on stage1 - bug 397505.

This patch adds in support for automatically detecting and decompressing
both formats gentoo currently ships portage snapshots in. To make the
change as minimal as possible I am using recent gnu/bsd tar ability to
automatically pick the correct format and decompress. This should work
on all gentoo supported platforms including linux, freebsd, and
prefix-macosx.

Signed-off-by: Rick Farina <sidhayn@gmail.com>
Signed-off-by: Jorge Manuel B. S. Vicetto (jmbsvicetto) <jmbsvicetto@gentoo.org>

We need to set the profile before trying to determine what packages to build.

Set the profile by calling eselect.

Create /etc/portage on stage1-controller.
Also update the copy of make.conf to use /etc/portage instead of /etc. Stop copying make.profile as it's set by eselect inside the chroot.

Stop dropping /etc/portage and instead drop only its contents.
This prevents breakage on later stages as stage1 is the only one that creates /etc/portage.

Drop config_profile_link from the action_sequence for the generic stage.
Instead of creating the profile from python, we're going to use eselect to pick the profile inside the chroot.

Stop dropping /etc/portage on stage2. Also drop the custom cleanables from stage2.

Whitespace.

Update maintainer and copyright dates

Update copyright date on ChangeLog

Update catalyst version. I messed up the tag so the new release is going to be 2.0.10.1.
Signed-off-by: Jorge Manuel B. S. Vicetto (jmbsvicetto) <jmbsvicetto@gentoo.org>