git: tolerate improper configuration of source for development

Often one wants to create a git repo and start doing some explorative
work without setting up the repository on the server.

Allow this by downgrading the error messages to very loud warnings. Will
still fail to build in release mode.

Due to design limitations, multiple warnings may appear, but this might
be considered a good thing by some.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: use policy module to reliably access flags

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: missed variable declaration in _check_git_remote()

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: optionally skip workdir checkout

Skips workdir checkout on git clone, like in older versions of
e2factory.  This may help to speed up fetch-sources of very large repos
and reduces disk space requirements in some scenarios (CI).

It's currently not documented and may go away. For one, configuring it
via the source config is a little awkward.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: commitid and empty branch are not yet ready

Signed-off-by: Tobias Ulmer <tu@emlix.com>

new-source: fix assertion and set up default build-mode

Signed-off-by: Tobias Ulmer <tu@emlix.com>

fetch-sources: more consistent logging

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2tool: access command line options more safely

Signed-off-by: Tobias Ulmer <tu@emlix.com>

policy: wrappers to access command line options

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git.current_branch: fix output

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: _check_git_remote: don't fail with unrelated msg if remote doesn't exist

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: new git_config_table() returns all settings in a dictionary

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: add current_branch()

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: misuse of warnf() should trigger an assertion

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: add experimental support for loading .e2/e2.conf.local

config {} entries in this file will be merged into the regular e2.conf
rmconfig {} entries set to true will be removed from e2.conf

If --e2-config is given, e2.conf.local will not be loaded.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: support e2.conf config.site.tmpdir setting and E2_TMPDIR

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: improve verification of e2.conf some more

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: improve e2.conf verification

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: if branch does not exists, use the remotes branch

Signed-off-by: Tobias Ulmer <tu@emlix.com>

adjust to generic_git.list_refs changes

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: try to disambiguate "remote" and be more explicit

While "origin" can sometimes be part of a ref, it's not a ref. Don't
pretend otherwise.
Attempt to make it more obvious when we're connecting to a remote repo
vs. working on the local repo.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: add git_url_cache to turn server:location into git url

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2build: log build step

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: use arg instead of reinventing the wheel

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: sprinkle some asserts

Signed-off-by: Tobias Ulmer <tu@emlix.com>

assrt: return important arguments similar to assert()

assert() returns all argument, which is easy to do with the C interface
but complicates the Lua code. It also doesn't seem all that useful.

Instead we return the primary argument(s) only.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

use generic_git helper functions

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: make list_refs() a public interface

Optionally takes a git remote string instead of the default "origin"

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: write git archive error messages to debug.log

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: include source name in error message

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: wait: fix log message on EINTR

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2build: for interactive playground use, setup standard file descriptors

Because we request a pty for signaling purposes, interactive use of the
shell isn't possible. To enable interactive use, duplicate the standard
descriptors of the parent and set them up in the child which will end
up being bash.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2build: use e2lib.get_tool_flags_argv_e2_su_2_2

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: e2_su_2_2 factor out tool command construction

e2lib.get_tool_flags_argv_e2_su_2_2 is now used to return the various
possible combinations of e2-su-2.2 calls, ready for arguments to be
inserted.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: extend call_tool_argv to return exit code of tool

Signed-off-by: Tobias Ulmer <tu@emlix.com>

eio: implement dup()

Signed-off-by: Tobias Ulmer <tu@emlix.com>

git: use appropriate wait wrapper

Signed-off-by: Tobias Ulmer <tu@emlix.com>

call e2-su-2.2 and sudo with pty=true

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2tool: disable write buffering for debug.log

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2: install signal handler and dispose our subprocess

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: callcmd: add argument to run command under a pseudo tty

Running under a pseudo tty allows using the TIOCSIG ioctl to terminate
non-user owned processes, in particular setuid programs like e2-su or
sudo.

Various improvements around signal handling during forking, with better
error handling and reporting.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: finish: if we received a signal, exit with the signal code

Receiving a signal causes subsequent errors which hide the true cause
for termination. Make sure we always exit with 128 + signalno and let
the user know that above errors were caused by a signal.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: interrupt_hook: send interrupt to children

note interrupt_hook() no longer terminates e2factory

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: add children_.. functions to track and terminate sub processes

If a child process has an associated pseudo terminal, it's terminated
via TIOCSIG ioctl, otherwise the standard kill() function is used.

Allows us to interrupt root-owned children (eg e2-su, sudo, ...)

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: support waitpid WNOHANG with wait(pid, true)

Signed-off-by: Tobias Ulmer <tu@emlix.com>

Makefile: link against libutil, required by forkpty()

Signed-off-by: Tobias Ulmer <tu@emlix.com>

assrt: pass optional message to assert()

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: close unused sync pipe ends before reading from child

Otherwise we could end up in a situation where we wait for a faulty
child, but hang reading our own pipe.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: handle read EINTR in poll loop

Maybe eio.read() should generally loop on EINTR?

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: rename: don't shadow the errno module

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: wait: format log message

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: handle EINTR in poll() and wait()

Signed-off-by: Tobias Ulmer <tu@emlix.com>

transport: rename file instead of calling mv

Signed-off-by: Tobias Ulmer <tu@emlix.com>

le2lib: block other signals during signal handler execution

Signed-off-by: Tobias Ulmer <tu@emlix.com>

le2lib: add a ioctl(TIOCSIG) wrapper function

Signed-off-by: Tobias Ulmer <tu@emlix.com>

le2lib: add functions to block and unblock signals

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: implement forkpty

Signed-off-by: Tobias Ulmer <tu@emlix.com>

eio: log pipe file descriptors

Signed-off-by: Tobias Ulmer <tu@emlix.com>

le2lib: poll: provide information about POLLERR/POLLHUP/POLLNVAL

Signed-off-by: Tobias Ulmer <tu@emlix.com>

le2lib: return errno value from poll

Signed-off-by: Tobias Ulmer <tu@emlix.com>

le2lib: return errno value from waitpid

Signed-off-by: Tobias Ulmer <tu@emlix.com>

le2lib: stop calling fflush in the fork wrapper

Signed-off-by: Tobias Ulmer <tu@emlix.com>

eio: use luaL_error

Signed-off-by: Tobias Ulmer <tu@emlix.com>

eio: add fflush()

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: if logf() format fails, abort with helpful message

Signed-off-by: Tobias Ulmer <tu@emlix.com>

tools: fix undeclared variable in error message

Signed-off-by: Tobias Ulmer <tu@emlix.com>

files: fix collect project whitespace handling in file names

This closes bz#239.

Also fixes a rare issue with the copying of files into an existing
directory.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2tool: open debug.log after loading e2.conf

Makes debug.log respect config.log.logrotate.
Closes bz#236.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

lock: provide instructions to fix a locked chroot

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: document git_remote_add() and improve remote handling

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: add a few helpers for formatting refs

Signed-off-by: Tobias Ulmer <tu@emlix.com>

files: add support for .tbz2 archives

Signed-off-by: Tobias Ulmer <tu@emlix.com>

fetch-project: enforce mutual exclusivness of --tag and --branch

Signed-off-by: Tobias Ulmer <tu@emlix.com>

fetch-project: fix detached HEAD status when using --branch

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2-new-source: load project after option handling

generic_git: documentation

e2build: display longer more of the scratch buildid

collect_project: in wc-mode, return a scratch buildid

Due to hashing the dependant results of a cp result, the scratch buildid
status was dropped from the buildid. Aside from an unlikely hash collision,
this does not affect other build modes, but is of course not correct.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

policy: document handle_commandline_options

Unify git refs formatting

Signed-off-by: Tobias Ulmer <tu@emlix.com>

generic_git: turn errors into assertion

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: fix locate_project_root

Signed-off-by: Tobias Ulmer <tu@emlix.com>

lock: log errors on cleanup, improve

Signed-off-by: Tobias Ulmer <tu@emlix.com>

err: add tostring() method

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: don't close debuglogfile early, improve performance

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2build: check for chroot removal, add error message for common issue

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2build: clarify creation of directories

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2build: ouch, repair error handling in helper_chroot_remove()

Signed-off-by: Tobias Ulmer <tu@emlix.com>

Improve robustness of signal handling

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2lib: don't call chdir in rmtempdirs

Signed-off-by: Tobias Ulmer <tu@emlix.com>

eio: luaL_argerror never returns, but it helps gcc warnings

Signed-off-by: Tobias Ulmer <tu@emlix.com>

console: set stderr to unbuffered

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2build: use result_build_set to skip build steps

Remove return_flags.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

Introduce build_set and result_build_set.

A build set contains a result build sets for each result we want to
build. The result build set contains all configurable settings, modes,
etc. on a per result basis.
This change disentangles all build specific parameters from the static
project configuration.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

result: split build_config() into builtin_env()

Builtin env requires a BuildID, which in turn requires a fully set up
result with build modes etc. just to figure out the temporary directory.

Thus it makes sense to split build_config() into two methods operations,
with only builtin_env() requiring full setup work.

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2build: fix ldoc tag

Signed-off-by: Tobias Ulmer <tu@emlix.com>

err: fix ldoc tags

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2tool: remove unused print_selection and selected marker

Signed-off-by: Tobias Ulmer <tu@emlix.com>

move build mode and settings into the build process

Signed-off-by: Tobias Ulmer <tu@emlix.com>

e2tool: false is a valid value in settings

Signed-off-by: Tobias Ulmer <tu@emlix.com>