drop support for Python 2.x

adapt to python3-magic/2:0.4.15-1 API

add module dedup.filemagic

This module is not used anywhere and thus its dependency on
python3-magic is not recorded in the README. It can be used to guess the
file type by looking at the contents using file magic. It is not a
typical hash function, but it can be used for repurposing dedup for
other analysers.

fix HashBlacklistContent.copy

It wasn't copying the stored member and thus could be blacklist "wrong"
content after a copy.

autoimport: fix regresion in url computation

The list path got inadvertently prepended to all binary package urls.

Fixes: 420804c25797 ("autoimport: improve fetching package lists")

repository moved

DecompressedStream: fix decompression without flush

In Python 3.x, lzma.LZMADecompressor doesn't have a flush method.

autoimport: fix hash check

Fixes: 2f12a6e2f426 ("autoimport: add option to skip hash checking")

autoimport: improve fetching package lists

Moving the fetching part into dedup.utils. Instead of hard coding the
gzip compressed copy, try xz, gz and plain in that order. Also take care
to actually close the connection.

use urlopen from urllib2 on py2

This causes non-successful fetches to result in HTTPErrors like it does
in py3 already.

move dedup.debpkg.process_control back into importpkg

After all, it isn't that generic. It knows what information is necessary
for running dedup. Thus it really belongs to the extractor subclass.
By building on handle_control_info, not that much parsing logic is left
in the extractor subclass.

DebExtractor: implement parsing of control.tar

importpkg: fix --hash broken in previous commit

remove curl dependency

Teach importpkg how to download urls using urlopen and thus remove the
need for invoking curl.

autoimport: add option to skip hash checking

For variations of dedup, that do not consume the data.tar member, this
option can save significant bandwidth.

autoimport: stream package list and use generic decompressor

 * streaming means that we do not need to hold the entire package list
   in memory (but the pkgs dict will become large anyway).
 * The decompress utility allows easily switching to e.g. xz which is
   the only compression format for the dbgsym suites.

DecompressedStream: implement readline

Iteration over file-like is required by deb822.Packages.iter_paragraphs.

move from deprecated optparse to argparse

treat Pre-Depends like regular Depends

The former behaviour was ignoring them. The intended use for dedup is to
know whenever a package unconditionally requires another package.

push more functionality into DebExtractor

The handle_ar_member and handle_ar_end methods now have a default
implementation adding further handlers handle_debversion,
handle_control_tar and handle_data_tar.

In that process two additional bugs were fixed:
 * decompress_tar was wrongly passing errors="surrogateescape" for
   Python 2.x even though that's only supported for Python 3.x.
 * The use of decompress actually passes the extension as unicode.

use same Python version for autoimport and importpkg

The autoimport tool runs the Python interpreter explicitly. Instead of
invoking just "python" and thus calling whatever the current default is,
use sys.executable which is the interpreter used to run autoimport, thus
locking both to the same Python version.

support Python 3.x in importpkg

In Python 2.x, TarInfo.name is a bytes object. In Python 3.x,
TarInfo.name always is a unicode object. To avoid importpkg crashing
with an exception, we direct the Python 3.x decoding to use
surrogateescapes. Thus decoding the name boils down to checking whether
it contains surrogates.

decouple a function decompress out of decompress_tar

Building on the previous commit, add a decompress function that turns a
compressed filelike into a decompressed filelike. Use it to decouple the
decompression step.

extend functionality of DecompressedStream

It now supports:
 * tell()
 * seek(absolute_position), forward only
 * close()
 * closed

This is sufficient for putting it as a fileobj into tarfile.TarFile. By
doing so we can decouple decompression from tar processing, which eases
papering over the Python 2.x vs Python 3.x differences.

importpkg: move the hash function list to the extractor class

They really are an aspect of the particular extractor and can easily be
changed by subclassing.

add a class DebExtractor for guiding feature extraction

It is supposed to separate the parsing of Debian packages (understanding
how the format works) from the actual feature extraction. Its goal is to
simplify writing custom extractors for different feature sets.

add a validate method to HashedStream

importpkg: use yaml dumper directly

Instead of carefully crafting an iterator to pass to yaml.safe_dump_all,
we simply take control on our own and call represent on a yaml dumper
object where needed.

importpkg: refactor commit handling out of process_package*

urlopen moved from urllib to urllib.request in py3k

process_control: do not encode to ascii

Otherwise the yaml will contain binary strings on py3k which end up as
binary data in the sqlite database. In py2, yaml can handle those
unicode objects just fine.

tempfile.mkdtemp does not like bytes in py3k

unquote moved from urllib to urllib.parse in py3k

element access on bytes yields int in py3k

zlib.crc32 behaves inconsistently on py2 vs py3

zlib.crc32 returns a int32_t on py2 and a uint32_t on py3.

there is no itertools.imap in py3k

use binary stdin on py3k

distinguish bytes from unicode for py3k

importpkg: be more liberal in control file naming

While in current sid packages the control file in control.tar is always
named "./control", some older packages name it "control".

improve schema documentation

wording, more NOT NULLs, some more explanations

add documentation to schema.sql

Thanks to Peter Palfrader for explaining what information is needed and
reviewing the documentation.

update copyright information

importpkg: reduce copy&paste

importpkg: add support for data.tar.lzma

Creating packages with lzma compression has been deprecated since dpkg
1.16.4, but there might be some of those in the wild and supporting them
is strightforward when xz is already supported.

Signed-off-by: Guillem Jover <guillem@debian.org>

importpkg: add support for control.tar and control.tar.xz

dpkg supports those since 1.17.6.

Signed-off-by: Guillem Jover <guillem@debian.org>

dedup.arreader: remove trailing slash from ar members

The GNU ar format adds a trailing slash to the member names, normalize
the member names to take this into account.

Signed-off-by: Guillem Jover <guillem@debian.org>

webapp: allow git-like hash truncation

autoimport: support protocols besides http

schema: make syntax compatible with postgres

Merge branch updatesharing-eqclass

spell check comments

fix spelling mistake

Reported-By: Stefan Kaltenbrunner

webapp: fix eqclass usage in package comparison

When comparing two packages, objects would be considered duplicates
without considering whether the respective hash functions are comparable
by checking their equivalence classes. The current set of hash functions
does not expose this bug.

update_sharing: weaken assumptions about db layout

Hash functions are partitioned into equivalence classes. We are
generally only interested in sharing among hash functions with the same
equivalence class, but the algorithm would compute any sharing. While
the current layout never produces the same hashes for functions in
difference equivalence classes (for different output length), that may
change in future.

Also allow hash functions, that belong to no equivalence class at all
(eqclass = NULL) as a means to add additional metadata to content
without computing any sharing for it.

blacklist content rather than hashes

Otherwise the gzip hash cannot tell the empty stream and the
compressed empty stream apart.

GzipDecompressor: don't treat checksum as garbage trailer

DecompressedHash should fail on trailing input

Otherwise all files smaller than 10 bytes are successfully hashed to the
hash of the empty input when using the GzipDecompressor.

Reported-By: Olly Betts

work around python-debian's #670679

webapp: open cursors less often

On the main instance opening cursors equals initiating a connection.
Unfortunately sqlite3.Connection.close does not close filedescriptors.
So just open less cursors to leak filedescriptors less often.

webapp: close database cursors

Leaking them can result in running out of available filedescriptors.

webapp: serve static files from /static

add option -d --database for db path to all scripts

autoimport: avoid hard coded temporary directory

importpkg: move library-like parts to dedup.debpkg

importpkg: don't blacklist boring gzip_sha512 hashes

 * In practise there are very few compressed files with trivial hashes.
 * Blacklisting these values results in false positives in the gzip
   issues.

make debian version_compare available in sql

webapp templates: add an anchor for file issues

model comparability as an equivalence relation

webapp has had a relation hash_functions, that modeled "comparable
functions". Images should not be compares to other files, since it makes
no sense to store them as the RGBA stream, that is being hashed. This
comparability property resembles an equivalence relation. So the
function table gains a column eqclass. Each class is represented by a
number and functions are statically assigned to these classes. Now the
filtering happens in SQL instead of Python.

support hashing gif images

 * Rename "image_sha512" to "png_sha512".
 * dedup.image.ImageHash is now a base class for image hashes such as
   PNGHash and GIFHash.
 * Enable both hashes in importpkg.
 * Fix README.
 * Add new hash combinations to webapp.
 * Add "gif file not named *.gif" to issues in update_sharing.
 * Add redirect for "image_sha512" to webapp for backwards
   compatibility.

templates/binary: space between package and compare

templates: wiki.d.o redirects to https now

fix update_sharing to work after functionid merge

importpkg.py: support uncompressed data.tar

also move the static directory into the dedup package

move templates to dedup package

They cluttered webapp.py and now vim can give proper highlighting for
the templates.

verify package hashes when importing via http

Merge branch functionid

Actual savings on the full data set are around 7%.

Conflicts:
README

display "issues" with files in package view

Currently this is invalid .gz files and png files not named .png.

README: foo.PNG is also a valid png name

readyaml: cache the whole function table

This should reduce the query bandwidth to the rdbms.

webapp: make html for index valid

README: fix typo in query

webapp: remove unused function

adapt queries in README to new schema

schema: reference hash functions by integer key

This already worked quite well for package.id. On a test data set of 5%
size this transformation reduces the database size by about 4%.

schema: extend content_package_index

We can avoid a b-tree sort in the package comparison of the web app, if
the package index, also provides a size.

Merge branch 'packageid'

importpkg: simplify state logic

importpkg: split process_package to process_control

schema: reference package table by integer key

One approach to improve performance is to reduce the database size. A
package name takes up 15 bytes in average. A number of a package takes
up two bytes. Multiply that difference with the number of references and
it should be noticeably. A small test set show a reduction by 10%.

schema.sql: drop unused index

sharing_package_index is a sub-index of sharing_insert_index and
therefore unnecessary.

README: explain update_sharing.py

Merge branch yamlimport

 + Way faster on multiple cores.
 + More reliable, cause http connections do not time out when the db
   blocks.
 - Way slower on single core with contended io path. No clue why.
   Still update_sharing.py makes up the bulk of processing time.

webapp: fix hash example link after git upload

The git binary changed and so did its hash. Choosing a more stable
example now: The GPL-3.

autoimport: don't fork for readyaml

This appears to be a huge performance boost.

autoimport: support processing individual files

This gets back the original functionality of importpkg.py.

split the import phase to a yaml stream

importpkg.py now emits a yaml stream instead of updating the database.
The acutual updating now happens in readyaml.py. In this process
autoimport.py was significantly reworked to import packages in parallel.

dedup.image: img.convert can also raise that crazy stuff

webapp: declare html5 and utf-8

webapp: enrich comparison page with version info