add sqlalchemy.text wrapper

Without the wrapper sqlalchemy chokes on the query and tries to index
some dictionary on postgres.

get rid of lastrowid usage

On psycopg2 the lastrowid attribute is always 0. The documentation
advises to use inserted_primary_key instead, but in order to use that,
the sqlalchemy expression language must be used.

enable result buffering for postgres

restrict sqlite-specific configuration to sqlite databases

autoimport: fix --database option broken in merge

Merge branch 'master' into sqlalchemy

In the mean time, the master branch evolved quite a bit and the schema
changed again (eqclass added to function table). The main reason for the
merge is to resolve the large amounts of conflicts once, so development
of the sqlalchemy branch can continue and still benefit from changes in
the master branch such as schema compatibility, adapting the indent
level in web app due to the use of contextlib.closing which resembles
sqlalchemy's "with db.begin() as conn:".

Conflicts:
autoimport.py
dedup/utils.py
readyaml.py
update_sharing.py
webapp.py

schema: make syntax compatible with postgres

Merge branch updatesharing-eqclass

spell check comments

fix spelling mistake

Reported-By: Stefan Kaltenbrunner

webapp: fix eqclass usage in package comparison

When comparing two packages, objects would be considered duplicates
without considering whether the respective hash functions are comparable
by checking their equivalence classes. The current set of hash functions
does not expose this bug.

update_sharing: weaken assumptions about db layout

Hash functions are partitioned into equivalence classes. We are
generally only interested in sharing among hash functions with the same
equivalence class, but the algorithm would compute any sharing. While
the current layout never produces the same hashes for functions in
difference equivalence classes (for different output length), that may
change in future.

Also allow hash functions, that belong to no equivalence class at all
(eqclass = NULL) as a means to add additional metadata to content
without computing any sharing for it.

blacklist content rather than hashes

Otherwise the gzip hash cannot tell the empty stream and the
compressed empty stream apart.

GzipDecompressor: don't treat checksum as garbage trailer

DecompressedHash should fail on trailing input

Otherwise all files smaller than 10 bytes are successfully hashed to the
hash of the empty input when using the GzipDecompressor.

Reported-By: Olly Betts

work around python-debian's #670679

webapp: open cursors less often

On the main instance opening cursors equals initiating a connection.
Unfortunately sqlite3.Connection.close does not close filedescriptors.
So just open less cursors to leak filedescriptors less often.

webapp: close database cursors

Leaking them can result in running out of available filedescriptors.

webapp: serve static files from /static

add option -d --database for db path to all scripts

autoimport: avoid hard coded temporary directory

importpkg: move library-like parts to dedup.debpkg

importpkg: don't blacklist boring gzip_sha512 hashes

 * In practise there are very few compressed files with trivial hashes.
 * Blacklisting these values results in false positives in the gzip
   issues.

make debian version_compare available in sql

webapp templates: add an anchor for file issues

convert remaining code to sqlalchemy

No explicit "import sqlite3" left. It's still a bit rough around the
corners, particularly since sqlalchemy's support for executemany is
totally broken.

model comparability as an equivalence relation

webapp has had a relation hash_functions, that modeled "comparable
functions". Images should not be compares to other files, since it makes
no sense to store them as the RGBA stream, that is being hashed. This
comparability property resembles an equivalence relation. So the
function table gains a column eqclass. Each class is represented by a
number and functions are statically assigned to these classes. Now the
filtering happens in SQL instead of Python.

Merge branch master into sqlalchemy

This makes the sqlalchemy branch schema-compatible with master again.
The biggest change on master was the introduction of the function table.
It caused most of the conflicts. Note that webapp had one conflict not
detected by git: The selecting of issues in show_package needed
sqlalchemy conversion.

Conflicts:
README
update_sharing.py
webapp.py

support hashing gif images

 * Rename "image_sha512" to "png_sha512".
 * dedup.image.ImageHash is now a base class for image hashes such as
   PNGHash and GIFHash.
 * Enable both hashes in importpkg.
 * Fix README.
 * Add new hash combinations to webapp.
 * Add "gif file not named *.gif" to issues in update_sharing.
 * Add redirect for "image_sha512" to webapp for backwards
   compatibility.

templates/binary: space between package and compare

templates: wiki.d.o redirects to https now

fix update_sharing to work after functionid merge

importpkg.py: support uncompressed data.tar

also move the static directory into the dedup package

move templates to dedup package

They cluttered webapp.py and now vim can give proper highlighting for
the templates.

verify package hashes when importing via http

Merge branch functionid

Actual savings on the full data set are around 7%.

Conflicts:
README

display "issues" with files in package view

Currently this is invalid .gz files and png files not named .png.

README: foo.PNG is also a valid png name

sqlalchemy's fetchmany defaults to being fetchall

This voids the benefits of processing rows during row generation as has
been observed on postgres.

readyaml: cache the whole function table

This should reduce the query bandwidth to the rdbms.

webapp: make html for index valid

README: fix typo in query

webapp: remove unused function

adapt queries in README to new schema

schema: reference hash functions by integer key

This already worked quite well for package.id. On a test data set of 5%
size this transformation reduces the database size by about 4%.

schema: extend content_package_index

We can avoid a b-tree sort in the package comparison of the web app, if
the package index, also provides a size.

another missing sqlalchemy.text wrapper

use sqlalchemy.text

Without using this wrapper the sql statements are not munged by
sqlalchemy. Specifically paramstyle is not translated. For sqlite3 this
did not matter, because it allows the changed paramstyle, but for
postgres it fails without sqlalchemy.text wrappers.

Merge branch master into sqlalchemy

This basically pulls the packageid branch into sqlalchemy. The merge was
complex, because many sql statements diverged. The merge brings us one
step closer to supporting postgres, because an "INSERT OR REPLACE" was
removed from readyaml.py in the packageid branch.

Conflicts:
update_sharing.py
webapp.py

Merge branch 'packageid'

importpkg: simplify state logic

importpkg: split process_package to process_control

use sqlalchemy paramstyle

By using the :name syntax inside sql statements, sqlalchemy will replace
the contents with whatever paramstyle the underlying dbapi2 module
needs. In case of psycopg2 the paramstyle is not qmark for instance.

webapp: fix handling of total_size

The expression "total_size and 0" masks any positive integer to 0.

schema: reference package table by integer key

One approach to improve performance is to reduce the database size. A
package name takes up 15 bytes in average. A number of a package takes
up two bytes. Multiply that difference with the number of references and
it should be noticeably. A small test set show a reduction by 10%.

schema.sql: drop unused index

sharing_package_index is a sub-index of sharing_insert_index and
therefore unnecessary.

README: explain update_sharing.py

update_sharing: postgres does not support "INSERT OR IGNORE"

dedup.utils: add enbale_sqlite_foreign_keys helper

Makes usage of sqlalchemy easier, cause I can invoke it once and it
works for all connections.

Merge master into sqlalchemy

This is necessary to avoid severe merge conflicts when converting
importpkg.py to sqlalchemy. The actual sql invocation has moved to a
different file in master.

Conflicts:
README (diverged set of dependencies)

port update_sharing.py to sqlalchemy

Merge branch yamlimport

 + Way faster on multiple cores.
 + More reliable, cause http connections do not time out when the db
   blocks.
 - Way slower on single core with contended io path. No clue why.
   Still update_sharing.py makes up the bulk of processing time.

webapp: fix hash example link after git upload

The git binary changed and so did its hash. Choosing a more stable
example now: The GPL-3.

webapp: use sqlalchemy

 * Arguably the interface is nicer.
 * Actually closes connections. => wal files get deleted.
 * Permits switching from sqlite to anything.

autoimport: don't fork for readyaml

This appears to be a huge performance boost.

autoimport: support processing individual files

This gets back the original functionality of importpkg.py.

split the import phase to a yaml stream

importpkg.py now emits a yaml stream instead of updating the database.
The acutual updating now happens in readyaml.py. In this process
autoimport.py was significantly reworked to import packages in parallel.

dedup.image: img.convert can also raise that crazy stuff

webapp: declare html5 and utf-8

webapp: enrich comparison page with version info

fix attribution of logo

I remembered the wrong name. The logo was made by Sune Vuorela.

webapp: markup error in /source template

webapp: validator complained about <link> with sizes

webapp: reference favicon from base.html

added favicon.ico

Authored: Cyril Brulebois

webapp: use jinja's filesizeformat

Except it doesn't work, so replace it with our version. At least we
might be able to drop this code in a future update.

webapp: reduce size of comparison output

Only add rowspan when it carries a meaning.

webapp: add a css class binary-package

webapp: total_size is None if num_files is 0

webapp: color filenames when hovering them

webapp: turn the <br> after filename into a style

move css to /style.css

webapp: make filenames css styleable

webapp: top-align fields in /compare pages

Suggested by Paul Wise.

fix markup in base.html

implement the /compare/pkg1/pkg2 page differently

The original version had two major drawbacks:
 1) The SQL query used would cause a btree sort, so the time waiting
    for the first output was rather long.
 2) For packages with many equal files, the output would grow with
    O(n^2).

Thanks to the suggestions by Christine Grohne and Klaus Aehlig. The
approach now groups files in package1 by their main hash value (sha512).
It also does some work SQL was designed to solve manually now. To speed
up page generation a new caching table was added identifying which files
have corresponding shared files.

webapp: added some useful notes

base.html: add link to wiki.debian.org

README: improve query after schemachange

webapp: fix problem from the previous merge

Merge branch schemachange

webapp: report correct sizes

webapp: remove broken assert

Fails on long inputs.

dedup.image: mask errors from PIL

dedup.arreader: missing bytes marker

move ArReader from importpkg to dedup.arreader

Also document it.

README: update queries to match content table split

split content table to a hash table

In the old content table (package, filename, size) would be the same for
multiple hash functions. Now the schema represents that each file has
precisely one size, but multiple hashes.

webapp: drop unused function compute_sharedstats

The sharing table works great and I don't want to adapt it for the next
step in the schema change.