add sharing table

The sharing table is a cache for the /binary web pages. It essentially
contains the numbers presented. This caching table is not automatically
populated. It needs to be reconstructed after every (group of) package
imports.

update README

 * Tell about schema.sql.
 * Explain WAL.

move fetchiter from webapp to dedup.utils

move sql schema to a separate file

added html form to main page

Thanks to Jan Luehr for doing the work.

webapp: open database cursor lazily

Makes things more correct when using Application in multiprocessing
context.

webapp: pass database to Application class

README: another interesting query

Merge branch 'crosshash'

Conflicts in webapp.py:
 * The fetchall -> fetchiter change caused big conflicts.
 * New hash combination (image_sha512, image_sha512) added.

webapp: complete cross hash support

autoimport: this is not how foreign key constraints work

hash image contents

README: fix mistake

importpkg: ignore filenames with encoding errors

autoimport: log which packages are dropped

autoimport: fix version check to actually work

Don't fail on new packages and skip versions already processed again.

autoimport: skip old versions entirely

Presumably this is responsible for the blocking curl processes, since
importpkg will terminate early when processing an old version.

webapp: add caching headers

webapp: stream responses

Maybe this gets memory usage down for large responses.

webapp: attempt to reduce memory usage

webapp: support matching sha512 against gzip_sha512

This covers only the /binary page. The comparison may still be empty.

autoimport: first wait on the import

Otherwise the import zombifies and curl blocks.

move compression functions to module dedup.compression

do not track byted compiled python files

move hashing functions to module dedup.hashing

include maintainer information

added a base template to the webapp

added useful links to webapp

added README

rename test.py to importpkg.py

license as BSD-3

fix comparison of conflicting packages

reduce memory usage of autoimport

fix links in index

minimal index page explaining stuff

implement autoimport

mark required packages in binary view

store hard dependencies

determine metadata from control.tar.gz

teach ArReader to read multiple entries

cleanup

many improvements

 * multiple hashes
 * template engine
 * new table package
 * comparison view
 * hashvalue view

first prototype