update_sharing.py

   1 #!/usr/bin/python
   2
   3 import sqlite3
   4
   5 from dedup.utils import fetchiter
   6
   7 def add_values(cursor, insert_key, files, size):
   8     cursor.execute("UPDATE sharing SET files = files + ?, size = size + ? WHERE package1 = ? AND package2 = ? AND func1 = ? AND func2 = ?;",
   9                    (files, size) + insert_key)
  10     if cursor.rowcount > 0:
  11         return
  12     cursor.execute("INSERT INTO sharing (package1, package2, func1, func2, files, size) VALUES (?, ?, ?, ?, ?, ?);",
  13                    insert_key + (files, size))
  14
  15 def compute_pkgdict(rows):
  16     pkgdict = dict()
  17     for package, filename, size, function in rows:
  18         funcdict = pkgdict.setdefault(package, {})
  19         funcdict.setdefault(function, []).append((size, filename))
  20     return pkgdict
  21
  22 def process_pkgdict(cursor, pkgdict):
  23     for package1, funcdict1 in pkgdict.items():
  24         for function1, files in funcdict1.items():
  25             numfiles = len(files)
  26             size = sum(entry[0] for entry in files)
  27             for package2, funcdict2 in pkgdict.items():
  28                 if package1 == package2:
  29                     pkgnumfiles = numfiles - 1
  30                     pkgsize = size - min(entry[0] for entry in files)
  31                     if pkgnumfiles == 0:
  32                         continue
  33                 else:
  34                     pkgnumfiles = numfiles
  35                     pkgsize = size
  36                 for function2 in funcdict2.keys():
  37                     insert_key = (package1, package2, function1, function2)
  38                     add_values(cursor, insert_key, pkgnumfiles, pkgsize)
  39
  40 def main():
  41     db = sqlite3.connect("test.sqlite3")
  42     cur = db.cursor()
  43     cur.execute("DELETE FROM sharing;")
  44     readcur = db.cursor()
  45     readcur.execute("SELECT hash FROM content GROUP BY hash HAVING count(*) > 1;")
  46     for hashvalue, in fetchiter(readcur):
  47         cur.execute("SELECT package, filename, size, function FROM content WHERE hash = ?;",
  48                     (hashvalue,))
  49         rows = cur.fetchall()
  50         print("processing hash %s with %d entries" % (hashvalue, len(rows)))
  51         pkgdict = compute_pkgdict(rows)
  52         process_pkgdict(cur, pkgdict)
  53     db.commit()
  54
  55 if __name__ == "__main__":
  56     main()