bin/linecount.py

   1 #!/usr/bin/env python
   2 #
   3 # __COPYRIGHT__
   4 #
   5 # Count statistics about SCons test and source files.  This must be run
   6 # against a fully-populated tree (for example, one that's been freshly
   7 # checked out).
   8 #
   9 # A test file is anything under the src/ directory that begins with
  10 # 'test_' or ends in 'Tests.py', or anything under the test/ directory
  11 # that ends in '.py'.  Note that runtest.py script does *not*, by default,
  12 # consider the files that begin with 'test_' to be tests, because they're
  13 # tests of SCons packaging and installation, not functional tests of
  14 # SCons code.
  15 #
  16 # A source file is anything under the src/engine/ or src/script/
  17 # directories that ends in '.py' but does NOT begin with 'test_'
  18 # or end in 'Tests.py'.
  19 #
  20 # We report the number of tests and sources, the total number of lines
  21 # in each category, the number of non-blank lines, and the number of
  22 # non-comment lines.  The last figure (non-comment) lines is the most
  23 # interesting one for most purposes.
  24 #
  25 from __future__ import generators  ### KEEP FOR COMPATIBILITY FIXERS
  26
  27 __revision__ = "__FILE__ __REVISION__ __DATE__ __DEVELOPER__"
  28
  29 import os.path
  30
  31 fmt = "%-16s  %5s  %7s  %9s  %11s  %11s"
  32
  33 class Collection(object):
  34   def __init__(self, name, files=None, pred=None):
  35     self._name = name
  36     if files is None:
  37       files = []
  38     self.files = files
  39     if pred is None:
  40       pred = lambda x: True
  41     self.pred = pred
  42   def __call__(self, fname):
  43     return self.pred(fname)
  44   def __len__(self):
  45     return len(self.files)
  46   def collect(self, directory):
  47     for dirpath, dirnames, filenames in os.walk(directory):
  48       try: dirnames.remove('.svn')
  49       except ValueError: pass
  50       self.files.extend([ os.path.join(dirpath, f)
  51                           for f in filenames if self.pred(f) ])
  52   def lines(self):
  53     try:
  54       return self._lines
  55     except AttributeError:
  56       self._lines = lines = []
  57       for file in self.files:
  58           file_lines = open(file).readlines()
  59           lines.extend([s.lstrip() for s in file_lines])
  60       return lines
  61   def non_blank(self):
  62     return [s for s in self.lines() if s != '']
  63   def non_comment(self):
  64     return [s for s in self.lines() if s == '' or s[0] != '#']
  65   def non_blank_non_comment(self):
  66     return [s for s in self.lines() if s != '' and s[0] != '#']
  67   def printables(self):
  68     return (self._name + ':',
  69             len(self.files),
  70             len(self.lines()),
  71             len(self.non_blank()),
  72             len(self.non_comment()),
  73             len(self.non_blank_non_comment()))
  74
  75 def is_Tests_py(x):
  76     return x[-8:] == 'Tests.py'
  77 def is_test_(x):
  78     return x[:5] == 'test_'
  79 def is_python(x):
  80     return x[-3:] == '.py'
  81 def is_source(x):
  82     return is_python(x) and not is_Tests_py(x) and not is_test_(x)
  83
  84 src_Tests_py_tests = Collection('src/ *Tests.py', pred=is_Tests_py)
  85 src_test_tests = Collection('src/ test_*.py', pred=is_test_)
  86 test_tests = Collection('test/ tests', pred=is_python)
  87 sources = Collection('sources', pred=is_source)
  88
  89 src_Tests_py_tests.collect('src')
  90 src_test_tests.collect('src')
  91 test_tests.collect('test')
  92 sources.collect('src/engine')
  93 sources.collect('src/script')
  94
  95 src_tests = Collection('src/ tests', src_Tests_py_tests.files
  96                                      + src_test_tests.files)
  97 all_tests = Collection('all tests', src_tests.files + test_tests.files)
  98
  99 def ratio(over, under):
 100     return "%.2f" % (float(len(over)) / float(len(under)))
 101
 102 print fmt % ('', '', '', '', '', 'non-blank')
 103 print fmt % ('', 'files', 'lines', 'non-blank', 'non-comment', 'non-comment')
 104 print
 105 print fmt % src_Tests_py_tests.printables()
 106 print fmt % src_test_tests.printables()
 107 print
 108 print fmt % src_tests.printables()
 109 print fmt % test_tests.printables()
 110 print
 111 print fmt % all_tests.printables()
 112 print fmt % sources.printables()
 113 print
 114 print fmt % ('ratio:',
 115              ratio(all_tests, sources),
 116              ratio(all_tests.lines(), sources.lines()),
 117              ratio(all_tests.non_blank(), sources.non_blank()),
 118              ratio(all_tests.non_comment(), sources.non_comment()),
 119              ratio(all_tests.non_blank_non_comment(),
 120                    sources.non_blank_non_comment())
 121             )