Change scanner to properly search for included file from the
authormanagan <managan@fdb21ef1-2011-0410-befe-b5e4ea1792b1>
Mon, 4 Jan 2010 17:34:11 +0000 (17:34 +0000)
committermanagan <managan@fdb21ef1-2011-0410-befe-b5e4ea1792b1>
Mon, 4 Jan 2010 17:34:11 +0000 (17:34 +0000)
directory of the main file instead of the file it is included from.
Also update the emitter to add the .aux file associated with
\include{filename} commands. This makes sure the required directories
if any are created for variantdir cases.
Half of the patch from Stefan Hepp.

git-svn-id: http://scons.tigris.org/svn/scons/trunk@4591 fdb21ef1-2011-0410-befe-b5e4ea1792b1

src/CHANGES.txt
src/engine/SCons/Scanner/LaTeX.py
src/engine/SCons/Tool/tex.py
test/TEX/subdir_variantdir_include.py [new file with mode: 0644]
test/TEX/subdir_variantdir_include2.py [new file with mode: 0644]

index 948de2e90fed7a22fba16468ade767ac7f3337d6..0b547f18c66a49315346cc20b2dd034e5b125d4a 100644 (file)
@@ -128,6 +128,13 @@ RELEASE X.X.X - XXX
       since this works on all platforms.
       Patch from Stefan Hepp.
 
+    - Change scanner to properly search for included file from the
+      directory of the main file instead of the file it is included from.
+      Also update the emitter to add the .aux file associated with
+      \include{filename} commands. This makes sure the required directories
+      if any are created for variantdir cases.
+      Half of the patch from Stefan Hepp.
+
 RELEASE 1.2.0.d20090223 - Mon, 23 Feb 2009 08:41:06 -0800
 
   From Stanislav Baranov:
index 913812ae524fba7975cfc3b91d7f676792567df3..144d67bda1456bbc994d47326c94e72f297b4750 100644 (file)
@@ -182,7 +182,7 @@ class LaTeX(SCons.Scanner.Base):
             node = node.rfile()
             if not node.exists():
                 return []
-            return self.scan(node, path)
+            return self.scan_recurse(node, path)
 
         class FindMultiPathDirs:
             """The stock FindPathDirs function has the wrong granularity:
@@ -226,7 +226,7 @@ class LaTeX(SCons.Scanner.Base):
 
         kw['function'] = _scan
         kw['path_function'] = FindMultiPathDirs(LaTeX.keyword_paths)
-        kw['recursive'] = 1
+        kw['recursive'] = 0
         kw['skeys'] = suffixes
         kw['scan_check'] = LaTeXScanCheck(suffixes)
         kw['name'] = name
@@ -279,13 +279,13 @@ class LaTeX(SCons.Scanner.Base):
                 return i, include
         return i, include
 
-    def scan(self, node, path=()):
+    def scan(self, node):
         # Modify the default scan function to allow for the regular
         # expression to return a comma separated list of file names
         # as can be the case with the bibliography keyword.
 
         # Cache the includes list in node so we only scan it once:
-        path_dict = dict(list(path))
+        path_dict = dict(list(path))
         noopt_cre = re.compile('\[.*$')
         if node.includes != None:
             includes = node.includes
@@ -310,6 +310,19 @@ class LaTeX(SCons.Scanner.Base):
             includes = split_includes
             node.includes = includes
 
+        return includes
+
+    def scan_recurse(self, node, path=()):
+        """ do a recursive scan of the top level target file
+        This lets us search for included files based on the
+        directory of the main file just as latex does"""
+
+        path_dict = dict(list(path))
+        
+        queue = [] 
+        queue.extend( self.scan(node) )
+        seen = {}
+
         # This is a hand-coded DSU (decorate-sort-undecorate, or
         # Schwartzian transform) pattern.  The sort key is the raw name
         # of the file as specifed on the \include, \input, etc. line.
@@ -319,7 +332,16 @@ class LaTeX(SCons.Scanner.Base):
         # is actually found in a Repository or locally."""
         nodes = []
         source_dir = node.get_dir()
-        for include in includes:
+        #for include in includes:
+        while queue:
+            
+            include = queue.pop()
+            try:
+                if seen[include[1]] == 1:
+                    continue
+            except KeyError:
+                seen[include[1]] = 1
+
             #
             # Handle multiple filenames in include[1]
             #
@@ -333,6 +355,9 @@ class LaTeX(SCons.Scanner.Base):
             else:
                 sortkey = self.sort_key(n)
                 nodes.append((sortkey, n))
+                # recurse down 
+                queue.extend( self.scan(n) )
+
         #
         nodes.sort()
         nodes = map(lambda pair: pair[1], nodes)
index c5093fcbfcfc6f387dfbb11029627cb11ff77bee..b1ba745aaf1bbb334e041f39625ddc3bd7c6e308 100644 (file)
@@ -94,6 +94,7 @@ beamer_re = re.compile(r"^[^%\n]*\\documentclass\{beamer\}", re.MULTILINE)
 
 # search to find all files included by Latex
 include_re = re.compile(r'^[^%\n]*\\(?:include|input){([^}]*)}', re.MULTILINE)
+includeOnly_re = re.compile(r'^[^%\n]*\\(?:include){([^}]*)}', re.MULTILINE)
 
 # search to find all graphics files included by Latex
 includegraphics_re = re.compile(r'^[^%\n]*\\(?:includegraphics(?:\[[^\]]+\])?){([^}]*)}', re.MULTILINE)
@@ -530,7 +531,7 @@ def tex_pdf_emitter(target, source, env):
 
     return (target, source)
 
-def ScanFiles(theFile, target, paths, file_tests, file_tests_search, env, graphics_extensions, targetdir):
+def ScanFiles(theFile, target, paths, file_tests, file_tests_search, env, graphics_extensions, targetdir, aux_files):
     """ For theFile (a Node) update any file_tests and search for graphics files
     then find all included files and call ScanFiles recursively for each of them"""
 
@@ -542,6 +543,11 @@ def ScanFiles(theFile, target, paths, file_tests, file_tests_search, env, graphi
         if file_tests[i][0] is None:
             file_tests[i][0] = file_tests_search[i].search(content)
 
+    incResult = includeOnly_re.search(content)
+    if incResult:
+        aux_files.append(os.path.join(targetdir, incResult.group(1)))
+    if Verbose:
+        print "\include file names : ", aux_files
     # recursively call this on each of the included files
     inc_files = [ ]
     inc_files.extend( include_re.findall(content) )
@@ -553,7 +559,7 @@ def ScanFiles(theFile, target, paths, file_tests, file_tests_search, env, graphi
     for src in inc_files:
         srcNode = FindFile(src,['.tex','.ltx','.latex'],paths,env,requireExt=False)
         if srcNode is not None:
-            file_tests = ScanFiles(srcNode, target, paths, file_tests, file_tests_search, env, graphics_extensions, targetdir)
+            file_tests = ScanFiles(srcNode, target, paths, file_tests, file_tests_search, env, graphics_extensions, targetdir, aux_files)
     if Verbose:
         print " done scanning ",str(theFile)
     return file_tests
@@ -655,7 +661,8 @@ def tex_emitter_core(target, source, env, graphics_extensions):
     if Verbose:
         print "search path ",paths
 
-    file_tests = ScanFiles(source[0], target, paths, file_tests, file_tests_search, env, graphics_extensions, targetdir)
+    aux_files = []
+    file_tests = ScanFiles(source[0], target, paths, file_tests, file_tests_search, env, graphics_extensions, targetdir, aux_files)
 
     for (theSearch,suffix_list) in file_tests:
         if theSearch:
@@ -665,6 +672,12 @@ def tex_emitter_core(target, source, env, graphics_extensions):
                     print "side effect :",targetbase + suffix
                 env.Clean(target[0],targetbase + suffix)
 
+    for aFile in aux_files:
+        aFile_base = SCons.Util.splitext(aFile)[0]
+        env.SideEffect(aFile_base + '.aux',target[0])
+        if Verbose:
+            print "side effect :",aFile_base + '.aux'
+        env.Clean(aFile_base + '.aux',target[0])
     # read fls file to get all other files that latex creates and will read on the next pass
     # remove files from list that we explicitly dealt with above
     if os.path.exists(flsfilename):
diff --git a/test/TEX/subdir_variantdir_include.py b/test/TEX/subdir_variantdir_include.py
new file mode 100644 (file)
index 0000000..a2a1f7e
--- /dev/null
@@ -0,0 +1,141 @@
+#!/usr/bin/env python
+#
+# __COPYRIGHT__
+#
+# Permission is hereby granted, free of charge, to any person obtaining
+# a copy of this software and associated documentation files (the
+# "Software"), to deal in the Software without restriction, including
+# without limitation the rights to use, copy, modify, merge, publish,
+# distribute, sublicense, and/or sell copies of the Software, and to
+# permit persons to whom the Software is furnished to do so, subject to
+# the following conditions:
+#
+# The above copyright notice and this permission notice shall be included
+# in all copies or substantial portions of the Software.
+#
+# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY
+# KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE
+# WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
+# NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
+# LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
+# OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
+# WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
+#
+
+__revision__ = "__FILE__ __REVISION__ __DATE__ __DEVELOPER__"
+
+"""
+Verify that we execute TeX in a subdirectory (if that's where the document
+resides) by checking that all the auxiliary files get created there and
+not in the top-level directory. Test this when variantDir is used
+
+Also check that we find files
+
+Test case courtesy Joel B. Mohler.
+"""
+
+import TestSCons
+
+test = TestSCons.TestSCons()
+
+#test.verbose_set(2)
+
+latex = test.where_is('latex')
+if not latex:
+    test.skip_test("Could not find 'latex'; skipping test.\n")
+
+pdflatex = test.where_is('pdflatex')
+if not pdflatex:
+    test.skip_test("Could not find 'pdflatex'; skipping test.\n")
+
+test.subdir('docs')
+test.subdir(['docs','sub'])
+test.subdir(['docs','sub','sub2'])
+
+test.write('SConstruct', """\
+import os
+env = Environment(TOOLS = ['tex', 'pdftex'],ENV = {'PATH' : os.environ['PATH']})
+
+env.VariantDir('build', 'docs',duplicate=0)
+env.SConscript('build/SConscript', exports = ['env'])
+""")
+
+test.write(['docs','SConscript'], """\
+Import('env')
+
+env.PDF( 'sub/x.tex' )
+env.DVI( 'sub/x.tex' )
+""")
+
+test.write(['docs','sub', 'x.tex'],
+r"""\documentclass{article}
+\usepackage{makeidx}
+\makeindex
+\begin{document}
+Hi there.
+\index{info}
+\include{sub2/y}
+\printindex{}
+\end{document}
+""")
+
+test.write(['docs','sub','sub2','y.tex'], """\
+Sub-document 1
+""")
+
+#test.run(arguments = '.')
+test.run(arguments = '.', stderr=None, stdout=None)
+
+test.must_exist(['build', 'sub', 'x.aux'])
+test.must_exist(['build', 'sub', 'x.dvi'])
+test.must_exist(['build', 'sub', 'x.fls'])
+test.must_exist(['build', 'sub', 'x.idx'])
+test.must_exist(['build', 'sub', 'x.ilg'])
+test.must_exist(['build', 'sub', 'x.ind'])
+test.must_exist(['build', 'sub', 'x.log'])
+test.must_exist(['build', 'sub', 'x.pdf'])
+
+test.must_exist(['build', 'sub', 'sub2', 'y.aux'])
+
+test.must_not_exist('x.aux')
+test.must_not_exist('x.dvi')
+test.must_not_exist('x.idx')
+test.must_not_exist('x.ilg')
+test.must_not_exist('x.ind')
+test.must_not_exist('x.log')
+test.must_not_exist('x.pdf')
+
+test.must_not_exist(['docs', 'x.aux'])
+test.must_not_exist(['docs', 'x.dvi'])
+test.must_not_exist(['docs', 'x.idx'])
+test.must_not_exist(['docs', 'x.ilg'])
+test.must_not_exist(['docs', 'x.ind'])
+test.must_not_exist(['docs', 'x.log'])
+test.must_not_exist(['docs', 'x.pdf'])
+
+test.must_not_exist(['docs', 'sub', 'x.aux'])
+test.must_not_exist(['docs', 'sub', 'x.dvi'])
+test.must_not_exist(['docs', 'sub', 'x.idx'])
+test.must_not_exist(['docs', 'sub', 'x.ilg'])
+test.must_not_exist(['docs', 'sub', 'x.ind'])
+test.must_not_exist(['docs', 'sub', 'x.log'])
+test.must_not_exist(['docs', 'sub', 'x.pdf'])
+
+test.must_not_exist(['docs', 'sub', 'sub2', 'y.aux'])
+
+test.up_to_date(arguments = '.', stderr=None, stdout=None)
+
+test.write(['docs','sub', 'sub2', 'y.tex'], """\
+Sub-document 2
+""")
+
+test.not_up_to_date(arguments = '.')
+#test.up_to_date(arguments = '.', stderr=None, stdout=None)
+
+test.pass_test()
+
+# Local Variables:
+# tab-width:4
+# indent-tabs-mode:nil
+# End:
+# vim: set expandtab tabstop=4 shiftwidth=4:
diff --git a/test/TEX/subdir_variantdir_include2.py b/test/TEX/subdir_variantdir_include2.py
new file mode 100644 (file)
index 0000000..68607b1
--- /dev/null
@@ -0,0 +1,206 @@
+#!/usr/bin/env python
+#
+# __COPYRIGHT__
+#
+# Permission is hereby granted, free of charge, to any person obtaining
+# a copy of this software and associated documentation files (the
+# "Software"), to deal in the Software without restriction, including
+# without limitation the rights to use, copy, modify, merge, publish,
+# distribute, sublicense, and/or sell copies of the Software, and to
+# permit persons to whom the Software is furnished to do so, subject to
+# the following conditions:
+#
+# The above copyright notice and this permission notice shall be included
+# in all copies or substantial portions of the Software.
+#
+# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY
+# KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE
+# WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
+# NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
+# LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
+# OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
+# WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
+#
+
+__revision__ = "__FILE__ __REVISION__ __DATE__ __DEVELOPER__"
+
+"""
+Verify that we execute TeX in a subdirectory (if that's where the document
+resides) by checking that all the auxiliary files get created there and
+not in the top-level directory. Test this when variantDir is used
+Add use of \include and \includegraphics from within the included file
+
+Also check that we find files
+
+Test case courtesy Joel B. Mohler.
+"""
+
+import TestSCons
+
+test = TestSCons.TestSCons()
+
+#test.verbose_set(2)
+
+latex = test.where_is('latex')
+if not latex:
+    test.skip_test("Could not find 'latex'; skipping test.\n")
+
+pdflatex = test.where_is('pdflatex')
+if not pdflatex:
+    test.skip_test("Could not find 'pdflatex'; skipping test.\n")
+
+test.subdir('docs')
+test.subdir(['docs','content'])
+test.subdir(['docs','fig'])
+
+test.write('SConstruct', """\
+import os
+env = Environment(TOOLS = ['tex', 'pdftex'],ENV = {'PATH' : os.environ['PATH']})
+
+env.VariantDir('build', 'docs', duplicate=0)
+graph = env.PDF('build/fig/graph.eps')
+pdf = env.PDF('build/main.tex')
+Depends(pdf, graph)
+""")
+
+test.write(['docs','main.tex'],
+r"""\documentclass{article}
+\usepackage{makeidx}
+\usepackage{graphicx}
+\makeindex
+\begin{document}
+Hi there.
+\index{info}
+\include{content/chapter}
+\printindex{}
+\end{document}
+""")
+
+test.write(['docs','content','chapter.tex'], """\
+Sub-document 1
+\input{content/subchap}
+
+""")
+
+test.write(['docs','content','subchap.tex'], """\
+Sub-chapter 2
+
+""")
+
+test.write(['docs','fig','graph.eps'], """\
+%!PS-Adobe-2.0 EPSF-2.0
+%%Title: Fig1.fig
+%%Creator: fig2dev Version 3.2 Patchlevel 4
+%%CreationDate: Tue Apr 25 09:56:11 2006
+%%For: managan@mangrove.llnl.gov (Rob Managan)
+%%BoundingBox: 0 0 98 98
+%%Magnification: 1.0000
+%%EndComments
+/$F2psDict 200 dict def
+$F2psDict begin
+$F2psDict /mtrx matrix put
+/col-1 {0 setgray} bind def
+/col0 {0.000 0.000 0.000 srgb} bind def
+
+end
+save
+newpath 0 98 moveto 0 0 lineto 98 0 lineto 98 98 lineto closepath clip newpath
+-24.9 108.2 translate
+1 -1 scale
+
+/gr {grestore} bind def
+/gs {gsave} bind def
+/rs {restore} bind def
+/n {newpath} bind def
+/s {stroke} bind def
+/slw {setlinewidth} bind def
+/srgb {setrgbcolor} bind def
+/sc {scale} bind def
+/sf {setfont} bind def
+/scf {scalefont} bind def
+/tr {translate} bind def
+ /DrawEllipse {
+       /endangle exch def
+       /startangle exch def
+       /yrad exch def
+       /xrad exch def
+       /y exch def
+       /x exch def
+       /savematrix mtrx currentmatrix def
+       x y tr xrad yrad sc 0 0 1 startangle endangle arc
+       closepath
+       savematrix setmatrix
+       } def
+
+/$F2psBegin {$F2psDict begin /$F2psEnteredState save def} def
+/$F2psEnd {$F2psEnteredState restore end} def
+
+$F2psBegin
+10 setmiterlimit
+ 0.06299 0.06299 sc
+%
+% Fig objects follow
+% 
+7.500 slw
+% Ellipse
+n 1170 945 766 766 0 360 DrawEllipse gs col0 s gr
+
+$F2psEnd
+rs
+""")
+
+#test.run(arguments = '.')
+test.run(arguments = '.', stderr=None, stdout=None)
+
+test.must_exist(['build', 'main.aux'])
+test.must_exist(['build', 'main.fls'])
+test.must_exist(['build', 'main.idx'])
+test.must_exist(['build', 'main.ilg'])
+test.must_exist(['build', 'main.ind'])
+test.must_exist(['build', 'main.log'])
+test.must_exist(['build', 'main.pdf'])
+
+test.must_exist(['build', 'content', 'chapter.aux'])
+
+test.must_not_exist('main.aux')
+test.must_not_exist('main.dvi')
+test.must_not_exist('main.idx')
+test.must_not_exist('main.ilg')
+test.must_not_exist('main.ind')
+test.must_not_exist('main.log')
+test.must_not_exist('main.pdf')
+
+test.must_not_exist(['docs', 'main.aux'])
+test.must_not_exist(['docs', 'main.dvi'])
+test.must_not_exist(['docs', 'main.idx'])
+test.must_not_exist(['docs', 'main.ilg'])
+test.must_not_exist(['docs', 'main.ind'])
+test.must_not_exist(['docs', 'main.log'])
+test.must_not_exist(['docs', 'main.pdf'])
+
+test.must_not_exist(['docs', 'content', 'main.aux'])
+test.must_not_exist(['docs', 'content', 'main.dvi'])
+test.must_not_exist(['docs', 'content', 'main.idx'])
+test.must_not_exist(['docs', 'content', 'main.ilg'])
+test.must_not_exist(['docs', 'content', 'main.ind'])
+test.must_not_exist(['docs', 'content', 'main.log'])
+test.must_not_exist(['docs', 'content', 'main.pdf'])
+
+test.must_not_exist(['docs', 'content', 'chapter.aux'])
+
+test.up_to_date(arguments = '.', stderr=None, stdout=None)
+
+test.write(['docs','content', 'subchap.tex'], """\
+Sub-document 2
+""")
+
+test.not_up_to_date(arguments = '.')
+#test.up_to_date(arguments = '.', stderr=None, stdout=None)
+
+test.pass_test()
+
+# Local Variables:
+# tab-width:4
+# indent-tabs-mode:nil
+# End:
+# vim: set expandtab tabstop=4 shiftwidth=4: