addons/pythoncomplete/archive/pythoncomplete.vim

   1 "pythoncomplete.vim - Omni Completion for python
   2 " Maintainer: Aaron Griffin <aaronmgriffin@gmail.com>
   3 " Version: 0.9
   4 " Last Updated: 18 Jun 2009
   5 "
   6 " Changes
   7 " TODO:
   8 " 'info' item output can use some formatting work
   9 " Add an "unsafe eval" mode, to allow for return type evaluation
  10 " Complete basic syntax along with import statements
  11 "   i.e. "import url<c-x,c-o>"
  12 " Continue parsing on invalid line??
  13 "
  14 " v 0.9
  15 "   * Fixed docstring parsing for classes and functions
  16 "   * Fixed parsing of *args and **kwargs type arguments
  17 "   * Better function param parsing to handle things like tuples and
  18 "     lambda defaults args
  19 "
  20 " v 0.8
  21 "   * Fixed an issue where the FIRST assignment was always used instead of
  22 "   using a subsequent assignment for a variable
  23 "   * Fixed a scoping issue when working inside a parameterless function
  24 "
  25 "
  26 " v 0.7
  27 "   * Fixed function list sorting (_ and __ at the bottom)
  28 "   * Removed newline removal from docs.  It appears vim handles these better in
  29 "   recent patches
  30 "
  31 " v 0.6:
  32 "   * Fixed argument completion
  33 "   * Removed the 'kind' completions, as they are better indicated
  34 "   with real syntax
  35 "   * Added tuple assignment parsing (whoops, that was forgotten)
  36 "   * Fixed import handling when flattening scope
  37 "
  38 " v 0.5:
  39 " Yeah, I skipped a version number - 0.4 was never public.
  40 "  It was a bugfix version on top of 0.3.  This is a complete
  41 "  rewrite.
  42 "
  43
  44 if !has('python')
  45     echo "Error: Required vim compiled with +python"
  46     finish
  47 endif
  48
  49 function! pythoncomplete#Complete(findstart, base)
  50     "findstart = 1 when we need to get the text length
  51     if a:findstart == 1
  52         let line = getline('.')
  53         let idx = col('.')
  54         while idx > 0
  55             let idx -= 1
  56             let c = line[idx]
  57             if c =~ '\w'
  58                 continue
  59             elseif ! c =~ '\.'
  60                 let idx = -1
  61                 break
  62             else
  63                 break
  64             endif
  65         endwhile
  66
  67         return idx
  68     "findstart = 0 when we need to return the list of completions
  69     else
  70         "vim no longer moves the cursor upon completion... fix that
  71         let line = getline('.')
  72         let idx = col('.')
  73         let cword = ''
  74         while idx > 0
  75             let idx -= 1
  76             let c = line[idx]
  77             if c =~ '\w' || c =~ '\.'
  78                 let cword = c . cword
  79                 continue
  80             elseif strlen(cword) > 0 || idx == 0
  81                 break
  82             endif
  83         endwhile
  84         execute "python vimcomplete('" . cword . "', '" . a:base . "')"
  85         return g:pythoncomplete_completions
  86     endif
  87 endfunction
  88
  89 function! s:DefPython()
  90 python << PYTHONEOF
  91 import sys, tokenize, cStringIO, types
  92 from token import NAME, DEDENT, NEWLINE, STRING
  93
  94 debugstmts=[]
  95 def dbg(s): debugstmts.append(s)
  96 def showdbg():
  97     for d in debugstmts: print "DBG: %s " % d
  98
  99 def vimcomplete(context,match):
 100     global debugstmts
 101     debugstmts = []
 102     try:
 103         import vim
 104         def complsort(x,y):
 105             try:
 106                 xa = x['abbr']
 107                 ya = y['abbr']
 108                 if xa[0] == '_':
 109                     if xa[1] == '_' and ya[0:2] == '__':
 110                         return xa > ya
 111                     elif ya[0:2] == '__':
 112                         return -1
 113                     elif y[0] == '_':
 114                         return xa > ya
 115                     else:
 116                         return 1
 117                 elif ya[0] == '_':
 118                     return -1
 119                 else:
 120                    return xa > ya
 121             except:
 122                 return 0
 123         cmpl = Completer()
 124         cmpl.evalsource('\n'.join(vim.current.buffer),vim.eval("line('.')"))
 125         all = cmpl.get_completions(context,match)
 126         all.sort(complsort)
 127         dictstr = '['
 128         # have to do this for double quoting
 129         for cmpl in all:
 130             dictstr += '{'
 131             for x in cmpl: dictstr += '"%s":"%s",' % (x,cmpl[x])
 132             dictstr += '"icase":0},'
 133         if dictstr[-1] == ',': dictstr = dictstr[:-1]
 134         dictstr += ']'
 135         #dbg("dict: %s" % dictstr)
 136         vim.command("silent let g:pythoncomplete_completions = %s" % dictstr)
 137         #dbg("Completion dict:\n%s" % all)
 138     except vim.error:
 139         dbg("VIM Error: %s" % vim.error)
 140
 141 class Completer(object):
 142     def __init__(self):
 143        self.compldict = {}
 144        self.parser = PyParser()
 145
 146     def evalsource(self,text,line=0):
 147         sc = self.parser.parse(text,line)
 148         src = sc.get_code()
 149         dbg("source: %s" % src)
 150         try: exec(src) in self.compldict
 151         except: dbg("parser: %s, %s" % (sys.exc_info()[0],sys.exc_info()[1]))
 152         for l in sc.locals:
 153             try: exec(l) in self.compldict
 154             except: dbg("locals: %s, %s [%s]" % (sys.exc_info()[0],sys.exc_info()[1],l))
 155
 156     def _cleanstr(self,doc):
 157         return doc.replace('"',' ').replace("'",' ')
 158
 159     def get_arguments(self,func_obj):
 160         def _ctor(obj):
 161             try: return class_ob.__init__.im_func
 162             except AttributeError:
 163                 for base in class_ob.__bases__:
 164                     rc = _find_constructor(base)
 165                     if rc is not None: return rc
 166             return None
 167
 168         arg_offset = 1
 169         if type(func_obj) == types.ClassType: func_obj = _ctor(func_obj)
 170         elif type(func_obj) == types.MethodType: func_obj = func_obj.im_func
 171         else: arg_offset = 0
 172
 173         arg_text=''
 174         if type(func_obj) in [types.FunctionType, types.LambdaType]:
 175             try:
 176                 cd = func_obj.func_code
 177                 real_args = cd.co_varnames[arg_offset:cd.co_argcount]
 178                 defaults = func_obj.func_defaults or ''
 179                 defaults = map(lambda name: "=%s" % name, defaults)
 180                 defaults = [""] * (len(real_args)-len(defaults)) + defaults
 181                 items = map(lambda a,d: a+d, real_args, defaults)
 182                 if func_obj.func_code.co_flags & 0x4:
 183                     items.append("...")
 184                 if func_obj.func_code.co_flags & 0x8:
 185                     items.append("***")
 186                 arg_text = (','.join(items)) + ')'
 187
 188             except:
 189                 dbg("arg completion: %s: %s" % (sys.exc_info()[0],sys.exc_info()[1]))
 190                 pass
 191         if len(arg_text) == 0:
 192             # The doc string sometimes contains the function signature
 193             #  this works for alot of C modules that are part of the
 194             #  standard library
 195             doc = func_obj.__doc__
 196             if doc:
 197                 doc = doc.lstrip()
 198                 pos = doc.find('\n')
 199                 if pos > 0:
 200                     sigline = doc[:pos]
 201                     lidx = sigline.find('(')
 202                     ridx = sigline.find(')')
 203                     if lidx > 0 and ridx > 0:
 204                         arg_text = sigline[lidx+1:ridx] + ')'
 205         if len(arg_text) == 0: arg_text = ')'
 206         return arg_text
 207
 208     def get_completions(self,context,match):
 209         dbg("get_completions('%s','%s')" % (context,match))
 210         stmt = ''
 211         if context: stmt += str(context)
 212         if match: stmt += str(match)
 213         try:
 214             result = None
 215             all = {}
 216             ridx = stmt.rfind('.')
 217             if len(stmt) > 0 and stmt[-1] == '(':
 218                 result = eval(_sanitize(stmt[:-1]), self.compldict)
 219                 doc = result.__doc__
 220                 if doc is None: doc = ''
 221                 args = self.get_arguments(result)
 222                 return [{'word':self._cleanstr(args),'info':self._cleanstr(doc)}]
 223             elif ridx == -1:
 224                 match = stmt
 225                 all = self.compldict
 226             else:
 227                 match = stmt[ridx+1:]
 228                 stmt = _sanitize(stmt[:ridx])
 229                 result = eval(stmt, self.compldict)
 230                 all = dir(result)
 231
 232             dbg("completing: stmt:%s" % stmt)
 233             completions = []
 234
 235             try: maindoc = result.__doc__
 236             except: maindoc = ' '
 237             if maindoc is None: maindoc = ' '
 238             for m in all:
 239                 if m == "_PyCmplNoType": continue #this is internal
 240                 try:
 241                     dbg('possible completion: %s' % m)
 242                     if m.find(match) == 0:
 243                         if result is None: inst = all[m]
 244                         else: inst = getattr(result,m)
 245                         try: doc = inst.__doc__
 246                         except: doc = maindoc
 247                         typestr = str(inst)
 248                         if doc is None or doc == '': doc = maindoc
 249
 250                         wrd = m[len(match):]
 251                         c = {'word':wrd, 'abbr':m,  'info':self._cleanstr(doc)}
 252                         if "function" in typestr:
 253                             c['word'] += '('
 254                             c['abbr'] += '(' + self._cleanstr(self.get_arguments(inst))
 255                         elif "method" in typestr:
 256                             c['word'] += '('
 257                             c['abbr'] += '(' + self._cleanstr(self.get_arguments(inst))
 258                         elif "module" in typestr:
 259                             c['word'] += '.'
 260                         elif "class" in typestr:
 261                             c['word'] += '('
 262                             c['abbr'] += '('
 263                         completions.append(c)
 264                 except:
 265                     i = sys.exc_info()
 266                     dbg("inner completion: %s,%s [stmt='%s']" % (i[0],i[1],stmt))
 267             return completions
 268         except:
 269             i = sys.exc_info()
 270             dbg("completion: %s,%s [stmt='%s']" % (i[0],i[1],stmt))
 271             return []
 272
 273 class Scope(object):
 274     def __init__(self,name,indent,docstr=''):
 275         self.subscopes = []
 276         self.docstr = docstr
 277         self.locals = []
 278         self.parent = None
 279         self.name = name
 280         self.indent = indent
 281
 282     def add(self,sub):
 283         #print 'push scope: [%s@%s]' % (sub.name,sub.indent)
 284         sub.parent = self
 285         self.subscopes.append(sub)
 286         return sub
 287
 288     def doc(self,str):
 289         """ Clean up a docstring """
 290         d = str.replace('\n',' ')
 291         d = d.replace('\t',' ')
 292         while d.find('  ') > -1: d = d.replace('  ',' ')
 293         while d[0] in '"\'\t ': d = d[1:]
 294         while d[-1] in '"\'\t ': d = d[:-1]
 295         dbg("Scope(%s)::docstr = %s" % (self,d))
 296         self.docstr = d
 297
 298     def local(self,loc):
 299         self._checkexisting(loc)
 300         self.locals.append(loc)
 301
 302     def copy_decl(self,indent=0):
 303         """ Copy a scope's declaration only, at the specified indent level - not local variables """
 304         return Scope(self.name,indent,self.docstr)
 305
 306     def _checkexisting(self,test):
 307         "Convienance function... keep out duplicates"
 308         if test.find('=') > -1:
 309             var = test.split('=')[0].strip()
 310             for l in self.locals:
 311                 if l.find('=') > -1 and var == l.split('=')[0].strip():
 312                     self.locals.remove(l)
 313
 314     def get_code(self):
 315         str = ""
 316         if len(self.docstr) > 0: str += '"""'+self.docstr+'"""\n'
 317         for l in self.locals:
 318             if l.startswith('import'): str += l+'\n'
 319         str += 'class _PyCmplNoType:\n    def __getattr__(self,name):\n        return None\n'
 320         for sub in self.subscopes:
 321             str += sub.get_code()
 322         for l in self.locals:
 323             if not l.startswith('import'): str += l+'\n'
 324
 325         return str
 326
 327     def pop(self,indent):
 328         #print 'pop scope: [%s] to [%s]' % (self.indent,indent)
 329         outer = self
 330         while outer.parent != None and outer.indent >= indent:
 331             outer = outer.parent
 332         return outer
 333
 334     def currentindent(self):
 335         #print 'parse current indent: %s' % self.indent
 336         return '    '*self.indent
 337
 338     def childindent(self):
 339         #print 'parse child indent: [%s]' % (self.indent+1)
 340         return '    '*(self.indent+1)
 341
 342 class Class(Scope):
 343     def __init__(self, name, supers, indent, docstr=''):
 344         Scope.__init__(self,name,indent, docstr)
 345         self.supers = supers
 346     def copy_decl(self,indent=0):
 347         c = Class(self.name,self.supers,indent, self.docstr)
 348         for s in self.subscopes:
 349             c.add(s.copy_decl(indent+1))
 350         return c
 351     def get_code(self):
 352         str = '%sclass %s' % (self.currentindent(),self.name)
 353         if len(self.supers) > 0: str += '(%s)' % ','.join(self.supers)
 354         str += ':\n'
 355         if len(self.docstr) > 0: str += self.childindent()+'"""'+self.docstr+'"""\n'
 356         if len(self.subscopes) > 0:
 357             for s in self.subscopes: str += s.get_code()
 358         else:
 359             str += '%spass\n' % self.childindent()
 360         return str
 361
 362
 363 class Function(Scope):
 364     def __init__(self, name, params, indent, docstr=''):
 365         Scope.__init__(self,name,indent, docstr)
 366         self.params = params
 367     def copy_decl(self,indent=0):
 368         return Function(self.name,self.params,indent, self.docstr)
 369     def get_code(self):
 370         str = "%sdef %s(%s):\n" % \
 371             (self.currentindent(),self.name,','.join(self.params))
 372         if len(self.docstr) > 0: str += self.childindent()+'"""'+self.docstr+'"""\n'
 373         str += "%spass\n" % self.childindent()
 374         return str
 375
 376 class PyParser:
 377     def __init__(self):
 378         self.top = Scope('global',0)
 379         self.scope = self.top
 380
 381     def _parsedotname(self,pre=None):
 382         #returns (dottedname, nexttoken)
 383         name = []
 384         if pre is None:
 385             tokentype, token, indent = self.next()
 386             if tokentype != NAME and token != '*':
 387                 return ('', token)
 388         else: token = pre
 389         name.append(token)
 390         while True:
 391             tokentype, token, indent = self.next()
 392             if token != '.': break
 393             tokentype, token, indent = self.next()
 394             if tokentype != NAME: break
 395             name.append(token)
 396         return (".".join(name), token)
 397
 398     def _parseimportlist(self):
 399         imports = []
 400         while True:
 401             name, token = self._parsedotname()
 402             if not name: break
 403             name2 = ''
 404             if token == 'as': name2, token = self._parsedotname()
 405             imports.append((name, name2))
 406             while token != "," and "\n" not in token:
 407                 tokentype, token, indent = self.next()
 408             if token != ",": break
 409         return imports
 410
 411     def _parenparse(self):
 412         name = ''
 413         names = []
 414         level = 1
 415         while True:
 416             tokentype, token, indent = self.next()
 417             if token in (')', ',') and level == 1:
 418                 if '=' not in name: name = name.replace(' ', '')
 419                 names.append(name.strip())
 420                 name = ''
 421             if token == '(':
 422                 level += 1
 423                 name += "("
 424             elif token == ')':
 425                 level -= 1
 426                 if level == 0: break
 427                 else: name += ")"
 428             elif token == ',' and level == 1:
 429                 pass
 430             else:
 431                 name += "%s " % str(token)
 432         return names
 433
 434     def _parsefunction(self,indent):
 435         self.scope=self.scope.pop(indent)
 436         tokentype, fname, ind = self.next()
 437         if tokentype != NAME: return None
 438
 439         tokentype, open, ind = self.next()
 440         if open != '(': return None
 441         params=self._parenparse()
 442
 443         tokentype, colon, ind = self.next()
 444         if colon != ':': return None
 445
 446         return Function(fname,params,indent)
 447
 448     def _parseclass(self,indent):
 449         self.scope=self.scope.pop(indent)
 450         tokentype, cname, ind = self.next()
 451         if tokentype != NAME: return None
 452
 453         super = []
 454         tokentype, next, ind = self.next()
 455         if next == '(':
 456             super=self._parenparse()
 457         elif next != ':': return None
 458
 459         return Class(cname,super,indent)
 460
 461     def _parseassignment(self):
 462         assign=''
 463         tokentype, token, indent = self.next()
 464         if tokentype == tokenize.STRING or token == 'str':
 465             return '""'
 466         elif token == '(' or token == 'tuple':
 467             return '()'
 468         elif token == '[' or token == 'list':
 469             return '[]'
 470         elif token == '{' or token == 'dict':
 471             return '{}'
 472         elif tokentype == tokenize.NUMBER:
 473             return '0'
 474         elif token == 'open' or token == 'file':
 475             return 'file'
 476         elif token == 'None':
 477             return '_PyCmplNoType()'
 478         elif token == 'type':
 479             return 'type(_PyCmplNoType)' #only for method resolution
 480         else:
 481             assign += token
 482             level = 0
 483             while True:
 484                 tokentype, token, indent = self.next()
 485                 if token in ('(','{','['):
 486                     level += 1
 487                 elif token in (']','}',')'):
 488                     level -= 1
 489                     if level == 0: break
 490                 elif level == 0:
 491                     if token in (';','\n'): break
 492                     assign += token
 493         return "%s" % assign
 494
 495     def next(self):
 496         type, token, (lineno, indent), end, self.parserline = self.gen.next()
 497         if lineno == self.curline:
 498             #print 'line found [%s] scope=%s' % (line.replace('\n',''),self.scope.name)
 499             self.currentscope = self.scope
 500         return (type, token, indent)
 501
 502     def _adjustvisibility(self):
 503         newscope = Scope('result',0)
 504         scp = self.currentscope
 505         while scp != None:
 506             if type(scp) == Function:
 507                 slice = 0
 508                 #Handle 'self' params
 509                 if scp.parent != None and type(scp.parent) == Class:
 510                     slice = 1
 511                     newscope.local('%s = %s' % (scp.params[0],scp.parent.name))
 512                 for p in scp.params[slice:]:
 513                     i = p.find('=')
 514                     if len(p) == 0: continue
 515                     pvar = ''
 516                     ptype = ''
 517                     if i == -1:
 518                         pvar = p
 519                         ptype = '_PyCmplNoType()'
 520                     else:
 521                         pvar = p[:i]
 522                         ptype = _sanitize(p[i+1:])
 523                     if pvar.startswith('**'):
 524                         pvar = pvar[2:]
 525                         ptype = '{}'
 526                     elif pvar.startswith('*'):
 527                         pvar = pvar[1:]
 528                         ptype = '[]'
 529
 530                     newscope.local('%s = %s' % (pvar,ptype))
 531
 532             for s in scp.subscopes:
 533                 ns = s.copy_decl(0)
 534                 newscope.add(ns)
 535             for l in scp.locals: newscope.local(l)
 536             scp = scp.parent
 537
 538         self.currentscope = newscope
 539         return self.currentscope
 540
 541     #p.parse(vim.current.buffer[:],vim.eval("line('.')"))
 542     def parse(self,text,curline=0):
 543         self.curline = int(curline)
 544         buf = cStringIO.StringIO(''.join(text) + '\n')
 545         self.gen = tokenize.generate_tokens(buf.readline)
 546         self.currentscope = self.scope
 547
 548         try:
 549             freshscope=True
 550             while True:
 551                 tokentype, token, indent = self.next()
 552                 #dbg( 'main: token=[%s] indent=[%s]' % (token,indent))
 553
 554                 if tokentype == DEDENT or token == "pass":
 555                     self.scope = self.scope.pop(indent)
 556                 elif token == 'def':
 557                     func = self._parsefunction(indent)
 558                     if func is None:
 559                         print "function: syntax error..."
 560                         continue
 561                     dbg("new scope: function")
 562                     freshscope = True
 563                     self.scope = self.scope.add(func)
 564                 elif token == 'class':
 565                     cls = self._parseclass(indent)
 566                     if cls is None:
 567                         print "class: syntax error..."
 568                         continue
 569                     freshscope = True
 570                     dbg("new scope: class")
 571                     self.scope = self.scope.add(cls)
 572
 573                 elif token == 'import':
 574                     imports = self._parseimportlist()
 575                     for mod, alias in imports:
 576                         loc = "import %s" % mod
 577                         if len(alias) > 0: loc += " as %s" % alias
 578                         self.scope.local(loc)
 579                     freshscope = False
 580                 elif token == 'from':
 581                     mod, token = self._parsedotname()
 582                     if not mod or token != "import":
 583                         print "from: syntax error..."
 584                         continue
 585                     names = self._parseimportlist()
 586                     for name, alias in names:
 587                         loc = "from %s import %s" % (mod,name)
 588                         if len(alias) > 0: loc += " as %s" % alias
 589                         self.scope.local(loc)
 590                     freshscope = False
 591                 elif tokentype == STRING:
 592                     if freshscope: self.scope.doc(token)
 593                 elif tokentype == NAME:
 594                     name,token = self._parsedotname(token)
 595                     if token == '=':
 596                         stmt = self._parseassignment()
 597                         dbg("parseassignment: %s = %s" % (name, stmt))
 598                         if stmt != None:
 599                             self.scope.local("%s = %s" % (name,stmt))
 600                     freshscope = False
 601         except StopIteration: #thrown on EOF
 602             pass
 603         except:
 604             dbg("parse error: %s, %s @ %s" %
 605                 (sys.exc_info()[0], sys.exc_info()[1], self.parserline))
 606         return self._adjustvisibility()
 607
 608 def _sanitize(str):
 609     val = ''
 610     level = 0
 611     for c in str:
 612         if c in ('(','{','['):
 613             level += 1
 614         elif c in (']','}',')'):
 615             level -= 1
 616         elif level == 0:
 617             val += c
 618     return val
 619
 620 sys.path.extend(['.','..'])
 621 PYTHONEOF
 622 endfunction
 623
 624 call s:DefPython()
 625 " vim: set et ts=4: