spark_etl.application
index
/mnt/DATA_DISK/projects/spark_etl/src/spark_etl/application.py

 
Modules
       
json
os
shutil
subprocess
tempfile

 
Classes
       
builtins.object
Application

 
class Application(builtins.object)
    Represent a spark application
 
  Methods defined here:
__init__(self, location)
Parameters
----------
location: str
    The directory path for the source code location of the application. See examples/myapp for example.
build(self, destination, default_libs=[])
Build the application, it generates the necessary artifacts for the application including:
    app.zip         -- the archive for the application code
    lib.zip         -- the archive for the library
    main.py         -- the main application entry
    manifest.json   -- the application manifest file
 
Parameters
----------
location: str
    The directory where those generated artifacts is stored.
 
default_libs: list of str
    A list of libraries needed which is not specified in the requirements.txt.
    E.g. ["six==1.11.0"]

Data descriptors defined here:
__dict__
dictionary for instance variables (if defined)
__weakref__
list of weak references to the object (if defined)
version
The application version specified by the manifest file