$ pip install "tensorflow>=1.7.0"

$ git clone https://github.com/tensorflow/adanet && cd adanet

$ cd adanet
$ bazel test -c opt //...

import adanet

pip install tpot 

 1from tpot import TPOTClassifier  2from sklearn.datasets import load_iris  3from sklearn.model_selection import train_test_split  4  5# Load iris dataset  6iris = load_iris()  7  8# Split the data  9 10X_trainX_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, 11 train_size=0.75, test_size=0.25) 12 13# Fit the TPOT classifier  14 15tpot = TPOTClassifier(verbosity=2, max_time_mins=2) 16tpot.fit(X_train, y_train) 17 18# Export the pipeline 19tpot.export('tpot_iris_pipeline.py') 

 1import numpy as np  2from sklearn.kernel_approximation import RBFSampler  3from sklearn.model_selection import train_test_split  4from sklearn.pipeline import make_pipeline  5from sklearn.tree import DecisionTreeClassifier  6# NOTE: Make sure that the class is labeled 'class' in the data file  7tpot_data = np.recfromcsv('PATH/TO/DATA/FILE', delimiter='COLUMN_SEPARATOR', dtype=np.float64)  8features = np.delete(tpot_data.view(np.float64).reshape(tpot_data.size, -1), tpot_data.dtype.names.index('class'), axis=1)  9training_features, testing_features, training_classes, testing_classes =  10 train_test_split(features, tpot_data['class'], random_state=42) 11exported_pipeline = make_pipeline( 12 RBFSampler(gamma=0.8500000000000001), 13 DecisionTreeClassifier(criterion="entropy", max_depth=3, min_samples_leaf=4, min_samples_split=9) 14) 15exported_pipeline.fit(training_features, training_classes) 16results = exported_pipeline.predict(testing_features) 

1from tpot import TPOTClassifier  2from sklearn.datasets import load_digits  3from sklearn.model_selection import train_test_split  4  5# load and split dataset   6digitsdigits == load_digitsload_di ()  7X_train, X_test, y_train, y_test = train_test_split(digits.data, digits.target,  8 train_size=0.75, test_size=0.25)  9 10# Fit the TPOT classifier  11tpot = TPOTClassifier(verbosity=2, max_time_mins=5, population_size=40) 12tpot.fit(X_train, y_train) 13 14# Export pipeline 15tpot.export('tpot_mnist_pipeline.py') 

 1import numpy as np  2from sklearn.model_selection import train_test_split  3from sklearn.neighbors import KNeighborsClassifier  4# NOTE: Make sure that the class is labeled 'class' in the data file  5tpot_data = np.recfromcsv('PATH/TO/DATA/FILE', delimiter='COLUMN_SEPARATOR', dtype=np.float64)  6features = np.delete(tpot_data.view(np.float64).reshape(tpot_data.size, -1), tpot_data.dtype.names.index('class'), axis=1)  7training_features, testing_features, training_classes, testing_classes =   8 train_test_split(features, tpot_data['class'], random_state=42)  9exported_pipeline = KNeighborsClassifier(n_neighbors=4, p=2, weights="distance") 10exported_pipeline.fit(training_features, training_classes) 11results = exported_pipeline.predict(testing_features) 

pip install shap 

conda install -c conda-forge shap 

# this is the code from https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py from __future__ import print_function import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Flatten from keras.layers import Conv2D, MaxPooling2D from keras import backend as K batch_size = 128 num_classes = 10 epochs = 12 # input image dimensions img_rows, img_cols = 28, 28 # the data, split between train and test sets (x_train, y_train), (x_test, y_test) = mnist.load_data() if K.image_data_format() == 'channels_first':  x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)  x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)  input_shape = (1, img_rows, img_cols) else:  x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1)  x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1)  input_shape = (img_rows, img_cols, 1) x_train = x_train.astype('float32') x_test = x_test.astype('float32') x_train /= 255 x_test /= 255 print('x_train shape:', x_train.shape) print(x_train.shape[0], 'train samples') print(x_test.shape[0], 'test samples') # convert class vectors to binary class matrices y_train = keras.utils.to_categorical(y_train, num_classes) y_test = keras.utils.to_categorical(y_test, num_classes) model = Sequential() model.add(Conv2D(32, kernel_size=(3, 3),  activation='relu',  input_shape=input_shape)) model.add(Conv2D(64, (3, 3), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(128, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(num_classes, activation='softmax')) model.compile(loss=keras.losses.categorical_crossentropy,  optimizer=keras.optimizers.Adadelta(),  metrics=['accuracy']) model.fit(x_train, y_train,  batch_size=batch_size,  epochs=epochs,  verbose=1,  validation_data=(x_test, y_test)) score = model.evaluate(x_test, y_test, verbose=0) print('Test loss:', score[0]) print('Test accuracy:', score[1]) 

pip install optimuspyspark 

from optimus import Optimus op = Optimus() # This is a custom function def func(value, arg):  return "this was a number" df =op.load.url("https://raw.githubusercontent.com/ironmussa/Optimus/master/examples/foo.csv") df  .rows.sort("product","desc")  .cols.lower(["firstName","lastName"])  .cols.date_transform("birth", "new_date", "yyyy/MM/dd", "dd-MM-YYYY")  .cols.years_between("birth", "years_between", "yyyy/MM/dd")  .cols.remove_accents("lastName")  .cols.remove_special_chars("lastName")  .cols.replace("product","taaaccoo","taco")  .cols.replace("product",["piza","pizzza"],"pizza")  .rows.drop(df["id"]<7)  .cols.drop("dummyCol")  .cols.rename(str.lower)  .cols.apply_by_dtypes("product",func,"string", data_type="integer")  .cols.trim("*")  .show() 

pip3 install spacy $ python3 -m spacy download en 

# python -m spacy download en_core_web_sm import spacy # Load English tokenizer, tagger, parser, NER and word vectors nlp = spacy.load('en_core_web_sm') # Process whole documents text = (u"When Sebastian Thrun started working on self-driving cars at "  u"Google in 2007, few people outside of the company took him "  u"seriously. “I can tell you very senior CEOs of major American "  u"car companies would shake my hand and turn away because I wasn’t "  u"worth talking to,” said Thrun, now the co-founder and CEO of "  u"online higher education startup Udacity, in an interview with "  u"Recode earlier this week.") doc = nlp(text) # Find named entities, phrases and concepts for entity in doc.ents:  print(entity.text, entity.label_) # Determine semantic similarities doc1 = nlp(u"my fries were super gross") doc2 = nlp(u"such disgusting fries") similarity = doc1.similarity(doc2) print(doc1.text, doc2.text, similarity) 

Sebastian Thrun PERSON Google ORG 2007 DATE American NORP Thrun PERSON Recode ORG earlier this week DATE my fries were super gross such disgusting fries 0.7139701635071919 

pip install jupytext --upgrade 

c.NotebookApp.contents_manager_class = "jupytext.TextFileContentsManager" 

jupyter notebook 

pip3 install chartify 

import pandas as pd import chartify # Generate example data data = chartify.examples.example_data() 

total_quantity_by_month_and_fruit = (data.groupby(  [data['date'] + pd.offsets.MonthBegin(-1), 'fruit'])['quantity'].sum()  .reset_index().rename(columns={'date': 'month'})  .sort_values('month')) print(total_quantity_by_month_and_fruit.head()) month fruit quantity 0 2017-01-01 Apple 7 1 2017-01-01 Banana 6 2 2017-01-01 Grape 1 3 2017-01-01 Orange 2 4 2017-02-01 Apple 8 

# Plot the data ch = chartify.Chart(blank_labels=True, x_axis_type='datetime') ch.set_title("Stacked area") ch.set_subtitle("Represent changes in distribution.") ch.plot.area(  data_frame=total_quantity_by_month_and_fruit,  x_column='month',  y_column='quantity',  color_column='fruit',  stacked=True) ch.show('png')