## =======================================================
## TOKENIZING
## =======================================================
from nltk.corpus import stopwords
from nltk.tokenize import sent_tokenize, word_tokenize
## =======================================================
## VECTORIZING
## =======================================================
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
## ----- VECTORIZORS
unigram_bool_cv_v1 = CountVectorizer(encoding='latin-1', binary=True, min_df=5, stop_words='english')
unigram_bool_cv_v2 = CountVectorizer(encoding='latin-1', binary=True, min_df=5, stop_words='english',
token_pattern=r'(?u)\b[a-zA-Z]{2,}\b' )
unigram_cv = CountVectorizer(encoding='latin-1', binary=False, min_df=5, stop_words='english',
token_pattern=r'(?u)\b[a-zA-Z]{2,}\b' )
bigram_cv = CountVectorizer(encoding='latin-1', ngram_range=(1,2), min_df=5, stop_words='english')
bigram_cv_v2 = CountVectorizer(encoding='latin-1', ngram_range=(1,2), min_df=5, stop_words='english',
token_pattern=r'(?u)\b[a-zA-Z]{2,}\b')
unigram_tv = TfidfVectorizer(encoding='latin-1', use_idf=True, min_df=5, stop_words='english')
unigram_tv_v2 = TfidfVectorizer(encoding='latin-1', use_idf=True, min_df=5, stop_words='english',
token_pattern=r'(?u)\b[a-zA-Z]{2,}\b')
bigram_tv = TfidfVectorizer(encoding='latin-1', use_idf=True, ngram_range=(1,2), min_df=5, stop_words='english')
bigram_tv_v2 = TfidfVectorizer(encoding='latin-1', use_idf=True, ngram_range=(1,2), min_df=5, stop_words='english',
token_pattern=r'(?u)\b[a-zA-Z]{2,}\b')
## =======================================================
## MODELING
## =======================================================
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
from sklearn.metrics import confusion_matrix
from sklearn.svm import LinearSVC
from sklearn.naive_bayes import BernoulliNB, MultinomialNB
## ----- CLASSIFIERS
mnb = MultinomialNB()
svm = LinearSVC(C=1)
def get_test_train_vec(X,y,vectorizer):
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=0)
X_train_vec = vectorizer.fit_transform(X_train)
X_test_vec = vectorizer.transform(X_test)
return X_train_vec, X_test_vec, y_train, y_test
def run_classifier(X_train_vec, X_test_vec, y_train, y_test, labels, target_names, classifier):
clf = classifier
clf.fit(X_train_vec,y_train)
y_pred = clf.predict(X_test_vec)
report = classification_report(y_test, y_pred, target_names=target_names,output_dict=True)
score = clf.score(X_test_vec,y_test)
return clf, score, report
def get_model(X, y, labels, target_names, classifier, vec):
X_train_vec, X_test_vec, y_train, y_test = get_test_train_vec(X,y,vec)
model, score, report = run_classifier(X_train_vec, X_test_vec, y_train, y_test, labels, target_names, classifier)
return model, score, report
## =======================================================
## VISUALIZING
## =======================================================
from tabulate import tabulate
import pandas as pd
def return_features(vec, model):
for i,feature_probability in enumerate(model.coef_):
print('============ Sentiment Score: ', i)
df1 = pd.DataFrame(sorted(zip(feature_probability, vec.get_feature_names()))[:10])
df2 = pd.DataFrame(sorted(zip(feature_probability, vec.get_feature_names()))[-10:])
df3 = pd.concat([df1, df2], axis=1)
print(tabulate(df3, tablefmt="fancy_grid", headers=["Most","Likely","Least","Likely"], floatfmt=".2f"))
def update_big_df(big_df, new_row):
big_df.append(new_row)
df = pd.DataFrame(big_df)
df = df.drop_duplicates()
return df
# import pandas as pd
# train=pd.read_csv("kaggle-sentiment/train.tsv", delimiter='\t')
# y=train['Sentiment'].values
# X=train['Phrase'].values
import pandas as pd
df = pd.read_csv('../death_row_discritized.csv')
def to_string(tokens):
try:
return " ".join(eval(tokens))
except:
return "error"
df['statement_string'] = df.apply(lambda x: to_string(x['last_statement']), axis=1)
# y=df['vic_kid'].values
y=df['prior_record'].values
y_labels = list(set(y))
X=df['statement_string'].values
big_df = []
vec = unigram_bool_cv_v1
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V1', 'score': score})
df
============ Sentiment Score: 0 ╒════╤════════╤══════════╤═════════╤══════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════════════════╡ │ 0 │ -7.97 │ grief │ -4.36 │ im │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 1 │ -7.97 │ loss │ -4.26 │ sorry │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 2 │ -7.28 │ allowed │ -4.23 │ thank │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 3 │ -7.28 │ baby │ -4.21 │ want │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 4 │ -7.28 │ big │ -4.19 │ like │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 5 │ -7.28 │ glad │ -4.16 │ know │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 6 │ -7.28 │ hear │ -3.83 │ family │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 7 │ -7.28 │ killed │ -3.50 │ love │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 8 │ -7.28 │ lived │ -3.27 │ pronoun │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 9 │ -7.28 │ mary │ -3.23 │ first_person_pronoun │ ╘════╧════════╧══════════╧═════════╧══════════════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -5.78 │ able │ -5.08 │ just │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -5.78 │ address │ -5.08 │ life │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -5.78 │ ago │ -5.08 │ love │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -5.78 │ ah │ -5.08 │ murder │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -5.78 │ ahead │ -5.08 │ pronoun │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -5.78 │ aint │ -5.08 │ ready │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -5.78 │ allah │ -5.08 │ state │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -5.78 │ allowed │ -5.08 │ statement │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -5.78 │ almighty │ -5.08 │ thats │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -5.78 │ alright │ -5.08 │ truth │ ╘════╧════════╧══════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤══════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════════════════╡ │ 0 │ -8.03 │ hurting │ -4.29 │ im │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 1 │ -8.03 │ soon │ -4.26 │ like │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 2 │ -7.33 │ ahead │ -4.24 │ want │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 3 │ -7.33 │ best │ -4.20 │ god │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 4 │ -7.33 │ blessing │ -4.18 │ know │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 5 │ -7.33 │ changed │ -4.15 │ thank │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 6 │ -7.33 │ court │ -3.90 │ family │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 7 │ -7.33 │ faith │ -3.61 │ love │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 8 │ -7.33 │ human │ -3.21 │ pronoun │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 9 │ -7.33 │ mistake │ -3.14 │ first_person_pronoun │ ╘════╧════════╧══════════╧═════════╧══════════════════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
vec = unigram_bool_cv_v1
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V1', 'score': score})
df
============ Sentiment Score: 0 ╒════╤════════╤═══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═══════════╪═════════╪══════════╡ │ 0 │ -1.02 │ killed │ 0.83 │ tried │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 1 │ -1.01 │ happened │ 0.85 │ mistake │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 2 │ -0.91 │ ok │ 0.92 │ hands │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 3 │ -0.87 │ brothers │ 0.97 │ wish │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 4 │ -0.82 │ suffering │ 1.01 │ rest │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 5 │ -0.82 │ sir │ 1.03 │ innocent │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 6 │ -0.79 │ better │ 1.03 │ giving │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 7 │ -0.75 │ grief │ 1.15 │ caused │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 8 │ -0.75 │ told │ 1.16 │ grace │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 9 │ -0.72 │ loss │ 1.18 │ goes │ ╘════╧════════╧═══════════╧═════════╧══════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════════════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════════════════╪═════════╪═══════════╡ │ 0 │ -0.40 │ im │ 0.32 │ everybody │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 1 │ -0.37 │ first_person_pronoun │ 0.34 │ state │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 2 │ -0.25 │ care │ 0.37 │ ready │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 3 │ -0.24 │ home │ 0.37 │ fear │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 4 │ -0.23 │ yes │ 0.37 │ murder │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 5 │ -0.23 │ father │ 0.37 │ truth │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 6 │ -0.23 │ ill │ 0.38 │ friend │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 7 │ -0.21 │ pronoun │ 0.48 │ thats │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 8 │ -0.19 │ sorry │ 0.53 │ just │ ├────┼────────┼──────────────────────┼─────────┼───────────┤ │ 9 │ -0.16 │ dont │ 0.88 │ blessing │ ╘════╧════════╧══════════════════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -1.20 │ grace │ 0.70 │ change │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -1.15 │ goes │ 0.73 │ brought │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -1.10 │ giving │ 0.78 │ sir │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -1.07 │ caused │ 0.79 │ brothers │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -1.03 │ innocent │ 0.82 │ grief │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -0.98 │ rest │ 0.83 │ suffering │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -0.91 │ hands │ 0.89 │ killed │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -0.87 │ wish │ 0.93 │ better │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -0.86 │ tried │ 0.98 │ ok │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -0.86 │ blessing │ 1.07 │ happened │ ╘════╧════════╧══════════╧═════════╧═══════════╛
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
NOTES: Very interesting!! MNB is very cluttered with numbers. SVM is not.
vec = unigram_bool_cv_v2
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V2', 'score': score})
df
============ Sentiment Score: 0 ╒════╤════════╤══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════╡ │ 0 │ -7.93 │ grief │ -4.32 │ god │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 1 │ -7.93 │ loss │ -4.32 │ im │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 2 │ -7.24 │ allowed │ -4.22 │ sorry │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 3 │ -7.24 │ baby │ -4.19 │ thank │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 4 │ -7.24 │ big │ -4.17 │ want │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 5 │ -7.24 │ glad │ -4.15 │ like │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 6 │ -7.24 │ hear │ -4.12 │ know │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 7 │ -7.24 │ killed │ -3.79 │ family │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 8 │ -7.24 │ lived │ -3.46 │ love │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 9 │ -7.24 │ mary │ -3.23 │ pronoun │ ╘════╧════════╧══════════╧═════════╧══════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -5.77 │ able │ -5.08 │ just │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -5.77 │ address │ -5.08 │ life │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -5.77 │ ago │ -5.08 │ love │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -5.77 │ ah │ -5.08 │ murder │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -5.77 │ ahead │ -5.08 │ pronoun │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -5.77 │ aint │ -5.08 │ ready │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -5.77 │ allah │ -5.08 │ state │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -5.77 │ allowed │ -5.08 │ statement │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -5.77 │ almighty │ -5.08 │ thats │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -5.77 │ alright │ -5.08 │ truth │ ╘════╧════════╧══════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════╡ │ 0 │ -7.98 │ hurting │ -4.29 │ yes │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 1 │ -7.98 │ soon │ -4.24 │ im │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 2 │ -7.29 │ ahead │ -4.22 │ like │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 3 │ -7.29 │ best │ -4.20 │ want │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 4 │ -7.29 │ blessing │ -4.15 │ god │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 5 │ -7.29 │ changed │ -4.13 │ know │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 6 │ -7.29 │ court │ -4.11 │ thank │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 7 │ -7.29 │ faith │ -3.85 │ family │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 8 │ -7.29 │ human │ -3.56 │ love │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 9 │ -7.29 │ mistake │ -3.16 │ pronoun │ ╘════╧════════╧══════════╧═════════╧══════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
vec = unigram_bool_cv_v2
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V2', 'score': score})
df
============ Sentiment Score: 0 ╒════╤════════╤═══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═══════════╪═════════╪══════════╡ │ 0 │ -1.03 │ happened │ 0.84 │ hurt │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 1 │ -1.02 │ killed │ 0.85 │ mistake │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 2 │ -0.90 │ ok │ 0.91 │ hands │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 3 │ -0.86 │ brothers │ 0.97 │ wish │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 4 │ -0.82 │ sir │ 1.00 │ rest │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 5 │ -0.81 │ suffering │ 1.01 │ giving │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 6 │ -0.79 │ better │ 1.03 │ innocent │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 7 │ -0.75 │ grief │ 1.14 │ caused │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 8 │ -0.74 │ told │ 1.15 │ grace │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 9 │ -0.71 │ help │ 1.17 │ goes │ ╘════╧════════╧═══════════╧═════════╧══════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -0.37 │ im │ 0.28 │ ready │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -0.31 │ pronoun │ 0.33 │ state │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -0.31 │ words │ 0.36 │ fear │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -0.30 │ yes │ 0.38 │ murder │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -0.30 │ care │ 0.38 │ truth │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -0.27 │ ill │ 0.39 │ friend │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -0.27 │ father │ 0.39 │ everybody │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -0.27 │ home │ 0.39 │ thats │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -0.22 │ say │ 0.52 │ just │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -0.22 │ dont │ 0.93 │ blessing │ ╘════╧════════╧══════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -1.18 │ grace │ 0.72 │ help │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -1.13 │ goes │ 0.74 │ sir │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -1.05 │ innocent │ 0.77 │ brothers │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -1.04 │ giving │ 0.78 │ brought │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -1.04 │ caused │ 0.80 │ suffering │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -0.96 │ rest │ 0.81 │ grief │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -0.87 │ wish │ 0.91 │ killed │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -0.87 │ hands │ 0.93 │ better │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -0.86 │ blessing │ 0.96 │ ok │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -0.84 │ friend │ 1.11 │ happened │ ╘════╧════════╧══════════╧═════════╧═══════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
vec = unigram_cv
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V3', 'score': score})
df
============ Sentiment Score: 0 ╒════╤════════╤═══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═══════════╪═════════╪══════════╡ │ 0 │ -8.42 │ grief │ -4.33 │ im │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 1 │ -8.42 │ loss │ -4.22 │ like │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 2 │ -7.73 │ allowed │ -4.20 │ yall │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 3 │ -7.73 │ baby │ -4.12 │ sorry │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 4 │ -7.73 │ big │ -4.07 │ thank │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 5 │ -7.73 │ hear │ -4.05 │ want │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 6 │ -7.73 │ killed │ -3.87 │ know │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 7 │ -7.73 │ lived │ -3.81 │ family │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 8 │ -7.73 │ mary │ -3.04 │ love │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 9 │ -7.73 │ situation │ -1.67 │ pronoun │ ╘════╧════════╧═══════════╧═════════╧══════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -5.78 │ able │ -5.09 │ just │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -5.78 │ address │ -5.09 │ life │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -5.78 │ ago │ -5.09 │ love │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -5.78 │ ah │ -5.09 │ murder │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -5.78 │ ahead │ -5.09 │ ready │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -5.78 │ aint │ -5.09 │ state │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -5.78 │ allah │ -5.09 │ thats │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -5.78 │ allowed │ -4.68 │ pronoun │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -5.78 │ almighty │ -4.68 │ statement │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -5.78 │ alright │ -4.68 │ truth │ ╘════╧════════╧══════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════╡ │ 0 │ -8.44 │ hurting │ -4.28 │ yall │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 1 │ -8.44 │ soon │ -4.21 │ like │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 2 │ -7.75 │ ahead │ -4.18 │ im │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 3 │ -7.75 │ best │ -4.03 │ sorry │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 4 │ -7.75 │ blessing │ -4.01 │ god │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 5 │ -7.75 │ changed │ -4.00 │ know │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 6 │ -7.75 │ human │ -3.92 │ thank │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 7 │ -7.75 │ momma │ -3.90 │ family │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 8 │ -7.75 │ nieces │ -3.14 │ love │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 9 │ -7.75 │ night │ -1.70 │ pronoun │ ╘════╧════════╧══════════╧═════════╧══════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
vec = unigram_cv
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V3', 'score': score})
df
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
============ Sentiment Score: 0 ╒════╤════════╤═══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═══════════╪═════════╪══════════╡ │ 0 │ -0.90 │ better │ 0.78 │ dad │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 1 │ -0.76 │ man │ 0.83 │ giving │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 2 │ -0.75 │ sir │ 0.84 │ promise │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 3 │ -0.75 │ baby │ 0.84 │ hurt │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 4 │ -0.74 │ suffering │ 0.89 │ trial │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 5 │ -0.74 │ brothers │ 0.89 │ come │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 6 │ -0.72 │ place │ 0.93 │ grace │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 7 │ -0.71 │ days │ 1.03 │ rest │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 8 │ -0.70 │ amen │ 1.06 │ goes │ ├────┼────────┼───────────┼─────────┼──────────┤ │ 9 │ -0.70 │ loss │ 1.22 │ innocent │ ╘════╧════════╧═══════════╧═════════╧══════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -0.38 │ im │ 0.24 │ fear │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -0.31 │ words │ 0.27 │ state │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -0.28 │ pronoun │ 0.29 │ ready │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -0.26 │ say │ 0.29 │ friend │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -0.23 │ yes │ 0.29 │ murder │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -0.20 │ sorry │ 0.38 │ everybody │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -0.19 │ home │ 0.41 │ thats │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -0.19 │ care │ 0.52 │ just │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -0.19 │ father │ 0.57 │ truth │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -0.19 │ ill │ 0.96 │ blessing │ ╘════╧════════╧══════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -1.10 │ innocent │ 0.70 │ mama │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -1.04 │ rest │ 0.72 │ amen │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -1.00 │ goes │ 0.73 │ suffering │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -0.99 │ grace │ 0.75 │ wont │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -0.96 │ giving │ 0.78 │ brought │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -0.91 │ come │ 0.79 │ brothers │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -0.90 │ promise │ 0.80 │ loss │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -0.89 │ hurt │ 0.82 │ man │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -0.82 │ blessing │ 0.82 │ days │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -0.79 │ dad │ 0.94 │ better │ ╘════╧════════╧══════════╧═════════╧═══════════╛
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
vec = bigram_cv
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V4', 'score': score})
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V4', 'score': score})
df
============ Sentiment Score: 0 ╒════╤════════╤═══════════════════════════════╤═════════╤═══════════════════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═══════════════════════════════╪═════════╪═══════════════════════════════════════════╡ │ 0 │ -9.12 │ baby first_person_pronoun │ -4.75 │ want │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 1 │ -9.12 │ god forgive │ -4.57 │ know │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 2 │ -9.12 │ good first_person_pronoun │ -4.52 │ first_person_pronoun first_person_pronoun │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 3 │ -9.12 │ grief │ -4.51 │ family │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 4 │ -9.12 │ loss │ -4.28 │ pronoun first_person_pronoun │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 5 │ -8.43 │ ah first_person_pronoun │ -4.22 │ love pronoun │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 6 │ -8.43 │ allowed │ -4.00 │ first_person_pronoun love │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 7 │ -8.43 │ baby │ -3.73 │ love │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 8 │ -8.43 │ big │ -2.37 │ pronoun │ ├────┼────────┼───────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 9 │ -8.43 │ daughter first_person_pronoun │ -1.87 │ first_person_pronoun │ ╘════╧════════╧═══════════════════════════════╧═════════╧═══════════════════════════════════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤════════════════════════════╤═════════╤═══════════════════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════════════════╪═════════╪═══════════════════════════════════════════╡ │ 0 │ -6.51 │ able │ -5.82 │ pronoun first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 1 │ -6.51 │ address │ -5.82 │ ready │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 2 │ -6.51 │ ago │ -5.82 │ state │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 3 │ -6.51 │ ah │ -5.82 │ thats │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 4 │ -6.51 │ ah first_person_pronoun │ -5.82 │ truth first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 5 │ -6.51 │ ahead │ -5.41 │ pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 6 │ -6.51 │ aint │ -5.41 │ statement │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 7 │ -6.51 │ allah │ -5.41 │ truth │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 8 │ -6.51 │ allah first_person_pronoun │ -4.72 │ first_person_pronoun first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 9 │ -6.51 │ allowed │ -3.74 │ first_person_pronoun │ ╘════╧════════╧════════════════════════════╧═════════╧═══════════════════════════════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤════════════════════════════╤═════════╤═══════════════════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════════════════╪═════════╪═══════════════════════════════════════════╡ │ 0 │ -9.14 │ hurting │ -4.69 │ know │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 1 │ -9.14 │ innocent man │ -4.67 │ first_person_pronoun first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 2 │ -9.14 │ momma first_person_pronoun │ -4.62 │ thank │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 3 │ -9.14 │ pronoun coming │ -4.59 │ family │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 4 │ -9.14 │ soon │ -4.21 │ love pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 5 │ -9.14 │ years pronoun │ -4.03 │ pronoun first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 6 │ -8.44 │ ahead │ -4.00 │ first_person_pronoun love │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 7 │ -8.44 │ best │ -3.83 │ love │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 8 │ -8.44 │ blessing │ -2.39 │ pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 9 │ -8.44 │ changed │ -1.89 │ first_person_pronoun │ ╘════╧════════╧════════════════════════════╧═════════╧═══════════════════════════════════════════╛ ============ Sentiment Score: 0 ╒════╤════════╤════════════════╤═════════╤════════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════╪═════════╪════════════════════════════════╡ │ 0 │ -0.65 │ love everybody │ 0.54 │ theres │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 1 │ -0.61 │ mama │ 0.55 │ free │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 2 │ -0.59 │ ready home │ 0.55 │ dad │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 3 │ -0.53 │ ready warden │ 0.58 │ goes │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 4 │ -0.53 │ statement │ 0.59 │ pronoun love │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 5 │ -0.52 │ loss │ 0.60 │ pronoun peace │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 6 │ -0.50 │ better │ 0.63 │ come │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 7 │ -0.47 │ gon │ 0.66 │ everybody first_person_pronoun │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 8 │ -0.47 │ gon na │ 0.67 │ pronoun stay │ ├────┼────────┼────────────────┼─────────┼────────────────────────────────┤ │ 9 │ -0.47 │ na │ 0.69 │ innocent │ ╘════╧════════╧════════════════╧═════════╧════════════════════════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤════════════════════════════╤═════════╤═══════════════════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════════════════╪═════════╪═══════════════════════════════════════════╡ │ 0 │ -0.27 │ im │ 0.11 │ truth first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 1 │ -0.26 │ im ready │ 0.12 │ love │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 2 │ -0.25 │ first_person_pronoun ready │ 0.21 │ truth │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 3 │ -0.21 │ words │ 0.28 │ everybody │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 4 │ -0.18 │ pronoun │ 0.34 │ thats │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 5 │ -0.17 │ first_person_pronoun love │ 0.38 │ first_person_pronoun first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 6 │ -0.16 │ peace │ 0.40 │ just │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 7 │ -0.14 │ goodbye │ 0.43 │ ready │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 8 │ -0.13 │ ill │ 0.44 │ love everybody │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 9 │ -0.13 │ good │ 0.91 │ blessing │ ╘════╧════════╧════════════════════════════╧═════════╧═══════════════════════════════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤════════════════════════════════╤═════════╤═══════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════════════════════╪═════════╪═══════════════╡ │ 0 │ -0.69 │ pronoun stay │ 0.48 │ na │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 1 │ -0.66 │ pronoun peace │ 0.49 │ pronoun thats │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 2 │ -0.65 │ pronoun love │ 0.50 │ happened │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 3 │ -0.65 │ innocent │ 0.52 │ better │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 4 │ -0.61 │ blessing │ 0.57 │ ready warden │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 5 │ -0.60 │ come │ 0.58 │ thats pronoun │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 6 │ -0.56 │ goes │ 0.58 │ loss │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 7 │ -0.56 │ free │ 0.60 │ statement │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 8 │ -0.52 │ everybody first_person_pronoun │ 0.63 │ ready home │ ├────┼────────┼────────────────────────────────┼─────────┼───────────────┤ │ 9 │ -0.52 │ dad │ 0.67 │ mama │ ╘════╧════════╧════════════════════════════════╧═════════╧═══════════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for) /Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/svm/base.py:929: ConvergenceWarning: Liblinear failed to converge, increase the number of iterations. "the number of iterations.", ConvergenceWarning) /Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
| 6 | mnb | V4 | 0.519824 |
| 7 | svm | V4 | 0.519824 |
df
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
| 6 | mnb | V4 | 0.519824 |
| 7 | svm | V4 | 0.519824 |
vec = bigram_cv_v2
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V5', 'score': score})
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V5', 'score': score})
============ Sentiment Score: 0 ╒════╤════════╤════════════════╤═════════╤═════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════╪═════════╪═════════════════╡ │ 0 │ -8.71 │ god forgive │ -4.49 │ yall │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 1 │ -8.71 │ grief │ -4.48 │ pronoun pronoun │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 2 │ -8.71 │ loss │ -4.41 │ sorry │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 3 │ -8.71 │ pronoun sister │ -4.36 │ thank │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 4 │ -8.71 │ sorry hope │ -4.34 │ want │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 5 │ -8.02 │ allowed │ -4.16 │ know │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 6 │ -8.02 │ baby │ -4.10 │ family │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 7 │ -8.02 │ big │ -3.82 │ love pronoun │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 8 │ -8.02 │ god almighty │ -3.33 │ love │ ├────┼────────┼────────────────┼─────────┼─────────────────┤ │ 9 │ -8.02 │ hear │ -1.96 │ pronoun │ ╘════╧════════╧════════════════╧═════════╧═════════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪════════════════╡ │ 0 │ -6.26 │ able │ -5.57 │ life │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 1 │ -6.26 │ address │ -5.57 │ love │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 2 │ -6.26 │ ago │ -5.57 │ love everybody │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 3 │ -6.26 │ ah │ -5.57 │ murder │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 4 │ -6.26 │ ahead │ -5.57 │ ready │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 5 │ -6.26 │ aint │ -5.57 │ state │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 6 │ -6.26 │ allah │ -5.57 │ thats │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 7 │ -6.26 │ allowed │ -5.16 │ pronoun │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 8 │ -6.26 │ almighty │ -5.16 │ statement │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 9 │ -6.26 │ alright │ -5.16 │ truth │ ╘════╧════════╧══════════╧═════════╧════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤════════════════╤═════════╤══════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════╪═════════╪══════════════╡ │ 0 │ -8.74 │ hurting │ -4.50 │ like │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 1 │ -8.74 │ innocent man │ -4.47 │ im │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 2 │ -8.74 │ pronoun coming │ -4.33 │ sorry │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 3 │ -8.74 │ soon │ -4.31 │ god │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 4 │ -8.04 │ ahead │ -4.29 │ know │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 5 │ -8.04 │ best │ -4.21 │ thank │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 6 │ -8.04 │ blessing │ -4.19 │ family │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 7 │ -8.04 │ changed │ -3.81 │ love pronoun │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 8 │ -8.04 │ everybody love │ -3.43 │ love │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 9 │ -8.04 │ family sorry │ -1.99 │ pronoun │ ╘════╧════════╧════════════════╧═════════╧══════════════╛ ============ Sentiment Score: 0 ╒════╤════════╤════════════════╤═════════╤═══════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════╪═════════╪═══════════════╡ │ 0 │ -0.93 │ love everybody │ 0.56 │ pronoun peace │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 1 │ -0.78 │ ready home │ 0.56 │ yes want │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 2 │ -0.65 │ ready warden │ 0.58 │ free │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 3 │ -0.63 │ loss │ 0.59 │ ill pronoun │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 4 │ -0.59 │ im going │ 0.64 │ grace │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 5 │ -0.57 │ son │ 0.65 │ come │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 6 │ -0.57 │ ok │ 0.67 │ pronoun stay │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 7 │ -0.57 │ mama │ 0.72 │ goes │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 8 │ -0.57 │ man │ 0.75 │ hands │ ├────┼────────┼────────────────┼─────────┼───────────────┤ │ 9 │ -0.56 │ happening │ 0.95 │ innocent │ ╘════╧════════╧════════════════╧═════════╧═══════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪════════════════╡ │ 0 │ -0.35 │ words │ 0.23 │ fear │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 1 │ -0.24 │ im │ 0.23 │ state │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 2 │ -0.23 │ im ready │ 0.27 │ friend │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 3 │ -0.20 │ yes │ 0.27 │ murder │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 4 │ -0.17 │ pronoun │ 0.32 │ thats │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 5 │ -0.17 │ friends │ 0.35 │ ready │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 6 │ -0.17 │ say │ 0.43 │ just │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 7 │ -0.16 │ ill │ 0.49 │ love everybody │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 8 │ -0.15 │ goodbye │ 0.53 │ truth │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 9 │ -0.14 │ peace │ 0.94 │ blessing │ ╘════╧════════╧══════════╧═════════╧════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════════╤═════════╤═══════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════════╪═════════╪═══════════════╡ │ 0 │ -0.86 │ innocent │ 0.55 │ son │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 1 │ -0.72 │ truth │ 0.56 │ happening │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 2 │ -0.71 │ goes │ 0.56 │ im going │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 3 │ -0.69 │ blessing │ 0.57 │ happened │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 4 │ -0.68 │ hands │ 0.63 │ man │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 5 │ -0.66 │ free │ 0.66 │ ready warden │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 6 │ -0.64 │ grace │ 0.66 │ loss │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 7 │ -0.63 │ pronoun stay │ 0.70 │ thats pronoun │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 8 │ -0.61 │ come │ 0.71 │ mama │ ├────┼────────┼──────────────┼─────────┼───────────────┤ │ 9 │ -0.57 │ say pronoun │ 0.73 │ ready home │ ╘════╧════════╧══════════════╧═════════╧═══════════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for) /Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
df
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
| 6 | mnb | V4 | 0.519824 |
| 7 | svm | V4 | 0.519824 |
| 8 | mnb | V5 | 0.528634 |
| 9 | svm | V5 | 0.497797 |
vec = unigram_tv
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V6', 'score': score})
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V6', 'score': score})
============ Sentiment Score: 0 ╒════╤════════╤══════════╤═════════╤══════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════════════════╡ │ 0 │ -6.62 │ grief │ -4.74 │ want │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 1 │ -6.62 │ loss │ -4.68 │ like │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 2 │ -6.55 │ killed │ -4.65 │ sorry │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 3 │ -6.54 │ lived │ -4.63 │ thank │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 4 │ -6.54 │ mary │ -4.60 │ im │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 5 │ -6.49 │ members │ -4.47 │ yall │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 6 │ -6.49 │ touch │ -4.44 │ family │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 7 │ -6.48 │ hear │ -4.00 │ love │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 8 │ -6.48 │ better │ -3.07 │ pronoun │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 9 │ -6.48 │ wont │ -2.59 │ first_person_pronoun │ ╘════╧════════╧══════════╧═════════╧══════════════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤══════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════════════════╡ │ 0 │ -5.75 │ able │ -5.58 │ friend │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 1 │ -5.75 │ address │ -5.49 │ love │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 2 │ -5.75 │ ago │ -5.48 │ statement │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 3 │ -5.75 │ ah │ -5.45 │ truth │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 4 │ -5.75 │ ahead │ -5.34 │ ready │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 5 │ -5.75 │ aint │ -5.33 │ just │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 6 │ -5.75 │ allah │ -5.31 │ thats │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 7 │ -5.75 │ allowed │ -5.27 │ everybody │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 8 │ -5.75 │ almighty │ -5.17 │ first_person_pronoun │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 9 │ -5.75 │ alright │ -5.12 │ blessing │ ╘════╧════════╧══════════╧═════════╧══════════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤══════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════════════════╡ │ 0 │ -6.70 │ hurting │ -4.76 │ like │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 1 │ -6.70 │ soon │ -4.74 │ sorry │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 2 │ -6.65 │ night │ -4.73 │ know │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 3 │ -6.63 │ thought │ -4.68 │ god │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 4 │ -6.63 │ ahead │ -4.66 │ family │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 5 │ -6.62 │ whats │ -4.62 │ thank │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 6 │ -6.61 │ human │ -4.48 │ im │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 7 │ -6.61 │ written │ -4.08 │ love │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 8 │ -6.59 │ trial │ -3.00 │ pronoun │ ├────┼────────┼──────────┼─────────┼──────────────────────┤ │ 9 │ -6.57 │ rest │ -2.59 │ first_person_pronoun │ ╘════╧════════╧══════════╧═════════╧══════════════════════╛ ============ Sentiment Score: 0 ╒════╤════════╤═══════════╤═════════╤═════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═══════════╪═════════╪═════════════╡ │ 0 │ -1.32 │ loss │ 0.98 │ grace │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 1 │ -1.22 │ better │ 0.98 │ heads │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 2 │ -1.18 │ happened │ 0.99 │ rest │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 3 │ -1.08 │ guilty │ 1.01 │ hands │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 4 │ -1.04 │ sir │ 1.07 │ forgiveness │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 5 │ -1.02 │ wanted │ 1.12 │ goes │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 6 │ -1.01 │ killed │ 1.20 │ brother │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 7 │ -0.96 │ baby │ 1.22 │ dad │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 8 │ -0.96 │ man │ 1.40 │ come │ ├────┼────────┼───────────┼─────────┼─────────────┤ │ 9 │ -0.95 │ statement │ 1.73 │ innocent │ ╘════╧════════╧═══════════╧═════════╧═════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -0.44 │ pronoun │ 0.21 │ guilty │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -0.33 │ im │ 0.32 │ state │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -0.29 │ say │ 0.38 │ fear │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -0.23 │ yes │ 0.40 │ friend │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -0.23 │ good │ 0.42 │ murder │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -0.21 │ home │ 0.51 │ everybody │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -0.20 │ ill │ 0.53 │ thats │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -0.20 │ care │ 0.61 │ just │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -0.19 │ father │ 0.89 │ truth │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -0.19 │ mr │ 1.09 │ blessing │ ╘════╧════════╧══════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤═════════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═════════════╪═════════╪══════════╡ │ 0 │ -1.67 │ innocent │ 0.93 │ hope │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 1 │ -1.34 │ come │ 0.93 │ baby │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 2 │ -1.20 │ brother │ 0.99 │ killed │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 3 │ -1.20 │ dad │ 0.99 │ sir │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 4 │ -1.10 │ goes │ 1.00 │ brothers │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 5 │ -1.09 │ forgiveness │ 1.03 │ man │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 6 │ -1.09 │ just │ 1.07 │ wanted │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 7 │ -1.01 │ grace │ 1.22 │ better │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 8 │ -0.99 │ blessing │ 1.31 │ loss │ ├────┼────────┼─────────────┼─────────┼──────────┤ │ 9 │ -0.98 │ rest │ 1.33 │ happened │ ╘════╧════════╧═════════════╧═════════╧══════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for) /Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
df
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
| 6 | mnb | V4 | 0.519824 |
| 7 | svm | V4 | 0.519824 |
| 8 | mnb | V5 | 0.528634 |
| 9 | svm | V5 | 0.497797 |
| 10 | mnb | V6 | 0.533040 |
| 11 | svm | V6 | 0.519824 |
vec = unigram_tv_v2
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V7', 'score': score})
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V7', 'score': score})
============ Sentiment Score: 0 ╒════╤════════╤══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════╡ │ 0 │ -6.64 │ grief │ -4.69 │ know │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 1 │ -6.64 │ loss │ -4.61 │ want │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 2 │ -6.55 │ killed │ -4.57 │ like │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 3 │ -6.54 │ lived │ -4.55 │ im │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 4 │ -6.53 │ mary │ -4.49 │ thank │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 5 │ -6.49 │ touch │ -4.49 │ sorry │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 6 │ -6.48 │ members │ -4.38 │ yall │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 7 │ -6.48 │ better │ -4.29 │ family │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 8 │ -6.47 │ hear │ -3.86 │ love │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 9 │ -6.46 │ wont │ -2.92 │ pronoun │ ╘════╧════════╧══════════╧═════════╧══════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -5.74 │ able │ -5.49 │ guilty │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -5.74 │ address │ -5.48 │ friend │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -5.74 │ ago │ -5.48 │ love │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -5.74 │ ah │ -5.35 │ statement │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -5.74 │ ahead │ -5.34 │ ready │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -5.74 │ aint │ -5.33 │ just │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -5.74 │ allah │ -5.31 │ thats │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -5.74 │ allowed │ -5.30 │ truth │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -5.74 │ almighty │ -5.27 │ everybody │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -5.74 │ alright │ -5.12 │ blessing │ ╘════╧════════╧══════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════╡ │ 0 │ -6.71 │ hurting │ -4.72 │ yall │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 1 │ -6.71 │ soon │ -4.62 │ know │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 2 │ -6.65 │ night │ -4.62 │ like │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 3 │ -6.62 │ thought │ -4.59 │ sorry │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 4 │ -6.62 │ ahead │ -4.57 │ god │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 5 │ -6.62 │ whats │ -4.50 │ family │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 6 │ -6.61 │ written │ -4.46 │ thank │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 7 │ -6.60 │ human │ -4.42 │ im │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 8 │ -6.56 │ rest │ -3.95 │ love │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 9 │ -6.56 │ momma │ -2.86 │ pronoun │ ╘════╧════════╧══════════╧═════════╧══════════╛ ============ Sentiment Score: 0 ╒════╤════════╤══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════╡ │ 0 │ -1.30 │ loss │ 1.03 │ grace │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 1 │ -1.19 │ better │ 1.07 │ momma │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 2 │ -1.10 │ killed │ 1.09 │ hands │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 3 │ -1.09 │ happened │ 1.13 │ trial │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 4 │ -1.09 │ sir │ 1.15 │ goes │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 5 │ -1.06 │ baby │ 1.17 │ rest │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 6 │ -1.06 │ wanted │ 1.21 │ dad │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 7 │ -0.98 │ man │ 1.22 │ brother │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 8 │ -0.96 │ grief │ 1.43 │ come │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 9 │ -0.91 │ brothers │ 1.81 │ innocent │ ╘════╧════════╧══════════╧═════════╧══════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤═══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪═══════════╡ │ 0 │ -0.47 │ pronoun │ 0.19 │ guilty │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 1 │ -0.33 │ im │ 0.33 │ state │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 2 │ -0.33 │ say │ 0.40 │ fear │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 3 │ -0.25 │ yes │ 0.41 │ friend │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 4 │ -0.24 │ home │ 0.43 │ murder │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 5 │ -0.24 │ ill │ 0.50 │ everybody │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 6 │ -0.23 │ good │ 0.52 │ thats │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 7 │ -0.23 │ care │ 0.62 │ just │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 8 │ -0.22 │ father │ 0.94 │ truth │ ├────┼────────┼──────────┼─────────┼───────────┤ │ 9 │ -0.21 │ mr │ 1.08 │ blessing │ ╘════╧════════╧══════════╧═════════╧═══════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════╤═════════╤══════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪══════════╡ │ 0 │ -1.72 │ innocent │ 0.94 │ grief │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 1 │ -1.39 │ come │ 0.96 │ brothers │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 2 │ -1.23 │ brother │ 1.01 │ baby │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 3 │ -1.19 │ dad │ 1.03 │ sir │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 4 │ -1.14 │ rest │ 1.06 │ man │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 5 │ -1.13 │ goes │ 1.08 │ killed │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 6 │ -1.11 │ truth │ 1.11 │ wanted │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 7 │ -1.10 │ momma │ 1.19 │ better │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 8 │ -1.07 │ just │ 1.26 │ happened │ ├────┼────────┼──────────┼─────────┼──────────┤ │ 9 │ -1.06 │ grace │ 1.31 │ loss │ ╘════╧════════╧══════════╧═════════╧══════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for) /Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
df
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
| 6 | mnb | V4 | 0.519824 |
| 7 | svm | V4 | 0.519824 |
| 8 | mnb | V5 | 0.528634 |
| 9 | svm | V5 | 0.497797 |
| 10 | mnb | V6 | 0.533040 |
| 11 | svm | V6 | 0.519824 |
| 12 | mnb | V7 | 0.533040 |
| 13 | svm | V7 | 0.515419 |
vec = bigram_tv
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V8', 'score': score})
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V8', 'score': score})
============ Sentiment Score: 0 ╒════╤════════╤═══════════════════════════════╤═════════╤══════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═══════════════════════════════╪═════════╪══════════════════════════════╡ │ 0 │ -7.12 │ baby first_person_pronoun │ -5.33 │ im │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 1 │ -7.12 │ god forgive │ -5.33 │ thank │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 2 │ -7.12 │ good first_person_pronoun │ -5.24 │ pronoun first_person_pronoun │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 3 │ -7.12 │ grief │ -5.20 │ yall │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 4 │ -7.12 │ loss │ -5.16 │ family │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 5 │ -7.09 │ first_person_pronoun wont │ -5.07 │ love pronoun │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 6 │ -7.08 │ daughter first_person_pronoun │ -4.92 │ first_person_pronoun love │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 7 │ -7.08 │ support pronoun │ -4.71 │ love │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 8 │ -7.07 │ happen first_person_pronoun │ -3.77 │ pronoun │ ├────┼────────┼───────────────────────────────┼─────────┼──────────────────────────────┤ │ 9 │ -7.06 │ killed │ -3.29 │ first_person_pronoun │ ╘════╧════════╧═══════════════════════════════╧═════════╧══════════════════════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤════════════════════════════╤═════════╤═══════════════════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════════════════╪═════════╪═══════════════════════════════════════════╡ │ 0 │ -6.45 │ able │ -6.22 │ statement │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 1 │ -6.45 │ address │ -6.19 │ truth │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 2 │ -6.45 │ ago │ -6.14 │ first_person_pronoun first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 3 │ -6.45 │ ah │ -6.13 │ just │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 4 │ -6.45 │ ah first_person_pronoun │ -6.12 │ thats │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 5 │ -6.45 │ ahead │ -6.08 │ everybody │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 6 │ -6.45 │ aint │ -6.05 │ ready │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 7 │ -6.45 │ allah │ -5.95 │ love everybody │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 8 │ -6.45 │ allah first_person_pronoun │ -5.93 │ first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 9 │ -6.45 │ allowed │ -5.83 │ blessing │ ╘════╧════════╧════════════════════════════╧═════════╧═══════════════════════════════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤════════════════════════════╤═════════╤══════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════════════════╪═════════╪══════════════════════════════╡ │ 0 │ -7.18 │ hurting │ -5.34 │ family │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 1 │ -7.18 │ innocent man │ -5.33 │ god │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 2 │ -7.18 │ momma first_person_pronoun │ -5.30 │ thank │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 3 │ -7.18 │ pronoun coming │ -5.17 │ im │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 4 │ -7.18 │ soon │ -5.03 │ pronoun first_person_pronoun │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 5 │ -7.18 │ years pronoun │ -4.95 │ love pronoun │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 6 │ -7.14 │ come first_person_pronoun │ -4.93 │ first_person_pronoun love │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 7 │ -7.14 │ night │ -4.78 │ love │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 8 │ -7.13 │ pronoun care │ -3.69 │ pronoun │ ├────┼────────┼────────────────────────────┼─────────┼──────────────────────────────┤ │ 9 │ -7.13 │ thought │ -3.28 │ first_person_pronoun │ ╘════╧════════╧════════════════════════════╧═════════╧══════════════════════════════╛ ============ Sentiment Score: 0 ╒════╤════════╤══════════════════════════════╤═════════╤══════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════════════════════════╪═════════╪══════════════╡ │ 0 │ -1.17 │ loss │ 0.92 │ love yall │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 1 │ -1.06 │ pronoun first_person_pronoun │ 0.94 │ forgiveness │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 2 │ -1.04 │ better │ 0.95 │ want tell │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 3 │ -0.89 │ happened │ 1.02 │ brother │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 4 │ -0.87 │ baby first_person_pronoun │ 1.07 │ goes │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 5 │ -0.86 │ guilty │ 1.09 │ dad │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 6 │ -0.84 │ deserve │ 1.09 │ innocent man │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 7 │ -0.84 │ care first_person_pronoun │ 1.18 │ come │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 8 │ -0.84 │ thing first_person_pronoun │ 1.35 │ pronoun love │ ├────┼────────┼──────────────────────────────┼─────────┼──────────────┤ │ 9 │ -0.82 │ first_person_pronoun wanted │ 1.42 │ innocent │ ╘════╧════════╧══════════════════════════════╧═════════╧══════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════════════════════════╤═════════╤═══════════════════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════════════════════════╪═════════╪═══════════════════════════════════════════╡ │ 0 │ -0.36 │ pronoun │ 0.32 │ everybody │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 1 │ -0.26 │ im ready │ 0.33 │ murder │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 2 │ -0.24 │ first_person_pronoun love │ 0.34 │ friend │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 3 │ -0.22 │ im │ 0.35 │ truth first_person_pronoun │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 4 │ -0.21 │ first_person_pronoun ready │ 0.40 │ thats │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 5 │ -0.19 │ good │ 0.46 │ just │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 6 │ -0.18 │ first_person_pronoun friends │ 0.62 │ first_person_pronoun first_person_pronoun │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 7 │ -0.16 │ goodbye │ 0.66 │ truth │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 8 │ -0.16 │ say │ 0.84 │ love everybody │ ├────┼────────┼──────────────────────────────┼─────────┼───────────────────────────────────────────┤ │ 9 │ -0.16 │ friends │ 1.12 │ blessing │ ╘════╧════════╧══════════════════════════════╧═════════╧═══════════════════════════════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤═══════════════════════════════════════════╤═════════╤══════════════════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═══════════════════════════════════════════╪═════════╪══════════════════════════════╡ │ 0 │ -1.42 │ pronoun love │ 0.82 │ pronoun mom │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 1 │ -1.35 │ innocent │ 0.82 │ care first_person_pronoun │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 2 │ -1.12 │ come │ 0.86 │ thing first_person_pronoun │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 3 │ -1.07 │ innocent man │ 0.87 │ baby first_person_pronoun │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 4 │ -1.06 │ dad │ 0.88 │ deserve │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 5 │ -1.03 │ brother │ 0.91 │ god │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 6 │ -1.02 │ goes │ 0.99 │ pronoun first_person_pronoun │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 7 │ -0.97 │ first_person_pronoun first_person_pronoun │ 1.03 │ happened │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 8 │ -0.94 │ just │ 1.04 │ better │ ├────┼────────┼───────────────────────────────────────────┼─────────┼──────────────────────────────┤ │ 9 │ -0.94 │ forgiveness │ 1.20 │ loss │ ╘════╧════════╧═══════════════════════════════════════════╧═════════╧══════════════════════════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for) /Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
df
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
| 6 | mnb | V4 | 0.519824 |
| 7 | svm | V4 | 0.519824 |
| 8 | mnb | V5 | 0.528634 |
| 9 | svm | V5 | 0.497797 |
| 10 | mnb | V6 | 0.533040 |
| 11 | svm | V6 | 0.519824 |
| 12 | mnb | V7 | 0.533040 |
| 13 | svm | V7 | 0.515419 |
| 14 | mnb | V8 | 0.533040 |
| 15 | svm | V8 | 0.533040 |
vec = bigram_tv_v2
classifier = mnb
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'mnb', 'vectorizer': 'V9', 'score': score})
classifier = svm
model, score, report = get_model(X,y,y_labels, y_labels, classifier, vec)
return_features(vec, model)
df = update_big_df(big_df,{ 'classifier': 'svm', 'vectorizer': 'V9', 'score': score})
============ Sentiment Score: 0 ╒════╤════════╤═════════════════╤═════════╤══════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪═════════════════╪═════════╪══════════════╡ │ 0 │ -6.96 │ god forgive │ -5.09 │ want │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 1 │ -6.96 │ grief │ -5.06 │ im │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 2 │ -6.96 │ loss │ -5.06 │ like │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 3 │ -6.96 │ pronoun sister │ -4.99 │ thank │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 4 │ -6.96 │ sorry hope │ -4.97 │ sorry │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 5 │ -6.91 │ support pronoun │ -4.90 │ yall │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 6 │ -6.88 │ help pronoun │ -4.80 │ family │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 7 │ -6.88 │ killed │ -4.72 │ love pronoun │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 8 │ -6.88 │ killed pronoun │ -4.36 │ love │ ├────┼────────┼─────────────────┼─────────┼──────────────┤ │ 9 │ -6.88 │ lived │ -3.42 │ pronoun │ ╘════╧════════╧═════════════════╧═════════╧══════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════╤═════════╤════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════╪═════════╪════════════════╡ │ 0 │ -6.24 │ able │ -5.98 │ guilty │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 1 │ -6.24 │ address │ -5.98 │ friend │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 2 │ -6.24 │ ago │ -5.91 │ just │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 3 │ -6.24 │ ah │ -5.90 │ thats │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 4 │ -6.24 │ ahead │ -5.86 │ everybody │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 5 │ -6.24 │ aint │ -5.84 │ statement │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 6 │ -6.24 │ allah │ -5.83 │ ready │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 7 │ -6.24 │ allowed │ -5.80 │ truth │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 8 │ -6.24 │ almighty │ -5.73 │ love everybody │ ├────┼────────┼──────────┼─────────┼────────────────┤ │ 9 │ -6.24 │ alright │ -5.61 │ blessing │ ╘════╧════════╧══════════╧═════════╧════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤════════════════╤═════════╤══════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════╪═════════╪══════════════╡ │ 0 │ -7.03 │ hurting │ -5.09 │ know │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 1 │ -7.03 │ innocent man │ -5.09 │ like │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 2 │ -7.03 │ pronoun coming │ -5.08 │ sorry │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 3 │ -7.03 │ soon │ -5.02 │ god │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 4 │ -6.97 │ everybody love │ -4.99 │ family │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 5 │ -6.97 │ night │ -4.94 │ thank │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 6 │ -6.95 │ written │ -4.92 │ im │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 7 │ -6.95 │ ahead │ -4.63 │ love pronoun │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 8 │ -6.95 │ pronoun care │ -4.45 │ love │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 9 │ -6.95 │ thought │ -3.35 │ pronoun │ ╘════╧════════╧════════════════╧═════════╧══════════════╛ ============ Sentiment Score: 0 ╒════╤════════╤════════════════╤═════════╤══════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪════════════════╪═════════╪══════════════╡ │ 0 │ -1.20 │ loss │ 1.03 │ love yall │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 1 │ -1.15 │ better │ 1.03 │ hands │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 2 │ -1.00 │ love everybody │ 1.04 │ yes want │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 3 │ -0.92 │ pronoun mom │ 1.06 │ forgiveness │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 4 │ -0.91 │ killed │ 1.07 │ tell family │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 5 │ -0.90 │ guilty │ 1.09 │ innocent man │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 6 │ -0.89 │ im sorry │ 1.09 │ brother │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 7 │ -0.88 │ want say │ 1.18 │ goes │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 8 │ -0.88 │ happened │ 1.29 │ come │ ├────┼────────┼────────────────┼─────────┼──────────────┤ │ 9 │ -0.88 │ baby │ 1.53 │ innocent │ ╘════╧════════╧════════════════╧═════════╧══════════════╛ ============ Sentiment Score: 1 ╒════╤════════╤══════════════╤═════════╤════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════════╪═════════╪════════════════╡ │ 0 │ -0.38 │ pronoun │ 0.28 │ ready │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 1 │ -0.25 │ friends │ 0.29 │ state │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 2 │ -0.24 │ im ready │ 0.37 │ thats │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 3 │ -0.23 │ say │ 0.39 │ fear │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 4 │ -0.23 │ words │ 0.43 │ murder │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 5 │ -0.21 │ im │ 0.44 │ friend │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 6 │ -0.20 │ good │ 0.47 │ just │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 7 │ -0.20 │ goodbye │ 0.83 │ love everybody │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 8 │ -0.19 │ friends love │ 0.91 │ truth │ ├────┼────────┼──────────────┼─────────┼────────────────┤ │ 9 │ -0.19 │ yes │ 1.10 │ blessing │ ╘════╧════════╧══════════════╧═════════╧════════════════╛ ============ Sentiment Score: 2 ╒════╤════════╤══════════════╤═════════╤═════════════════╕ │ │ Most │ Likely │ Least │ Likely │ ╞════╪════════╪══════════════╪═════════╪═════════════════╡ │ 0 │ -1.46 │ innocent │ 0.88 │ wanted │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 1 │ -1.24 │ come │ 0.89 │ support pronoun │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 2 │ -1.16 │ goes │ 0.90 │ im sorry │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 3 │ -1.11 │ brother │ 0.91 │ want say │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 4 │ -1.10 │ truth │ 0.92 │ killed │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 5 │ -1.09 │ tell family │ 0.92 │ man │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 6 │ -1.04 │ innocent man │ 0.93 │ pronoun mom │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 7 │ -1.03 │ forgiveness │ 1.01 │ happened │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 8 │ -1.01 │ momma │ 1.14 │ better │ ├────┼────────┼──────────────┼─────────┼─────────────────┤ │ 9 │ -0.99 │ grace │ 1.19 │ loss │ ╘════╧════════╧══════════════╧═════════╧═════════════════╛
/Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for) /Users/danielcaraway/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples. 'precision', 'predicted', average, warn_for)
df
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
| 6 | mnb | V4 | 0.519824 |
| 7 | svm | V4 | 0.519824 |
| 8 | mnb | V5 | 0.528634 |
| 9 | svm | V5 | 0.497797 |
| 10 | mnb | V6 | 0.533040 |
| 11 | svm | V6 | 0.519824 |
| 12 | mnb | V7 | 0.533040 |
| 13 | svm | V7 | 0.515419 |
| 14 | mnb | V8 | 0.533040 |
| 15 | svm | V8 | 0.533040 |
| 16 | mnb | V9 | 0.537445 |
| 17 | svm | V9 | 0.502203 |
# pred_vec = bigram_cv_v2
# test = pd.read_csv("kaggle-sentiment/test.tsv", delimiter='\t')
# k_id = test['PhraseId'].values
# k_text = test['Phrase'].values
# k_vec = bigram_cv_v2.transform(k_text)
# k_vec
# def get_kaggle_test_train_vec(X,y,vectorizer):
# X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=None, random_state=0)
# X_train_vec = vectorizer.fit_transform(X_train)
# X_test_vec = vectorizer.transform(X_test)
# return X_train_vec, X_test_vec, y_train, y_test
# def do_the_kaggle(X,y,vec):
# X_train_vec, X_test_vec, y_train, y_test = get_kaggle_test_train_vec(X,y,vec)
# svm_clf = LinearSVC(C=1)
# prediction = svm_clf.fit(X_train_vec,y_train).predict(k_vec)
# kaggle_submission = zip(k_id, prediction)
# outf=open('kaggle_submission_linearSVC_v5.csv', 'w')
# outf.write('PhraseId,Sentiment\n')
# for x, value in enumerate(kaggle_submission): outf.write(str(value[0]) + ',' + str(value[1]) + '\n')
# outf.close()
# print('prediction complete')
# do_the_kaggle(X,y,bigram_cv_v2)
df
| classifier | vectorizer | score | |
|---|---|---|---|
| 0 | mnb | V1 | 0.546256 |
| 1 | svm | V1 | 0.497797 |
| 2 | mnb | V2 | 0.541850 |
| 3 | svm | V2 | 0.493392 |
| 4 | mnb | V3 | 0.524229 |
| 5 | svm | V3 | 0.515419 |
| 6 | mnb | V4 | 0.519824 |
| 7 | svm | V4 | 0.519824 |
| 8 | mnb | V5 | 0.528634 |
| 9 | svm | V5 | 0.497797 |
| 10 | mnb | V6 | 0.533040 |
| 11 | svm | V6 | 0.519824 |
| 12 | mnb | V7 | 0.533040 |
| 13 | svm | V7 | 0.515419 |
| 14 | mnb | V8 | 0.533040 |
| 15 | svm | V8 | 0.533040 |
| 16 | mnb | V9 | 0.537445 |
| 17 | svm | V9 | 0.502203 |