??

?? ???, ?? ?? ? ?? ??? ???? ?? ???? ???? ??? ???? ???? ????. ? ???? ?? ???? ???? ?? ??? ???? ??? ??? ??? ?? ??? ??? ?????. ?? ??, ?? ??? ? ?? ???? ???? ?? ??? ???? ?? ? ?? ??? ???? ?? ???? ??? ??? ?????.

KNN, SVM ? ?? ?? ??? ?? ?? ?? ????? ?? ?? ?? ??? ??? ???????????. ??? ??? ??? ?? ? ?? ?? ??????? ??? ?? ? ??? ??? ?????. ??? ???? ?? ? ?? ???????.

? ??? ?? ??? ?? ???? ?? ? ? ????? ??? ????? ?????. ??? ?? ????? ?? ???? ???? ?????. ?? ?? ????? ?? ??? ?? ?? ??? ???? ????? ??? ????. ?? ?? ????? ?? ????? ???? ?? ??? ??? ???? ????? ?? ? ??? ????.

?? ??

• ?? ?? ???? ?? ? ? ??? ??? ? ???.
• ??? ??? ?? ?? ????? ??.
• ?? ?? ????? ??? ??.
• ??? ?? ?????? ?? ?? ?? ??? ? ???.
• ?? ?? ????? ?? ? ?? ??.
• ?? ?? ????? ??? ??.
• Python?? ??? ???? ???? ???? ??? Reddit ????? ??? ??? ?????.

? ??? Data Science Blogathon ? ??? ??????? .

??

• ??? ???? ??????
  • ??? ?? ?????? ??? ??? ??
• ?? ?? ???? ??
• ?? ?? ???? ?? ??? ??
• ?? ?? ????? ??? ??
  • ??? ?? ?? ?? (c)
• ?? ?? ?????? ???? ??
• ?? ?? ????? ??? ??
• ??? ??
• ?? ?? ?? ?? ??
  • ??? ??? ????? ?? ??
  • ???? ?? ?? ?? ? ?? ??? ??????
• ?? ?? ??

??? ???? ??????

?? ???????? ??? ??? ?? ?? ??????, ??? ?? ??? ???? ? ?? ????? ?? ??? ??? ??? ???? ????? ?????? ?? ?? ???????. ? ???? ?? ??? ??? ???? ????? ??? ? ???? ??? ??? ?? ???? ???? ?? ???? ?? ?????. ???? ?? ?? ??? ?? ??? ??? ?? ??? ??? ?? ? ? ??? ??? ???? ??? ???? ? ?? ??? ???????.

?? ? ??? ?? : ?? ??

???? ?? ? ??? ?? ??? ?? ?????.

?? ?? :

• ?? ?? : ?? ?? ????? ?? ??? ???? ? ?? ?????. ?? ????? ??? ??? ???? ??? ? ??? ??? ?????.
• ? : ???,?? ?? ?? (SVM), K-Nearest Neighbors (KNN).
• ?? ?? : ???? ?? ??? ??? ???? ??????, ?? ??? ?? ??? ????? ?? ? ????. ???? ??? GPU??? ? ??? ?? ? ???? ?? ???? ??? ????? ?? ??? ????.

??? ?? :

• ?? ?? : ??? ?? ???? ??? ??? ??? ????? ??? ????? ???????. ? ??? ????? ??? ??? ???? ????? ?????.
• ?? : ? ???? ??? ??? ??? ?? ??? ???? ???? ? ? ??????. ? ??? ???? ?? ???? ?????? ???? ??? ? ???? ??? ??? ???? ??? ?? ? ? ??????.
• ?? ???? : ??? ??? ?? ?? ??, ?? ??? ??? ? ?? ???? ?? ??? ?? ??? ??? ?? ????? ?????.

??? ?? ?????? ??? ??? ??

• ???? ?? : ??? ?? ??? ??? ???? ???? ?? ?? ???? ?? ??? ??? ?? ??? ??? ???? ??? ??????. ?? ?? ??? ???? ?????? ??? ??? ?? ??????.
• ??? : ??? ?? ????? ?? ??? ??? ??? ???? ????? ???? ??? ?? ??? ???? ?? ? ? ????. ?? ??? ??? ?? ?? ??? ??? ?? ????? ?? ?????.
• ?? ?? : ???? ????? ?????? ??? ?? ??? ???? ?? ??? ???? ????. ?? ? ??? ??? ???? ?? ? ? ???, ?? ????? ????? ???? ???? ??? ???? ? ??????.
• ??? ?? ?? : ??? ??? ?? ??? ????? ????, ?? ?? ??? ?? ??? ?? ??? ?? ?? ??? ???? ?? ????? ?????.

?? ?? ???? ??

?? ?? ????? Crammer et.al? ?? ?? ???????. 2006 ?“??? ?? ?? ????”??? ??? ??? ??. ? ????? ??? ?? ??? ??? ?? ?? ??? ?????. ? ??? ????? ????? ???? ?? ??? ?? ? ?? ????? ???? ?? ? ? ?? ??? ??? ??????. ?? ?? ??? ?? ????? ??? ??? ??? ?? ? ? ?? ??? ?? ????? ?????. ??, ??? ??? ??? ??? ?? ?? ??? ?? ???? ???? ??? ??? ??? ??? ??? ?? ? ?? ? ? ????.

??? ??? ?? ?? ? ????. ? ??? ????. ????? ?? ??? ?? ??? ???? ???? ???? ??? ???? ?? ??? ???? ?? ??? ????? ?? ??? ????? ?? ?????. ??? ???? ??? ? ??? ???? ??? ???? ?? ??? ???? ?? ??? ??? ?????.

PA ????? ?? ??? ? ? ????? ?? ??? ???? ??? ??????. ?? ? ?? ??? ? ??? ??? ??? ??? ??? ??? ???????. PA ????? ??? ???? ?? ???? ??? ?? ??? ???? ?? ?? ??????. ????? ??? ???? ?? ?? ???? ?????. ??? ??? ???? ?? ???? ????? ??? ??? ???? ???? ????? ?? ??? ???? ????? ???????. ??? ??? ???? ???? ???? ??? ???? ?? ????? ???? ????.

?? ?? ???? ?? ??? ??

?? ?? ????? ?? ??? ?? ??? ???? ????? ?? ?? ?? ? ?????. ??? ??? ???? ?? ??? ??? ???? ?? ?? ??? ??? ???? ?? ?????.

?? ??? ?? ??, ?? SVMS (Support Vector Machines)? ?? ?? ???? ?? ?????.

?? ??? ??

??? ??? ?? ?????.

• W ? ??? ?? ?????
• XI? I-TH ??? ???? ?? ?????.
• Yi ? I -TH ??? ???? ?? ????? ?? ??? ?? 1 ?? -1 ? ? ????.

??? ? ??? ???? ???? ?? ?? ??? ??? ???. PA ????? ?? ??? ??? ??? ??? ??? ????? ?? ?????. ??? ??? ???? ?? ??/??? ??? ??? ?????. ?? SVM ???? ??? ?? ???? ?? ??? ?? ??? ?????. ? ? ??? ???? ??? ? ??? ?? ? ???? ???? ?? ? ? ??? ?????. ??? ??? ??? ? ??? 1 ??? ??? ???? ????.

??? ??

??? ? ????? ???? ?? ??? ?? ? ??? ?????? ?? ?????.

• w · xi : ??? ??? ?? w ? ??? ??? XI? ?? ????. ???? ??? ?? ???? ?????.
• yi * (w · xi) : ??? ?? ? ?? ?? ???? ????, ??? ??? True ??? Yi ? ?? ?????. ?? ?? ???? ??? ???? ????? ?? ?? ??? ???? ????? ?????.
• 1 - yi * (w · xi) : ??? ?? (1)? ?? ??? ??? ?????.
• max (0, 1 - yi * (w · xi)) : ??? 1 ??? ?? ??? 0???. ??? ??? ??? ?? ???? ???? ?????.

??? ???, ?? ??? ??? ??? ??? ???? ??? ??? ??? ?????. ??? ???? ??? ?? ???? ???? ???? ??? 0???. ??? ???, ??? ???? ?? ?? ??? ?? ????, ??? ???? ??? ?? ???? ?????.

?? ?? ????? ??? ??

?? ??? ???? ??? ??? ???? ??? ???? ?? ??? ?? ?????? ??? ?? W? ???? ?? ???????. ??? ????? ?? ??? ?????.

??? ??? ?? :

1 ?? : ??? ?? w? ???????

2 ?? : ??? ??? ??? ??? (xi, yi)? ?? xiis ?? ??? Yi? ??? ???, ?? ? ??? ?_iis? ??? ?? ?????.

3 ?? : ?? ??? ?????

• ?? ? ??? label_i? ???? ??? 1 ??? ?? ??? 0???.
• ??? ??? ??? 1? ??? ?????.

4 ?? : ?? ???? ??? ???? ??? ?? W ??

? ??? ??? X_I? ?? l (w;

???? ? ?? ?? w_t 1? ??? ?? ?????.

L (w; (x_i, y_i)) = 0 ? ?? (??? ???? ???? ?? ?) :

?? ?? ?? ??? ???? ?????.

??? ???? ????? ?? ?? ??? ?? ???? ??? ??? ??? ?? ? ?? ?????. ???? ??? ?? ???? ?? ??? ??? ???? ??? ??? ?????.

? ? ???? ???? ?? ?? ????? ?????. ???? ???? ? ??? ??? ?? ? ? ????. ????, ????? ??? ??? ? (W_T 1)? ?? ??? ??? ? ???? ???? ????? ?????. ???, ?? ????? ?? ??? ????? ??? ? ??? ?? (W_T)? ??? ??? ???????.

??? ?? ?? ?? (c)

??? ?? ?? C? ?? ?? ?????? ?? ??? ??? ???????. ? ??? ??? ? ????? ???? ??? ????? ??????? ?????.

C ?? ????? ???? ????? ???? ??? ???? ???? ?? ? ??? ?????. ????? ???? ??? ? ??? ?? ???? ? ????. ??? C? ?? ? ?? ???? ????? ? ???? ????? ??? ? ?? ?? ? ?? ????. ???? ?? ??? ??? ???? ?? ??? ??? ? ??? ????.

??? ????? ??? ??? ?????? ????? ????? ??? ??? ?? ? ?? ???? ????. ?????, ???? ? ??? ??? ??? ?? ??????, ?? ???? ???? ??? ????? ??? ????? ? ? ????. ???? ?? C? ?? ?? ?? ??? ??? ?? ??? ??? ??? ??? ???? ??? ?? ????. ?? ??????, ?? ??? ?? ??? ??? C? ?? ???? ? ?????.

?? ?? ?????? ???? ??

?? ??? ???? ?? ?? ?? ??? ??? ?? ????? ???? ????. ?? ?? ? ??? ???? ?? PA ????? ?? ??? ??? ???? ?? ?? ? ? ????. ? ?? ?? ? ??? ?? ????? ? ?? ?? ??? ??? ? ??? ??? ???? ??? ????.

?? ???? ?? ???? ??? ? ?? ?? ?? ??????? ???? ??? ? ????? ? ??? ??? ????? ????. ? ??? ?? ? ???? ?? ????? ???? ??? ????. ??? ???? ?????. ????? PA-I ? PA-II? ??? ??? ?? ??? ???? ? ?? ???? ????.

?? ?? ?? ?? ?? τ (??? ? ?????? ?)? ???? ???? . PA-I? ?? ??? ??? ?? ?? C? ??? ?????.

??? ?? ??? ??? ?? ?????.

PA-II? ?? ?? ?? ?? ??? ? ??? ??? ?? ?? ? ? ????.

?? ??? ???? Sklearn ?? ??? ??? ?? ??? ??? ?????. ??? ??? ????? 2 ?? PA-I ? PA-II ? ?? ?? ???? ? ? ? ??? ??? ? ????. PA-I ??? ????? PA-II? ?? ??? "??"? ????????. ??? "?? ??"? ?????.

??? ??? ?? ??? ??? ?? ? ? ????.

• PA-I? ?? ??? ?????? ???? ????? (??? 1?? ??)??? ??? ??? ?? ??? ?? ??? ?????. ?? ?? ??? ??? ? ?? ???? ???? ? ???.
• PA-II? ??? ??? ??? ?????? ? ??? ????, ???? ??? ? ?? ?? ? ??????. ???, ??? ???? ??? ???? ? ? ?????? ?? ??? ?????.

? ? ??? ??? ??? ??? ?? ??? ?? ????. ??? C? ???? ?? C? ??? ?? ?? ? ??? ???? ?? ?? ?????.

?? ?? ????? ??? ??

??? ?? ? ?? ??? ?????? ??? ??? ???? ?? ???? ????? ???? ?? ????? ????. ????? ??? ??? ?? ????? ?? ????? ?? ???.

?? ???

?? ???? ??? ??? ? ???? ???? ?? ?? ? ??? ??? ?? ?? ???????. PA ????? ?? ?? ??? ??? ?? ???? ???? ??? ????? ???? ? ? ???? ???? ?? ?????.

?? ??

?? ??? ?? ?? ?? ??? ?? ???? ?? ? ??? ???? ?? ?????. PA ????? ????? ??? ???? ??? ??, ?? ? ?? ??? ???? ??? ???? ? ??? ? ????. ?? ?? ??? ???? ? ?? ??? ??? ?? ????, ?? ???? ?????.

?? ??? ?????

?? ?? ??? PA ????? ?? ?? ? ??? ? ?? ??? ?? ???????. ??? ??? ?? ???? ?? ?? ????? ??? ???? ?? ??? ??? ??? ? ????. ?? Twitter, Facebook ? Reddit? ?? ????? ?? ?? ??? ??? ???? ???? ? ???? ??? ? ??? ??? ???? ? ??????.

?? ??

?? ?? ? ??? ???? ?? ??? ???? ?? ?? ? ??? ??? ????? ???????. PA ????? ? ??? ???? ??? ?????? ??? ?? ??? ?? ? ? ???? ?? ??? ?? ??? ??? ???? ? ??????.

?? ?? ??

?? ??? ??? ?? ?????? ??? ??? ??? ???? ???????. ??? ?? ????? ??? ?? ????? ?? ???? ?? ??? ???? ???? ? ??? ? ???, ?? ?? ???? ????? ??????? ???? ??? ??? ?????.

?? ???

??? ?? ????? ??? ?? ????? ???? ??? ?? ??? ???? ?? ??? ???? ???? ? ? ????. ? ??? ???? ??? ?? ??? ???? ?? ?? ??? ??? ?? ?????????.

??? ??? ?? ????? ???? ??? ?? ? ?????. ??? ??? ??? ??? ???? ???? ????. ??? ?? ?? ??, ?? ?? ? ?? ??? ??? ??? ?? ???? ?????.

??? ??

??? ?? ? ?? ??? ????? ???? ???? ??? ??? ????? ???? ??? ??? ????? ??? ????. ?? ?? ?? ? ??? ??? ????.

• ?? ?? ????? ???? ????? ???? ????? ??? ??? ???? ? ?????. ?? ?? ?? ??? ??? ????? ??? ?? ??? ??? ? ?? ?? ????? ??? ?? ? ????.
• ? ????? ? ?? ??? ??? ???? ? ? ? ???, ?? ?? ??? ??? ?? ??? ?? ??? ??? ?? ??? ?????. ?? ?? ??? ??? ???? ??? ?????? ?????.
• PA ????? ??? ????? ????? ???? ??? ?? ??? ???? ???? ?? ? ???, ?? ????? ?? ? ??? ????? ?? ?? ? ????. ??? ??? ??? ??? ?? ?? ? ? ??? ??? ?? ? ? ????.
• ??? ?? ?? C? ?? ??? ???? ?? ??? ? ??? ?? ??? ?????. ?? ??? ???? ????? ??, ??? ? ?? ??? ??? ? ????.
• ??? ????? ??? ???? ?? ?? ?????. ??? ??? ??? ??? ?? ?? ? ? ???? ?? ??? ???? ??? ??? ???? ?? ???? ?? ? ????.

?? ?? ?? ?? ??

Twitter ? Reddit? ?? ?? ??? ???? ?? ?? ?? ???? ???? ??? ?? ????? ?? ??? ??? ????? ? ??????.

? ????? Reddit? ??? ???? ???? ?? ?? ?? ?? ????? ???? ???? ???? ???? ?? ??? ?? ? ????. Reddit? ??? ????? ??? ??????. ??? ??? ?? ??? ??? ? ??? ?? ??? ??? ?????. Reddit API? ???? ??? ?? ??? ????? ?? ? ??? ???? ?? ? ????.

? ??, ?? ???? ? ?? ??? ????? ?? ??? ?? ???? ?? ??????. ?? ??? ??? ??? ??? ??? ?? ?? ?????. ???, ??? ???? ???? ?? ?? ???? ?? ??? ?? ?? ????? ??? ?????.

??? ??? ????? ?? ??

?? ??? ???? ?? ?? ???? ???????. Reddit API? ????? ?? ????? ?? Reddit?? ?? ??? ???????. ?? ?? Reddit ?? ????? ???? ??? ?? API ? ? ?? ?? ??? ?????. ??? ?? ?? ??? ???? ??? ?? ?? ??? ?? ????????.

??? ?? ???? ??? ????.

• `praw '?????? ???? Reddit API? ??????.
• ??? ???? ?????? ??? ??????.
• ?? ?? ?? ??? ?? ?? ?? ? ?? ??? ???? ???? ???? ??????.
• ??? ???? ???? ???? ??? ????? ??????.
• ??? ?? ??? ??? ???? ??? ????? ??? ??????.

??? ?????? ??????

? ?? ??? ??? ?????? ???? ????.

 PIP PROW SCIKIT-LEARN NLTK ??? ?? MATPLOTLIB SEABORN OPENDATASETS

Reddit? ?? ????? Reddit API ?? ? 'Praw'?????? ?????. ?? ??? ???? 'nltk', ?? ????? 'scikit-learn',`matplotlib '?'seaborn ', ??????'seaborn ','transformers '?'torch '? ?? ???? ???? ?? ?? ? Bert ?? ?'Opendatasets '????? Kaggle?? ???????????.

?????? ?? ?? Reddit API? ?????

?? ????? ??? ?? ?????? ????`praw`? ???? Reddit API? ??? ?????. ?? ??? ??? ?????? ? ??? ? ????.

 ?? ?? re
PRAW ?? ??
?? ??
NLTK ?? ??
Numpy? NP? ?????
??? PD? ?????
matplotlib.pyplot? plt? ?????
SABORN? SNS? ??????
OpenDatasets? OD? ?????
nltk.corpus import stopwords??
sklearn.feature_extraction.text import tfidfvectorizer??
sklearn.linear_model import PassiveAggressiveClassifier
skearn.metrics import accuracy_score, confusion_matrix, classification_report
sklearn.model_selection import train_test_split
Transformers?? Automodel, AutomodelforecedEncececolassification, Autotokenizer??
Transformers?? BertforeceenceColassification, Berttokenizer, TextClassificationPipeline? ?????

# Reddit API ?? ??
reddit_client_id = {your_client_id}
reddit_client_secret = {your_client_secret}
reddit_user_agent = {your_user_agent}

# Reddit API ??? ?????
reddit = praw.reddit (client_id = reddit_client_id,
                     client_secret = reddit_client_secret,
                     user_agent = reddit_user_agent)

Reddit ????? ????? ????? ?? ?? ???? ?? ???? ??? ????.

???? ???? ??????

?? ??? ???? ?? ? ??, ?? ??, ?? ?? ?? ?? ? ????? ?? ??????. ???? ??? ??? ????? ???? ?? ??? ?? ???? ???? ?? ???? ???????.

 # ???? ????
nltk.download ( 'stopwords')
stop_words = set (stopwords.words ( 'English'))

# ???? ???? ????? ??????
def clean_text (???) :
    text = re.sub (r'http \ s | www \ s | https \ s ',' ', text, flags = re.multiline)
    text = re.sub (r '\@\ w | \#', '', text)
    text = re.sub (r '\ w', '', text)
    text = re.sub (r '\ d', '', text)
    text = re.sub (r '\ s', '', text)
    text = text.strip ()
    text = ''.join ([text.split ()? ?? word.lower ()? stop_words? ?? ??]))
    ?? ???

?? ??? ?? ?? ??, ?? ?? ? URL? ???? ??? ????? ??? ??? ?????.

???? ?? ?? ?? ? ?? ??? ??????

??? Reddit? ?? ??? ???? ? ?, ??? ??? ???? ??? ???? ??? ??? ??? ? ? ????. ?? ? ??? ????? ?? ???? ????????. ??? ???? ?? ??? ??? ?? ??? ??? ? ?? ??? ???? ???????. ?? ?? ??? ?? ??? ?? ?? ?? ? ?? ??? ?????. ? ??? ??? ? ??? ???? ?????.

 Model_Path = "Junglelee/Bert-Toxic-Comment-Comment-Comment-Comperification"
Tokenizer = berttokenizer.from_pretrained (model_path)
Model = BertforEdecenCeclassification.from_pretrained (Model_Path, Num_Labels = 2)

??? ?? = TextClassificationPipeline (Model = Model, Tokenizer = Tokenizer)

# ?? ??? ???? ???? ?????
def predict_hate_speech (???) :
    ?? = ??? ?? (???) [0] [ '???']
    ?? == '??'Else 0 # 1 ??? ?? 1, ? ??? ?? 0 # 1? ?????.

???? ??? ?????? ???? ?? ??? ??? ?????. ?? ?? ??? ???? BERT ??? ???? ?? ?? ????? ??? ???? ?? ??? ??? ?????. ?? ??? ??? ??? ??????.

Bert ???? ???? ???? ??? ?????

???? ??? ???? ???? ???? ?? ??? ?? ???? ???????. ?? ??, ??? ?? ?? ? Bert ???? ???? ???? ??? ?? ? ?? ?? ??? ??? ? ????.

 # ??? ?? ??? ?? ?? ? ?? ?? ? ?? ?????????.
model_name = "bert-base-uncased"
Tokenizer = Autotokenizer.from_pretrained (model_name)
Bert_Model = Automodel.from_pretraind (model_name)
bert_model.eval ()  

# ?? ??? BERT ???? ????
def get_bert_embedding (???) :
    inputs = tokenizer (text, return_tensors = 'pt', truncation = true, padding = true)
    Torch.no_grad ()? :
        ?? = bert_model (** ??)
    
    return outputs.last_hidden_state [:, 0, :]. squeeze (). numpy ()

?? ??? ??? ??? ???? Bert Tokenizer? ???? ?? ?? ? ?? Bert ??? ?? ???? ?? ???? ?????. ???? ?? ??? ???????.

??? ?? ???? ?????? ?? ??? ???? ??????

?? ??? ????? ??? ?????? ??? ??? ???? ?? ???? ???? ????????.

 # ?? ??? ?? ???? ??? ???? ? ? ????
def stream_comments (subreddit_name, batch_size = 100) :
    Subreddit = Reddit.subreddit (subreddit_name)
    comment_stream = subreddit.stream.comments ()
    
    ?? = []
    comment_stream? ?? :
        ????:
            # ???? ???? ?????? 
            comment_text = clean_text (comment.body)
            # ??? ??? ?? ??? ???? ??? ???? ??????
            label = predict_hate_speech (comment_text) 
            # ?? ??? ???? ???? ?????.
            batch.append ((comment_text, label))
            
            len (batch)> = batch_size ? ?? :
                ?? ??
                ?? = []
                
        E? ??? ???? :
            print (f'error : {e} ')
 

# ?? ??? ?? ?????
??? = 10

# ???? ??? ??????
Subreddit_name = '????'

# ?? ??? ???? ??????
clf = passiveAggressiveClassifier (c = 0.1, ?? = '??', max_iter = 1, random_state = 37)


# ??? ?????? ?? ??? ?????
num_rounds? ??, Enumerate? ?? (subreddit_name, batch_size = 100)) :
    # ??? ?? ???? ?? ??? ??
    num_rounds == ??? ? ?? :
        ????
  
    # ???? ???? ??????
    Batch_texts = [?? ??? ?? [0]]
    batch_labels = [?? ??? ?? [1] [1]]
    
    # ??? ??? BERT ????? ?????
    x_train_batch = np.array ([get_bert_embedding (???) batch_texts]))
    y_train_batch = np.array (batch_labels)
    
    # ?? ???? ??? ??????
    clf.partial_fit (x_train_batch, y_train_batch, ??? = [0, 1])
    ?? ({len (batch_texts)} ??? ???? f'trained. ')
    
?? ( '?? ??')

?? ????? ?? ??? ?????? 10 ?? ?? ???? PA ???? ?????? ?? ??? ?????. ?? ?? ????? ??? ???????. ??? ??? ??? ?? ?? ?? ?? ??? ???? ??? ??? ?????. ?? ?? ?? ?? ? ?? ??? ???? ???? ???? ?? ??? ?????.

PA-I ??? ????? ???? C = 0.1 ? Loss = 'Hinge'? ??? ?? ?? ???? ??????. ? ????`partial_fit ()`???? ???? ???? ??????. ?? ?? ??? ?? ?? ?? ??? ???? ???? ?? ? ?? ???? ?? ?? ? ? ????. ??? ??? ??? ??? ????? ??? ? ????? ??? ?? ????? ??????.

?? ??? ??????

Kaggle ?? ?? ??? ??? ???? ??? ?????. ? ??? ???? ?? ?? ????? ?? ? ?? ??? ???? ????.

 # Kaggle?? ???? ????????
OD.Download ( "https://www.kaggle.com/datasets/ashwiniyer176/toxic-tweets-dataset"))).
# ??????????
data = pd.read_csv ( "??-tweets-dataset/finalbanceddataset.csv", usecols = [1,2]) [[ "??", "??"]]]]

# ???? ???? ??????
test_data = data.sample (n = 100)
texts = test_data [ 'tweet']. ?? (clean_text)
labels = test_data [ '??']

# ???? ??? ?????
x_test = np.array ([???? ???? ?? get_bert_embedding (???)))))
y_test = np.array (???)

# ??????
y_pred = clf.predict (x_test)

# ??? ??? ?????
??? = accuracy_score (y_test, y_pred)
conf_matrix = confusion_matrix (y_test, y_pred)

?? ( "?? ??? :")
print (classification_report (y_test, y_pred))

# ?? ????? ???????
plt.figure (figsize = (7, 5))
sns.heatmap (conf_matrix, 
            annot = true, 
            fmt = 'd', 
            cmap = '???', 
            cbar = false, 
            xticklabels = [ "? ??", "??"], 
            yticklabels = [ "???", "??"])))
            
plt.xlabel ( '?? ? ??')
plt.ylabel ( '??? ???')
plt.title ( 'confusion matrix')
plt.show () 

??, ??? ??????? ??? ?? ? 'clean_text` ???? ?? ? ?? ???? Bert Embedding? ???? ??? ?????. ?????, ??? ??? ??? ???? ?? ??? ? ?? ????? ???? ??? ????? ??? ??? ?????.

??

??? ??? ?? ????? ?? ???? ??? ?? ????? ??? ??? ??? ????? ???? ??? ???? ????? ?? ??? ???? ???? ??? ??? ?????. ?? ?? ??? ??, ??? ?? ?? (C) ? ???? ??? ?? ?? ???? ? ??? ??????? ?? ??????. ?? ?? ??? ???? ???? Reddit? ?? ?? ?? ?? ??? ???? ?? ?? ?? ???? ? ?? ??? ??????. ?? ??? ?????. ?? AI ????? ?????!

?? ?? ??

A. ??? ??? ????? ?? ??? ??? ??? ???? ? ???? ????? ?????? ??? ??? ???? ? ?? ???? ????? ???? ????.

A. C? ??? ????? ?? ?????? ??? ???? ??? ???? ??? ????. C? ? ?? ????? ? ????? ? ?? ????? ????. ?? ?? ??? ??? ?? ?? ???? ???? ? ??? ????? ???? ?? ????.

A. ? ? ?? ??? ??? ??? ??? ??? ????? ?? ??????. ? ? ?? ??? ?? ???? ?????.

A. ??? ?? ????? ??? ??? ???? ???? ??? ??? ??? ???? ??? ? ???? ??? ???? ???? ?? ??? ? ????.

A. ?? ?? ????? ?? ???, ?? ??, ?? ?? ??, ??? ?? ?? ?? ? ?? ???? ??? ??? ?? ???? ??? ? ????.

? ??? ??? ???? ?? Vidhya? ???? ??? ??? ??? ?? ?????.

? ??? ??? ?? ? ?? ?? ???? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!