QEUR23_LMABYS9: （準備運動）GPT4Allの回答の品質評価

～ 準備運動しましょ ～

QEU:FOUNDER ： “さて、本格的にLLM（大規模言語）モデルの評価を行う前に、GPT4Allでの事例研究（ケーススタディ）をやりましょう。”

D先生 ： “全然ダメダメＧＰＴでの事例ですね。”

QEU:FOUNDER ： “じゃあ、回答の評価プログラムに行きましょう。”

# -----
# 回答品質を評価する
# インポート
import pandas as pd
import numpy as np
import nltk
nltk.download('punkt')
from nltk.tokenize import sent_tokenize
from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

############
# BLEUに代る回答品質の評価指標を作りたい
# 2つの文の類似度を比較するためのプログラム
# Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #First element of model_output contains all token embed-dings
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
model = AutoModel.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')

# -----
# 文全体をベクトル化する
def create_embedding(sentences):

    # Tokenize sentences
    encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

    # Compute token embeddings
    with torch.no_grad():
        model_output = model(**encoded_input)

    # Perform pooling
    sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
    # Normalize embeddings
    sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)

    return sentence_embeddings

# -----
# コサイン類似度計算
def cons_similarity(sentences):

    # -----
    # ベクトル化
    sentence_embeddings = create_embedding(sentences)
    #print("Sentence embeddings:")
    #print(sentence_embeddings)

    # -----
    # NUMPY変換、配列の大きさを確認する
    mx_embedding = np.array(sentence_embeddings)
    #print(mx_embedding.shape)

    a = mx_embedding[0]
    b = mx_embedding[1]
    cos = np.dot(a, b)/(np.sqrt(np.dot(a, a))*np.sqrt(np.dot(b, b)))
    return cos

# -----
# 文章と文に分割する
def split_sentences(text: str) -> list:
    texts = sent_tokenize(text)
    return texts

# -----
# 文章のコサイン比較を実行する
def compare_cos(num_sentence, mx_sentences):

    arr_cos = []
    arr_text = []
    for k in range(num_sentence):
        sentences = mx_sentences[k].tolist()
        #print(sentences[0])
        #print(sentences[1])
        # -----
        # 個別類似度の測定
        cos = cons_similarity(sentences)
        arr_cos.append(cos)
        arr_text.append(sentences[1])
        #print("--- 中間計算 ---")
        #print(f"ベース文： {sentences[0]}, 比較文： {sentences[1]}")
        #print(f"コサイン類似度： {cos}")

    # -----
    # 最大類似度の計算と注目テキスト
    max_cos = np.max(arr_cos)
    fctext  = arr_text[np.argmax(arr_cos)]

    return max_cos, fctext

##################################
##################################
# 質問と回答のデータベースをロードする
df = pd.read_excel('USverify100_gpt(Raw).xlsx')
print(len(df))

# -----
df_cut = df.loc[:,["NO","Question","Reference","Type","Answer"]]
answer_list = df["Answer"].values
#print(answer_list[0:20])

# -----
reference_list = df["Reference"].values
#print(reference_list[0:20])

# -----
type_list = df["Type"].values
print(type_list[0:20])


##################################
##################################
# リストを指定する
arr_sentence = []
arr_cos = []
arr_fctext = []

# 質問番号を指定する
for j_Question in range(100):

    # -----
    # 回答文章を文に分割する
    text = answer_list[j_Question]
    #print(text)
    texts = split_sentences(text)
    num_sentence = len(texts)
    #print(texts)

    # -----
    str_reference = str(reference_list[j_Question]).replace("\n", "")
    mx_sentences = []
    for i in range(num_sentence):
        str_texts     = str(texts[i]).replace("\n", "")
        mx_sentences.append([str_reference, str_texts])

    mx_sentences = np.array(mx_sentences)
    #print(mx_sentences)

    # -----
    # データベース上の文章を連続して比較をする
    max_cos, fctext = compare_cos(num_sentence, mx_sentences)

    # -----
    # リストを指定する
    arr_sentence.append(num_sentence)
    arr_cos.append(max_cos)
    arr_fctext.append(fctext)
    # 結果の表示
    print(f"---- NO:{j_Question}, TYPE:{type_list[j_Question]}")
    print(f"文の数： {num_sentence}")
    print(f"注目文： {fctext}")
    print(f"最大コサイン類似度： {max_cos}")

# 結果リストの表示
print("---------")
print(arr_sentence)
print("---------")
print(arr_cos)
print("---------")
print(arr_fctext)

# -----
# データフレームを生成する
df_out = df_cut.copy()
df_out["num_sen"] = arr_sentence
df_out["fctext"] = arr_fctext
df_out["cos"] = arr_cos
print(df_out)

# -----
# 出力のファイル名を UScos100_gpt(Raw)_no2.xlsx, シート名を Sheet_name_1 として保存する。
df_out.to_excel("UScos100_gpt(Raw)_no2.xlsx",sheet_name="Sheet_name_1")

QEU:FOUNDER ： “もうさんざん解説をしたので、解析結果だけを話します。質問の型式である「open_qa」と「classification」で層別して、ＣＯＳ類似度の平均値を比較しました。”

    (Langchainなし) / (LangChainあり)

Open_qa : 0.632 / 0.596 

Classification : 0.194 / 0.256

D先生 ： “どう評価したらいいものやら・・・。”

QEU:FOUNDER ： “この（sentence-transformer）コサイン類似度って、どれほど精密な尺度じゃないです。値が0.5位でも合格の回答もたくさんありますから・・・。だから、数値が高い（0.5以上）の件数を調べたほうがいいです。”

    (Langchainなし) / (LangChainあり)

Open_qa : 32 / 36 

Classification : 4 / 9

D先生 ： “明らかに良化しましたね。”

～ まとめ ～

QEU:FOUNDER ： “天気も熱いので、「ゆるい」話題を・・・。”

C部長 : “ワロタ・・・。”

QEU:FOUNDER ： “笑いごとじゃないんですがね・・・。”