QEUR23_LMABYS16: Llama2の精度評価（LangChain-日本語-その2）

～ 「カッコつき」は未知数の手法・・・ ～

D先生 ： “され、我々はLlama-v2が日本語をどれだけ使いこなせるのかを調べています。まあ、LangChainの大詰めにきましたね。”

QEU:FOUNDER ： “確かにLangChainを使うと、かなりの効果が見られますね。”

(Llama-v2-13b-GPTQ：日本語->LangChainはない)

(Llama-v2-13b-GPTQ：日本語->LangChainを使っている)

D先生 ： “今回も日本語でLangChainを使うということですが、今度は何をしましょうか？”

D先生 ： “おっと、日本語のCONTEXTの内容を少しだけ変えましたね。文中のキーワードにカッコを着けて英語を加えています。この工夫は役に立つんですかね？”

QEU:FOUNDER ： “そもそも、このやり方は小生がFinetuneで採用したい方法です。ただし、これはプロンプトの中につけただけで、LLMの推論を強力にするかどうかはわかりません。”

D先生 ： “たしかに・・・。肝心のLLM（大規模言語モデル）様が、このカッコのもつ意味を分かってくれるかどうかがわからないですよね。”

QEU:FOUNDER ： “まあ、何はともあれやってみましょう。今回はプログラムを晒しません。コードは全く同じですからね。それでは、いきなり品質パフォーマンスからいきます・・・。”

D先生 ： “Open-QAはどうせ正解が多いんだし、結果として、ほとんど同じ実力とみていいのかな？”

QEU:FOUNDER ： “次はOpen-QAのNG事例を見てみましょう。”

QEU:FOUNDER ： “Open_QAは、若干悪くなったような気がするんです。Contextの文がカッコを加えたことにより複雑になったのでしょうね。全く間違った返答がいくつかありました。一方のClassificationの場合は・・・。”

D先生 ： “今までダメなものがうまく行き、うまく行っていたものがダメになる。いやぁ、評価が難しいな・・・。”

QEU:FOUNDER ： “目線を変えて、前回と今回の結果を比較してみました。D先生、両者を比較して、どうでしたか？”

D先生 ： “ほとんど同じだが、一部は良くなったり、悪くなったり・・・。ホントに何とも言えん・・・。”

QEU:FOUNDER ： “小生もそういう評価でした。ただし、ひとつだけ面白い現象がありました。GPUの負荷が前回よりも上がりました。LLMにとって、問題が前回よりも難しくなったのでしょう。”

～ まとめ ～

・・・ 前回のつづきです ・・・

QEU:FOUNDER ： “間違ってはいけないのは、これはC国の陰謀ではなく、中東をはじめとしたグローバル・サウスの自身の判断なんですよ・・・。”

C部長 : “時代の大きな節目なんでしょうね。”

QEU:FOUNDER ： “グローバル・サウスが力をつけてきたということは、最近の二酸化炭素(CO2)の上昇にも関連しているでしょう。”

QEU:FOUNDER ： “石油を燃やしているということも問題だが、CO2を吸収する緑(森林)が消えてきているのは、もっと深刻じゃない？これらの山火事は「人為」が多いらしいです。”

C部長 : “サウス諸国を止めることはできませんか？”

（Wiki）

(本文の抜粋)

国王の私領となったコンゴ自由国では耕作地も全てが国王の所有となり、住民は象牙やゴムの採集を強制された。規定の量に到達できないと手足を切断するという残虐な刑罰が容赦なく科され、前代未聞の圧制と搾取が行われていた。コンゴ自由国の自由国とは、「住民が自由な国」という意味ではなく、自由貿易の国という意味を当てこすった英語の俗称（Congo Free State）であり、公用語であるフランス語における正式国号はコンゴ独立国であった。

QEU:FOUNDER ： “J自由国・・・（笑）。サウス諸国から言わせれば、「オマエラがいままで好き勝手にやってきたからそうなったんじゃないか！！」という気分ですね。今まで偉ぶっていたG〇国は、よっぽどのことをしないとサウス国のリスペクトを得ることはできません。”

おっさん（＠QCサークル講話）；「従業員の皆さんにはテレビを見てください。皆が同じように考えてください。」

オッサン（＠車中、N社検査不正について）： 「“検査不正”っていうのはなァ、（組織外に不正を）漏らしたヤツが悪いんだよ・・・」

オッサン（海外工場のあいさつにて）：「私の使命はこの会社で終身雇用制を実現することにある・・・。」

C部長 : “地球温暖化の問題は解決が難しいですね。”

QEU:FOUNDER ： “確実なことは、これから物価はもっと高くなるでしょう。”