QEUR23_CHRLTM44 : （量産実験）Unslothの4biモデル(Mistral Nemo 12b – Gamma-2-27b)

～ びっくり！27bモデルでも、ギリギリいけた！！ ～

D先生（設定年齢65歳）： “前回はRAGを使って、LLMを通してSummaryとAnswerを出力しようとして、失敗したというお話でした。12bモデルでは、複雑な処理に対応できないのではないか・・・。”

D先生（設定年齢65歳）： “そこで、今回はLLMによるSummary出力はやめて、「次のステップでは生のRAG情報を使いたい」ということでしょ？ FOUNDER・・・。そういう意味では、LLMでわざわざOpinion(Answer)を出力させずとも、生のRAGテキストだけ次のステップに投げればいいんじゃないかという考え方もできます。”

(QA_finetune_Instruction_Context_new.j2)

You are a brilliant Iranian professor of political science. Below is an instruction (texts after "### IN-STRUCTION:") that describes a task. The instruction is question provided by your user. Write a re-sponse appropriately your user's question. Because very useful texts have been provided in a context (texts after "### CONTEXT:") , you should write your own opinion by using context information as much as possible. If any hint of the answer to the question were not found within the given context, you can return "I don't know" as the response. The length of answer should be more than 400 and less than 500 words.

### INSTRUCTION:
{{str_instruction}}

### CONTEXT:
{{str_context}}

### RESPONSE:
{{str_answer}}

QEU:FOUNDER（設定年齢65歳） ： “当然、そういう考え方も視野にはあるけど、（Unslothを使わないのは）もったいないんだよね。とりあえず、当然Debateに与える情報は多い方がいいし、小生はUnslothをなるべく使い続けたいのよ・・・。APIキーがあれば手軽にLLMを使える時代に、このような技術を使う意味を考えたいのよ・・・。”

D先生： “こだわるねえ、変態オッサン・・・。まあ、Unslothを使わないと確かにもったいないですよね。こんな良い技術があまり普及しないなんて・・・。それでは、量産評価にいきましょう。以下のコードから見れば、少量試験のコードを量産に変更させることなんかは簡単です。”

##################################
# セクシースコアを活用したRAG推論
##################################
# ---
# Inference
from IPython.display import Markdown, display

# ----
def create_context(str_instruction, str_input):
    # ---
    # 暫定プロンプトを生成する
    if len(str_input) < 5:
        temp_prompt = f"""
        ### Instruction: {str_instruction}
        """    
    else:
        temp_prompt = f"""
        ### Instruction: {str_instruction}
        
        ### Input: {str_input}
        """
    # ---
    # 量産出力 - 簡単な質問に対してCHUNKを抽出する
    query = temp_prompt
    doc_ordered, score_ordered = create_sexyRAG(query, arr_POV)
    # ---
    # CHUNKを表示する
    str_context = ""
    for i in range(5): 
        #print(f"--- doc NO:{i}, sexyscore:{score_ordered[i]} ---")
        #print(doc_ordered[i])
        #print("\n")
        str_context = str_context + doc_ordered[i] + "\n\n"

    return str_context

# ----
# repeat inference
# ----
def repeat_inference(i):
    # ----
    # 入出力snippet(FOR RAG INFERENCE)
    # ----
    str_instruction = arr_FBQ[i]
    str_input = ""
    str_context = create_context(str_instruction, str_input)
    str_context = str_context.replace("**","")
    str_context = str_context.replace("##","")
    str_context = str_context.replace("\n\n","\n")
    #print(str_context)
    # ---
    # GENERATE FUNCTION
    query_text, context_text, response_text = comment_correction_inference(str_instruction, str_context)
    # ---
    #print(f"----  query_text, NO.{i}  ----")
    #display(Markdown(f"<b>{query_text}</b>"))
    #print("\n")
    #print(f"----  context_text, NO.{i}  ----")
    #display(Markdown(f"<b>{context_text}</b>"))
    #print("\n")
    print(f"----  response_text, NO.{i}  ----")
    display(Markdown(f"<b>{response_text[0:500]}</b>"))
    print("\n")

    return str_instruction, str_context, response_text

# ----
arr_query = []
arr_context = []
arr_answer = []
for i in range(len(arr_FBQ)):      # len(arr_FBQ)
    query_text, context_text, response_text = repeat_inference(i)
    arr_query.append(query_text)
    arr_context.append(context_text)
    arr_answer.append(response_text)

# ----
mx_question = np.array([arr_query]).T
mx_context = np.array([arr_context]).T
mx_answer = np.array([arr_answer]).T
mx_output = np.concatenate([mx_question, mx_context, mx_answer,], axis=1)
arr_column = ["instruction", "context", "answer"]
df_result = pd.DataFrame(mx_output, columns=arr_column)

# -----
# EXCELファイルに変換して保存する
df_out = df_result.copy()
df_out.to_excel('drive/MyDrive/result_step2_langchain.xlsx', sheet_name='new_sheet_name')

QEU:FOUNDER ： “こうすると、普通にEXCELファイルが出てくるわけです。ちなみに、コレ（↓）は、J語に翻訳されています。この中身を少し見てみたいです。”

D先生： “我々の意図どおりに、「（回答の」表現が尖っているか？」ですね。POV(POINT_OF_VIEW)として、少し尖った内容を吹き込んだので、回答もそれなりに反応して欲しいです。それでは、今回はJ語のみ比較しましょう。もう、事例にはE語の併記は無で・・・。”

（QUESTION NO.17）

BRICS諸国は防衛、エネルギー、貿易の分野で協力関係を強化し、相互関係を強化してきました。ロシアとインドは大きな協定を締結し、中国とロシアの関係は、特にロシアのウクライナ侵攻以降、強化されてきました。これらの強化された関係は、世界の勢力均衡にどのような影響を与えるのでしょうか。

(Nemo ANSWER)

BRICS諸国間の関係強化は、世界の勢力均衡に重要な意味合いを持っています。ブラジル、ロシア、インド、中国、南アフリカを含むBRICS諸国は、防衛、エネルギー、貿易の分野でますます協力しています。これにより、世界の勢力均衡が変化し、BRICS諸国は西側諸国の優位性に挑戦しています。BRICS諸国間の関係強化は、世界の勢力均衡にいくつかの意味合いを持っています。第一に、世界の勢力均衡が変化し、BRICS諸国は西側諸国の優位性に挑戦しています。これにより、世界はより多極化し、BRICS諸国は世界情勢においてより重要な役割を果たすようになりました。第二に、BRICS諸国間の関係強化は、防衛、エネルギー、貿易の分野での協力の増加につながっています。これにより、世界経済はより統合され、BRICS諸国は世界貿易と投資においてより重要な役割を果たすようになりました。第三に、BRICS諸国間の関係強化は、よりバランスのとれた世界秩序をもたらし、BRICS諸国は世界統治と意思決定においてより重要な役割を果たすようになった。これらの関係強化が世界の勢力均衡に与える影響は大きい。BRICS諸国は、西側諸国の優位性に挑戦し、より多極化した世界を作り出す可能性を秘めている。これは、よりバランスのとれた世界秩序をもたらし、BRICS諸国は世界統治と意思決定においてより重要な役割を果たすようになる可能性がある。しかし、BRICS諸国間の関係強化は、特に中国とインドの間で新たな緊張と対立を生み出す可能性もある。BRICS諸国は、協力が新たな冷戦や大国間の競争の新たな時代につながらないよう、協力して取り組む必要がある。

D先生： “なんかBRICSをアゲアゲの結果になりました。まあ、そんなこともあるのかと「ノーコメント」ということで、次にいきましょう。”

（QUESTION NO.19）

米ドルの優位性が失われれば、世界における米国とEUの影響力は大きく損なわれるでしょう。進むべき方向は明らかですが、移行は複雑で段階的なものになると予想されます。この移行に伴う潜在的なリスクと課題は何でしょうか。また、各国はそれらをどのように軽減できるでしょうか。

(Nemo ANSWER)

米ドルの優位性が失われれば、世界における米国とEUの影響力は大きく損なわれるだろう。方向は明確だが、移行は複雑で段階的なものになると予想される。この移行に伴う潜在的なリスクと課題には、為替レートと金融市場の変動性増大、地政学的緊張、地経学的分断などがある。こうしたリスクを軽減するために、各国はより多極的な通貨システムの構築、各国の金融自立の拡大、持続可能な代替エネルギーの推進に注力すべきである。

QEU:FOUNDER ： “あれ？相当の量のRAG文書を注入した割には、オピニオンが簡単ですね。ここら辺が12b(Mistral Nemo)の限界なのかな?”

D先生： “それは分からないです。少なくとも、テック系の記事ではRAG(Retrieval Argument Gen-eration)は非常に良い出力をもたらすように言われていますが、実際のところ、それほどでもないんですよね。”

QEU:FOUNDER ： “もちろん！だからこそ、今でも、LangChainやLlama-indexでも数多くの開発プロジェクトが続いているわけです。最後に一つだけ見てみましょうか。この事例はRAGには関係ないが、このような質問はイケていないか？面白い質問が出てくるもんだねえ、「問題の深堀」だけで・・・。”

（QUESTION NO.27）

日本と米国、G7との複雑な関係は、中国と北朝鮮の侵略に対する共通の恐怖から生じているが、この恐怖が日本の外交政策の主な原動力となっているのだろうか。また、この恐怖は日本が独立した外交・経済政策を追求する能力にどのような影響を与えているのだろうか。そして、この恐怖に駆られた政策の潜在的な結果は何だろうか。

(Nemo ANSWER)

中国と北朝鮮の侵略に対する恐怖は、日本の外交政策、特に米国およびG7との関係において大きな原動力となってきた。この恐怖から、日本は米国およびG7と緊密に連携し、より強硬な外交政策姿勢をとるようになった。しかし、この恐怖に駆られた政策は、日本が独立した外交・経済政策を追求する能力にも影響を及ぼしている。米国およびG7と緊密に連携している日本は、自国の利益と同盟国の利益のバランスを取らなければならず、独立した政策を追求する能力が制限されている。さらに、日本は中国と北朝鮮の侵略に対する恐怖から、これらの国々に対してより対立的な姿勢をとるようになり、これらの国々との関係が緊張し、地域の安全保障問題に対する外交的解決を追求する能力が制限されている。この恐怖に駆られた政策の潜在的な結果には、日本と中国および北朝鮮との関係のさらなる悪化、および日本の政策に対するこれらの国々からの反発の可能性が含まれる。さらに、日本が米国やG7と緊密に連携することで、他国との貿易や経済関係など、他の分野で独自の政策を追求する能力が制限される可能性がある。

D先生： “質問はイケていますが、回答はダメダメです。何も知らなくても話せる一般論です。この原因がモデルからきているのか、それとも現状のRAG（プロンプトエンジニアリング）の原因なのかを見ておきたいです。他のモデルを使ってみませんか？もっと強力なやつに・・・。”

# ---
# Mistral Nemo 12b is the largest OSS model to fit on a Colab Tesla T4!
from unsloth import FastLanguageModel
import torch
max_seq_length = 2048 # Choose any! We auto support RoPE Scaling internally!
dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.

# 4bit pre quantized models we support for 4x faster downloading + no OOMs.
fourbit_models = [
    "unsloth/Mistral-Nemo-Base-2407-bnb-4bit", # New Mistral 12b 2x faster!
    "unsloth/Mistral-Nemo-Instruct-2407-bnb-4bit",
    "unsloth/mistral-7b-v0.3-bnb-4bit",        # Mistral v3 2x faster!
    "unsloth/mistral-7b-instruct-v0.3-bnb-4bit",
    "unsloth/llama-3-8b-bnb-4bit",             # Llama-3 15 trillion tokens model 2x faster!
    "unsloth/llama-3-8b-Instruct-bnb-4bit",
    "unsloth/llama-3-70b-bnb-4bit",
    "unsloth/Phi-3-mini-4k-instruct",          # Phi-3 2x faster!
    "unsloth/Phi-3-medium-4k-instruct",
    "unsloth/gemma-2-9b-bnb-4bit",
    "unsloth/gemma-2-27b-bnb-4bit",            # Gemma 2x faster!
] # More models at https://huggingface.co/unsloth

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-2-27b-bnb-4bit",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    # token = "hf_...", # use one if using gated models like meta-llama/Llama-2-7b-hf
)

QEU:FOUNDER ： “普通のテキスト出力に向いた、もう少し大型でしかも手頃なモデルって、「gemma-2-27b-bnb-4bit」しかないじゃないですか・・・。でも、27bのモデルでしょ？T4のGPUでできるかなあ・・・。でも、A100のGPUチップって、高いので使いたくないし・・・。”

QEU:FOUNDER ： “小生の持論、「LLMのパワーは結局のところパラメータ数！」・・・。27bになるとロジック処理に強くなる（↑）でしょ？RAGって、バラバラに組み込まれたChunkを整理する作業だから、ロジックに強くないとダメでしょうに・・・。”

D先生： “じゃあ、UnslothにGemmba-2-27bを載せてみましょう？GPUは、T4は論外なので、ちょっと大きめのNVIDEAのL4です。L4のメモリ量は22GBなのか・・・。27bのモデルがギリギリ入るか？”

QEU:FOUNDER ： “びっくりしたよ。27bみたいに大き目のモデルがL4でギリギリ動いた・・・。Peak memory%が96%だって・・・。学習量やパラメタを少し変えるとオーバーするかもなあ・・・。”

D先生： “学習に必要な時間は100エポックで24分でした。Mistral_Nemo_12bでも同じぐらいでした。このあたりの処理効率の高さは、さずがUnsloth・・・。とても優秀ですねえ。それでは、いくつか結果を見てみましょう。もちろん、ほとんどは「12bと27b、もちろん27bが強い」という結果しか出てきません。・・・よね？”

QEU:FOUNDER ： “さあ、どうかな？事例をドン。”

You are an excellent AI assistant. Below is an instruction (texts after 'INSTRUCTION:') that de-scribes a task, paired with an input (texts after 'INPUT:') that provides further information. The in-struction and input are question provided by your user. Write a response appropriately your user's question. You should think step by step to make your answer. If you could not find proper answer to the question, you can return "I don't know" as the response. Do not force yourself to make up answer.

INSTRUCTION: Please answer the following question.

INPUT: What is the highest mountain in North Korea? Please write its name in Korean character as well.

(gemma)

The highest mountain in North Korea is Paektu Mountain (백두산).

(nemo)

The highest mountain in North Korea is Mount Paektu. In Korean, it is called Baekdu Mountain.

D先生： “27bの国際化はばっちりですね。それにしても、山の読み方が英語とK語が違うとは知らなかったです。”

INSTRUCTION: Please response the following Japanese question in English.

INPUT: アメリカ合衆国が建国した年とそのときの大統領の名前を教えてください。

(gemma)

The United States of America was founded in 1776, and the first president was George Washington.

(nemo)

The United States was founded on July 4, 1776, and the first president was George Washington.

QEU:FOUNDER ： “この2つの差は、けっこうすごいと思うんだけど、気づいた？”

D先生： “えっ・・・？”

QEU:FOUNDER ： “プロンプトでは、年を教えてくださいと指示しました。27bモデルは、その指示通りに「年のみ」を答えています。しかし、12bモデルでは月日も出力しています。つまり、27bモデルはロジックが機能しているんです。次に、今回のテーマの質問の回答を見てみましょう。”

(QUESTION)

The BRICS nations' trade with the rest of the world is far greater than their internal trade with one another, which limits their influence as a cohesive collective. What are the main obstacles that hinder the BRICS nations from increasing their internal trade and acting as a more unified group?

BRICS 諸国の世界との貿易は、各国間の国内貿易をはるかに上回っており、それが団結した集団としての影響力を制限しています。BRICS 諸国が国内貿易を拡大し、より統一されたグループとして行動するのを妨げる主な障害は何でしょうか。

(gemma)

The BRICS nations (Brazil, Russia, India, China, and South Africa) have been trying to increase their internal trade and act as a more unified group, but there are several obstacles that hinder their pro-gress. These obstacles include:

Economic disparities: The BRICS nations have significant economic disparities, with China and In-dia being the largest economies, while Brazil, Russia, and South Africa are smaller economies. This disparity makes it difficult for the smaller economies to compete with the larger ones, leading to im-balances in trade and investment.

Political differences: The BRICS nations have different political systems, which can lead to disa-greements and conflicts. For example, Russia and China have authoritarian regimes, while Brazil, India, and South Africa have democratic systems. These differences can make it difficult for the BRICS nations to reach consensus on important issues.

Trade barriers: The BRICS nations have high trade barriers, such as tariffs and non-tariff barriers, which make it difficult for them to trade with each other. These barriers limit the flow of goods and services, making it difficult for the BRICS nations to increase their internal trade.

Infrastructure gaps: The BRICS nations have significant infrastructure gaps, which make it difficult for them to transport goods and services efficiently. For example, Brazil and India have poor trans-portation networks, while Russia and China have limited access to ports and waterways. These infra-structure gaps make it difficult for the BRICS nations to increase their internal trade.

Currency issues: The BRICS nations have different currencies, which can make it difficult for them to trade with each other. For example, the Chinese yuan is not fully convertible, which makes it diffi-cult for other BRICS nations to trade with China. Additionally, the BRICS nations have different ex-change rate regimes, which can lead to currency volatility and uncertainty.

Security concerns: The BRICS nations have different security concerns, which can make it difficult for them to cooperate on important issues. For example, Russia and China have different approaches to security in the Middle East and Central Asia, while Brazil, India, and South Africa have different approaches to security in Africa. These differences can make it difficult for the BRICS nations to reach consensus on important security issues.

Cultural differences: The BRICS nations have different cultures, languages, and traditions, which can make it difficult for them to cooperate on important issues. For example, Brazil and India have different approaches to social welfare, while Russia and China have different approaches to govern-ance. These cultural differences can make it difficult for the BRICS nations to reach consensus on important issues.

BRICS 諸国 (ブラジル、ロシア、インド、中国、南アフリカ) は、国内貿易を拡大し、より統一されたグループとして行動しようと努めてきましたが、その進歩を妨げる障害がいくつかあります。これらの障害には次のものが含まれます。

経済格差: BRICS 諸国には大きな経済格差があり、中国とインドが最大の経済大国であるのに対し、ブラジル、ロシア、南アフリカはより小規模な経済大国です。この格差により、小規模な経済大国がより大きな経済大国と競争することが難しくなり、貿易と投資の不均衡が生じます。

政治の違い: BRICS 諸国は政治体制が異なり、意見の不一致や対立につながる可能性があります。たとえば、ロシアと中国は独裁政権ですが、ブラジル、インド、南アフリカは民主的な体制です。これらの違いにより、BRICS 諸国が重要な問題で合意に達することが困難になる可能性があります。

貿易障壁: BRICS 諸国は関税や非関税障壁などの高い貿易障壁を抱えており、相互貿易が困難になっています。これらの障壁は商品やサービスの流れを制限し、BRICS 諸国が国内貿易を拡大することを困難にしています。

インフラのギャップ: BRICS 諸国はインフラのギャップが大きく、商品やサービスを効率的に輸送することが困難になっています。たとえば、ブラジルとインドの輸送ネットワークは貧弱で、ロシアと中国は港や水路へのアクセスが限られています。これらのインフラのギャップにより、BRICS 諸国が国内貿易を拡大することが困難になっています。

通貨の問題: BRICS 諸国は通貨が異なり、相互貿易が困難になることがあります。たとえば、中国元は完全に交換可能ではないため、他の BRICS 諸国が中国と貿易を行うことが困難になっています。さらに、BRICS 諸国は為替レート制度が異なり、通貨の変動や不確実性につながる可能性があります。

安全保障上の懸念: BRICS 諸国は安全保障上の懸念がそれぞれ異なるため、重要な問題で協力することが難しい場合があります。たとえば、ロシアと中国は中東と中央アジアでの安全保障に対するアプローチが異なり、ブラジル、インド、南アフリカはアフリカでの安全保障に対するアプローチが異なります。これらの違いにより、BRICS 諸国が重要な安全保障問題で合意に達することが難しくなる場合があります。

文化の違い: BRICS 諸国は文化、言語、伝統がそれぞれ異なるため、重要な問題で協力することが難しくなる場合があります。たとえば、ブラジルとインドは社会福祉に対するアプローチが異なり、ロシアと中国は統治に対するアプローチが異なります。これらの文化の違いにより、BRICS 諸国が重要な問題で合意に達することが難しくなる場合があります。

Lack of trust: The BRICS nations have a history of mistrust and suspicion, which can make it diffi-cult for them to cooperate on important issues. For example, Russia and China have been accused of cyber espionage, while Brazil and India have been accused of protectionism. These accusations can make it difficult for the BRICS nations to trust each other and cooperate on important issues.

Limited resources: The BRICS nations have limited resources, which can make it difficult for them to invest in infrastructure and other projects that would increase their internal trade. For example, Brazil and South Africa have limited resources, while Russia and China have limited resources due to their large populations. These limited resources can make it difficult for the BRICS nations to invest in projects that would increase their internal trade.

Lack of coordination: The BRICS nations have limited coordination and cooperation, which can make it difficult for them to act as a more unified group. For example, the BRICS nations have dif-ferent approaches to trade and investment, which can make it difficult for them to coordinate their policies and actions. Additionally, the BRICS nations have different priorities and interests, which can make it difficult for them to reach consensus on important issues. In conclusion, the BRICS na-tions face several obstacles that hinder their progress in increasing their internal trade and acting as a more unified group. These obstacles include economic disparities, political differences, trade barri-ers, infrastructure gaps, currency issues, security concerns, cultural differences, lack of trust, limited resources, and lack of coordination. To overcome these obstacles, the BRICS nations need to work together to find solutions that address their common challenges and interests.

信頼の欠如: BRICS 諸国には不信と疑念の歴史があり、それが重要な問題で協力することを困難にする可能性があります。たとえば、ロシアと中国はサイバースパイ行為で非難され、ブラジルとインドは保護主義で非難されています。これらの非難により、BRICS 諸国が互いに信頼し、重要な問題で協力することが困難になる可能性があります。

限られたリソース: BRICS 諸国のリソースは限られているため、インフラや国内貿易を増やすその他のプロジェクトに投資することが困難になる可能性があります。たとえば、ブラジルと南アフリカはリソースが限られており、ロシアと中国は人口が多いためリソースが限られています。これらの限られたリソースにより、BRICS 諸国が国内貿易を増やすプロジェクトに投資することが困難になる可能性があります。

調整の欠如: BRICS 諸国の調整と協力は限られているため、より統一されたグループとして行動することが困難になる可能性があります。たとえば、BRICS 諸国は貿易と投資に対して異なるアプローチをとっており、政策と行動を調整することが困難になる可能性があります。さらに、BRICS 諸国はそれぞれ異なる優先事項と利益を持っているため、重要な問題で合意に達することが難しい場合があります。結論として、BRICS 諸国は、国内貿易の拡大とより統一されたグループとしての活動の進展を妨げるいくつかの障害に直面しています。これらの障害には、経済格差、政治的相違、貿易障壁、インフラのギャップ、通貨問題、安全保障上の懸念、文化の違い、信頼の欠如、限られたリソース、調整の欠如が含まれます。これらの障害を克服するには、BRICS 諸国が協力して、共通の課題と利益に対処する解決策を見つける必要があります。

(Nemo)

The BRICS nations, which include Brazil, Russia, India, China, and South Africa, have a combined GDP of over $16 trillion and a population of over 3 billion people. Despite their economic and demo-graphic size, the BRICS nations have not been able to increase their internal trade and act as a more unified group. The main obstacles that hinder the BRICS nations from increasing their internal trade and acting as a more cohesive collective are political, economic, and security-related. Political-ly, the BRICS nations have different interests and priorities, which make it difficult for them to agree on a common agenda. For example, Brazil and India have been more focused on regional inte-gration and cooperation, while Russia and China have been more focused on global influence and power. Additionally, the BRICS nations have different political systems and levels of democracy, which can create tensions and disagreements. Economically, the BRICS nations have different levels of development and economic structures, which make it difficult for them to agree on a common eco-nomic agenda. For example, Brazil and India have been more focused on industrialization and manu-facturing, while Russia and China have been more focused on natural resources and energy. Addi-tionally, the BRICS nations have different levels of economic integration and trade, which can create imbalances and inequalities. Security-wise, the BRICS nations have different security concerns and priorities, which make it difficult for them to agree on a common security agenda. For example, Bra-zil and India have been more focused on regional security and cooperation, while Russia and China have been more focused on global security and power. Additionally, the BRICS nations have different levels of military capabilities and alliances, which can create tensions and disagreements. In conclu-sion, the BRICS nations have not been able to increase their internal trade and act as a more unified group due to political, economic, and security-related obstacles. To overcome these obstacles, the BRICS nations need to find common ground and agree on a common agenda, while also respecting each other's interests and priorities. This will require a lot of effort and compromise, but it is neces-sary if the BRICS nations want to increase their influence and power in the global arena.

ブラジル、ロシア、インド、中国、南アフリカを含むBRICS諸国は、合計GDPが16兆ドルを超え、人口は30億人を超えています。経済的にも人口統計的にも規模が大きいにもかかわらず、BRICS諸国は国内貿易を拡大できず、より統一されたグループとして行動できていません。BRICS諸国が国内貿易を拡大し、よりまとまりのある集団として行動するのを妨げる主な障害は、政治、経済、安全保障に関するものです。政治的には、BRICS諸国は利益と優先事項が異なり、共通の課題で合意することが困難です。たとえば、ブラジルとインドは地域統合と協力に重点を置いてきましたが、ロシアと中国は世界的な影響力と権力に重点を置いてきました。さらに、BRICS諸国は政治体制と民主主義のレベルが異なり、緊張や意見の相違が生じる可能性があります。経済的には、BRICS諸国は開発レベルと経済構造が異なり、共通の経済課題で合意することが困難です。たとえば、ブラジルとインドは工業化と製造業に重点を置いてきたのに対し、ロシアと中国は天然資源とエネルギーに重点を置いてきました。さらに、BRICS諸国は経済統合と貿易のレベルが異なり、不均衡や不平等が生じる可能性があります。安全保障の面では、BRICS諸国は安全保障上の懸念と優先事項が異なるため、共通の安全保障アジェンダで合意することが困難です。たとえば、ブラジルとインドは地域の安全保障と協力に重点を置いてきたのに対し、ロシアと中国は世界の安全保障と権力に重点を置いてきました。さらに、BRICS諸国は軍事力と同盟のレベルが異なり、緊張や意見の不一致が生じる可能性があります。結論として、BRICS諸国は政治的、経済的、安全保障関連の障害のために、国内貿易を増やし、より統一されたグループとして行動することができていません。これらの障害を克服するために、BRICS諸国は共通の基盤を見つけ、共通のアジェンダで合意するとともに、お互いの利益と優先事項を尊重する必要があります。これには多大な努力と妥協が必要となるが、BRICS諸国が国際舞台で影響力と権力を高めたいのであれば、それは必要なことである。

D先生： “27bの情報量はすごいですね。”

(QUESTION)

The rise of the BRICS economies has resulted in a shift in the global economic landscape, with their combined GDP surpassing that of the G7. This shift, fuelled by the economic growth of these coun-tries, has introduced a counterbalance to the dominance of the G7. What are the key factors contrib-uting to the rapid economic growth of the BRICS countries, and how have they managed to surpass the G7 in terms of combined GDP?

BRICS 諸国の経済成長により、世界経済の状況が変化し、その合計 GDP は G7 を上回りました。これらの国の経済成長に支えられたこの変化は、G7 の優位性に拮抗する要因をもたらしました。BRICS 諸国の急速な経済成長に貢献した主な要因は何でしょうか。また、BRICS 諸国はどのようにして合計 GDP で G7 を上回ることができたのでしょうか。

(gamma)

The rapid economic growth of the BRICS countries can be attributed to a combination of factors, in-cluding their large populations, abundant natural resources, and strategic economic policies. These countries have also benefited from their integration into the global economy, which has allowed them to access new markets and technologies. Additionally, the BRICS countries have implemented poli-cies that have encouraged foreign investment and promoted entrepreneurship, which have contribut-ed to their economic growth. The BRICS countries have also benefited from their strategic location, which has allowed them to establish strong trade relationships with other countries. For example, China has become a major trading partner for many countries in Africa and Latin America, which has helped to fuel its economic growth. Similarly, India has established strong trade relationships with countries in the Middle East and Africa, which have helped to boost its economy. The BRICS countries have also implemented policies that have encouraged innovation and entrepreneurship. For example, China has invested heavily in research and development, which has helped to fuel its eco-nomic growth. Similarly, India has implemented policies that have encouraged entrepreneurship, which has helped to create new businesses and jobs. The BRICS countries have also benefited from their large populations, which have provided a large domestic market for their goods and services. This has helped to fuel their economic growth and has allowed them to compete with the G7 coun-tries in terms of GDP. The BRICS countries have also benefited from their abundant natural re-sources, which have provided them with a competitive advantage in the global economy. For example, Russia has large reserves of oil and gas, which have helped to fuel its economic growth. Similarly, Brazil has large reserves of iron ore and other minerals, which have helped to fuel its economic growth. The BRICS countries have also implemented policies that have encouraged foreign invest-ment, which has helped to fuel their economic growth. For example, China has implemented policies that have encouraged foreign investment, which has helped to fuel its economic growth. Similarly, India has implemented policies that have encouraged foreign investment, which has helped to fuel its economic growth. The BRICS countries have also benefited from their strategic location, which has allowed them to establish strong trade relationships with other countries. For example, China has become a major trading partner for many countries in Africa and Latin America, which has helped to fuel its economic growth. Similarly, India has established strong trade relationships with countries in the Middle East and Africa, which have helped to boost its economy. The BRICS countries have also implemented policies that have encouraged innovation and entrepreneurship.

BRICS 諸国の急速な経済成長は、人口の多さ、天然資源の豊富さ、戦略的な経済政策など、さまざまな要因の組み合わせによるものです。これらの国々は、世界経済への統合からも恩恵を受けており、新しい市場や技術へのアクセスが可能になっています。さらに、BRICS 諸国は、外国投資を奨励し、起業家精神を育む政策を実施しており、それが経済成長に貢献しています。BRICS 諸国は、戦略的な立地条件からも恩恵を受けており、それによって他国との強力な貿易関係を確立しています。たとえば、中国は、アフリカやラテンアメリカの多くの国々にとって主要な貿易相手国となっており、それが経済成長の原動力となっています。同様に、インドは中東やアフリカの国々と強力な貿易関係を確立しており、それが経済の発展に役立っています。BRICS 諸国はまた、イノベーションと起業家精神を奨励する政策を実施しています。たとえば、中国は研究開発に多額の投資を行っており、それが経済成長の原動力となっています。同様に、インドは起業家精神を奨励する政策を実施しており、それが新しいビジネスや雇用の創出に役立っています。 BRICS諸国は人口の多さからも恩恵を受けており、その国内には商品やサービスのための大きな市場があります。これが経済成長の原動力となり、GDPの面でG7諸国と競争できるようになりました。BRICS諸国は天然資源の豊富さからも恩恵を受けており、世界経済において競争上の優位性を得ています。たとえば、ロシアは石油とガスの埋蔵量が多く、それが経済成長の原動力となっています。同様に、ブラジルは鉄鉱石やその他の鉱物の埋蔵量が多く、それが経済成長の原動力となっています。BRICS諸国は外国投資を奨励する政策も実施しており、それが経済成長の原動力となっています。たとえば、中国は外国投資を奨励する政策を実施しており、それが経済成長の原動力となっています。同様に、インドも外国投資を奨励する政策を実施しており、それが経済成長の原動力となっています。BRICS諸国は戦略的な立地条件からも恩恵を受けており、そのおかげで他国と強力な貿易関係を築くことができました。たとえば、中国はアフリカやラテンアメリカの多くの国にとって主要な貿易相手国となり、経済成長の促進に貢献しています。同様に、インドは中東やアフリカの国々と強力な貿易関係を確立し、経済の発展に貢献しています。BRICS諸国も、イノベーションと起業家精神を奨励する政策を実施しています。

For example, China has invested heavily in research and development, which has helped to fuel its economic growth. Similarly, India has implemented policies that have encouraged entrepreneurship, which has helped to create new businesses and jobs. The BRICS countries have also benefited from their large populations, which have provided a large domestic market for their goods and services. This has helped to fuel their economic growth and has allowed them to compete with the G7 coun-tries in terms of GDP. The BRICS countries have also benefited from their abundant natural re-sources, which have provided them with a competitive advantage in the global economy. For example, Russia has large reserves of oil and gas, which have helped to fuel its economic growth. Similarly, Brazil has large reserves of iron ore and other minerals, which have helped to fuel its economic growth. The BRICS countries have also implemented policies that have encouraged foreign invest-ment, which has helped to fuel their economic growth. For example, China has implemented policies that have encouraged foreign investment, which has helped to fuel its economic growth. Similarly, India has implemented policies that have encouraged foreign investment, which has helped to fuel its economic growth. The BRICS countries have also benefited from their strategic location, which has allowed them to establish strong trade relationships with other countries. For example, China has become a major trading partner for many countries in Africa and Latin America, which has helped to fuel its economic growth. Similarly, India has established strong trade relationships with countries in the Middle East and Africa, which have helped to boost its economy. The BRICS countries have also implemented policies that have encouraged innovation and entrepreneurship. For example, Chi-na has invested heavily in research and development, which has helped to fuel its economic growth. Similarly, India has implemented policies that have encouraged entrepreneurship, which has helped to create new businesses and jobs. The BRICS countries have also benefited from their large popula-tions, which have provided a large domestic market for their goods and services. This has helped to fuel their economic growth and has allowed them to compete with the G7 countries in terms of GDP. The BRICS countries have also benefited from their abundant natural resources, which have provid-ed them with a competitive advantage in the global economy. For example, Russia has large reserves of oil and gas, which have helped to fuel its economic growth. Similarly, Brazil has large reserves of iron ore and other minerals, which have helped to fuel its economic growth. The BRICS countries have also implemented policies that have encouraged foreign investment, which has helped to fuel their economic growth. For example, China has implemented

たとえば、中国は研究開発に多額の投資を行っており、それが経済成長の原動力となっています。同様に、インドは起業家精神を奨励する政策を実施しており、それが新しいビジネスや雇用の創出に役立っています。BRICS 諸国は人口の多さからも恩恵を受けており、その人口は商品やサービスの大きな国内市場を提供しています。これが経済成長の原動力となり、GDP の面で G7 諸国と競争できるようになりました。BRICS 諸国は豊富な天然資源からも恩恵を受けており、それが世界経済における競争上の優位性をもたらしています。たとえば、ロシアは石油とガスの埋蔵量が多く、それが経済成長の原動力となっています。同様に、ブラジルは鉄鉱石やその他の鉱物の埋蔵量が多く、それが経済成長の原動力となっています。BRICS 諸国は外国投資を奨励する政策も実施しており、それが経済成長の原動力となっています。たとえば、中国は外国投資を奨励する政策を実施しており、それが経済成長の原動力となっています。同様に、インドは外国投資を奨励する政策を実施しており、それが経済成長の原動力となっています。 BRICS 諸国は、その戦略的な立地条件からも恩恵を受けており、他の国々と強力な貿易関係を築くことができました。たとえば、中国はアフリカやラテンアメリカの多くの国々にとって主要な貿易相手国となり、経済成長の原動力となっています。同様に、インドは中東やアフリカ諸国と強力な貿易関係を築き、経済の発展に貢献しています。BRICS 諸国は、イノベーションと起業家精神を奨励する政策も実施しています。たとえば、中国は研究開発に多額の投資を行っており、それが経済成長の原動力となっています。同様に、インドは起業家精神を奨励する政策を実施しており、新しいビジネスや雇用の創出に貢献しています。BRICS 諸国は、人口の多さからも恩恵を受けており、その人口は国内の商品やサービスの大きな市場となっています。これが経済成長の原動力となり、GDP の面で G7 諸国と競争できるようになりました。BRICS 諸国は、豊富な天然資源からも恩恵を受けており、それが世界経済における競争上の優位性をもたらしています。たとえば、ロシアは石油とガスの埋蔵量が多く、それが経済成長の原動力となっています。同様に、ブラジルは鉄鉱石やその他の鉱物の埋蔵量が多く、それが経済成長の原動力となっている。BRICS諸国も外国投資を奨励する政策を実施しており、それが経済成長の原動力となっている。例えば、中国は

(Nemo)

The rapid economic growth of the BRICS countries, which includes Brazil, Russia, India, China, and South Africa, has been driven by a combination of factors. Firstly, the BRICS countries have a large and growing population, which provides a significant source of labor and a large market for goods and services. Secondly, the BRICS countries have a diverse range of natural resources, which has al-lowed them to develop a strong manufacturing sector and export their products to the rest of the world. Thirdly, the BRICS countries have invested heavily in infrastructure, which has allowed them to improve their productivity and increase their competitiveness in the global economy. Finally, the BRICS countries have implemented a range of economic reforms, such as privatization and deregula-tion, which have allowed them to attract foreign investment and increase their economic growth.

ブラジル、ロシア、インド、中国、南アフリカを含むBRICS諸国の急速な経済成長は、さまざまな要因の組み合わせによって推進されてきました。第一に、BRICS諸国の人口は大きく、増加傾向にあり、それが重要な労働力源と商品およびサービスの大きな市場となっています。第二に、BRICS諸国は多様な天然資源を有しており、強力な製造業を発展させ、その製品を世界中に輸出することが可能となっています。第三に、BRICS諸国はインフラに多額の投資を行っており、それによって生産性を向上させ、世界経済における競争力を高めることができました。最後に、BRICS諸国は民営化や規制緩和などのさまざまな経済改革を実施しており、それによって外国投資を誘致し、経済成長を促進することができました。

D先生： “うわっ・・・。あの27bモデルでさえも、「LLMでありがちの病気（繰り返し病）」を発生させていますね。要するに、この病気はLLMの賢さには関係ないのか・・・。”

QEU:FOUNDER ： “そりゃ、病気の発生とLLMの賢さは、それなりに関係はするでしょ・・・。それでも、モデルを4bit化すると病気が発生しやすいのはしようがないです。LLMのテキスト生成は、すでに発生させたテキストをインプットして、次の単語を予測するものです。その予測は候補単語の出現確率としてあらわされます。”

QEU:FOUNDER ： “一方、モデル4bit化するとパラメータの精度が低くなるから、argmax（↑）で選択される最適な単語が変わってしまうかもしれないんです。だから、4bit化は「良しあし」・・・。”

D先生： “困ったな・・・。次のステップは27bモデルを使ったRAG推論ですが・・・。”

QEU:FOUNDER ： “LLMの頭の良さで結果がプラスにいくか、それとも4bit化によって文章がガタガタになるかですね。繰り返しますが、Gemma-2-27bのオリジナル(16bit)では、絶対にうまく行くんです。もう、それこそ絶対に・・・。”

～ まとめ ～

D先生： “いろいろ、ガタガタ言ってはいますが・・・。FOUNDERは実のところUnsloth推しなんでしょう？”

QEU:FOUNDER ： “実のところ？失礼な・・・、絶対・絶対支持です！！小生は、いつか、Unslothが「天下を取る日がくる」と思っています。”

QEU:FOUNDER ： “githubの「いいね(starred)」が14kしかないでしょう？本来、それはおかしいんだと思っています。問題は、うまく使っていない我々（アプリケーション）側にあるとおもいます。”

D先生： “単純なテキスト生成では、絶対にAPIキーを使ってOpenAIやCohereに任せるほうが楽でしょうに・・・。”

（画像のインプット）

（検査の結果）

QEU:FOUNDER ： “いまはLLM-visionとか、multimodal-LLMとかがあるんだから、そのような画像認識をサポートしたLLMもファインチューニングができると、Unslothは一気に流行ると思います。上のQEUが開発した例は、比較的軽いディープラーニングのモデルにおいて、検査用の多量の画像を準備して、ゼロから学習しました。もし、すでに多量の事前学習が終わっているLLM-visionであれば、finetuningのレベルで十分な学習ができるんじゃないかな？”

D先生： “Daniel Han先生のより一層の奮起に期待ですね。”

QEU:FOUNDER ： “もちろん、小生としてもうまい使い方がないかを模索し続けますよ。今回のBONSAI3にはこだわっていません。”