19384¶

2024-08-19 In¶

ご担当者様

お世話になります。インテージの村上です。

Vertex AIのEmbedding Modelのファインチューニングの利用を検討しており、下記ドキュメントに従って実行しようとしたものの、 https://cloud.google.com/vertex-ai/generative-ai/docs/models/tune-embeddings?hl=ja

Vertex AI Pipelineのコンソールからの設定がドキュメント通りだとうまくいかず、解決策を教えていただきたいです。

具体的には、 [既存のパイプラインから選択] で既存のモデルを選択するところ、選択肢が表示されません。

お忙しいところ恐縮ですが、ご確認お願いします。

2024-08-20 Sent¶

株式会社インテージ村上様

いつもお世話になっております、株式会社G-genサポートです。お問い合わせいただきありがとうございます。

お問い合わせいただいた内容につきまして、現在弊社にて内容を確認しております。お待たせしており恐れ入りますが、ご案内まで少々お時間いただけますと幸いです。

引き続きよろしくお願いいたします。

2024-08-22¶

株式会社インテージ村上様

お世話になっております、株式会社G-genサポートの高井です。ご案内にお時間いただいており恐れ入ります。ご質問いただいた内容について下記にご案内いたします。

Vertex AIのEmbedding Modelのファインチューニングの利用を検討しており、下記ドキュメントに従って実行しようとしたものの、 https://cloud.google.com/vertex-ai/generative-ai/docs/models/tune-embeddings?hl=ja

Vertex AI Pipelineのコンソールからの設定がドキュメント通りだとうまくいかず、解決策を教えていただきたいです。

こちらにつきまして、恐れ入りますが当サポートでは Vertex AI コンソールでの設定方法の情報確認はできかねます。

つきましては、代替案としまして Google Colab を含め Jupyter Notebook 上にて Vertex AI API などを用いて実装する方法の概要を下記にご案内いたします。詳細な手順については英語サンプルとなりますが、以下[1]に添付いたしますので併せて参照いただければ幸いです。

[1] generative-ai/embeddings/intro_embeddings_tuning.ipynb at main · GoogleCloudPlatform/generative-ai | GitHub https://github.com/GoogleCloudPlatform/generative-ai/blob/main/embeddings/intro_embeddings_tuning.ipynb

上記サンプル Notebook 内の要点である「Run an embedding tuning job on Vertex AI Pipelines」セクションの概略について、下記に記載いたします。

1: チューニングパイプラインパラメーターの設定

以下のように学習用・テスト用データセットの Cloud Storage パス、バッチサイズ、およびチューニングのステップ数を含むパラメータを定義します。

ITERATIONS = len(train_df) // BATCH_SIZE

params = {
    "batch_size": BATCH_SIZE,
    "iterations": ITERATIONS,
    "accelerator_type": TRAINING_ACCELERATOR_TYPE,
    "machine_type": TRAINING_MACHINE_TYPE,
    "base_model_version_id": "textembedding-gecko@003",
    "queries_path": f"{PROCESSED_DATA_TUNING_URI}/{TIMESTAMP}/query.jsonl",
    "corpus_path": f"{PROCESSED_DATA_TUNING_URI}/{TIMESTAMP}/corpus.jsonl",
    "train_label_path": f"{PROCESSED_DATA_TUNING_URI}/{TIMESTAMP}/train.tsv",
    "test_label_path": f"{PROCESSED_DATA_TUNING_URI}/{TIMESTAMP}/test.tsv",
    "project": PROJECT_ID,
    "location": REGION,
}

template_uri = "https://us-kfp.pkg.dev/ml-pipeline/llm-text-embedding/tune-text-embedding-model/v1.1.1"

2: モデルをチューニングするパイプラインジョブの実行

以下のようにパイプラインジョブを送信、実施します。

job = aiplatform.PipelineJob(
    display_name="tune-text-embedding",
    parameter_values=params,
    template_path=template_uri,
    pipeline_root=PIPELINE_ROOT,
    project=PROJECT_ID,
    location=REGION,
)

job.run()

ご質問いただいております内容への回答は以上となりますが、認識の相違ある場合や不明点などありましたらお知らせくださいませ。引き続きどうぞよろしくお願いいたします。

2024-08-27 Sent¶

株式会社インテージ村上様

お世話になっております、株式会社G-genサポートの高井です。

ご案内内容をご確認いただきありがとうございます。一度お試しいただける旨承知いたしました、またご質問等ございましたらお知らせくださいませ。

なお弊社システム上の都合で誠に恐れ入りますが、本件についてしばらくご返信がない場合、数日後チケットが自動的にご案内終了のステータスとなりますこと、ご了承いただけますと幸いです。

引き続き、よろしくお願いいたします。