テキスト分割スキル

テキストスプリットスキルはテキストをテキストの塊に分割します。 テキストを文に分割するか、特定の長さのページに分けたいかを指定できます。 オフセットや順序位置などの位置メタデータも出力として利用可能です。 このスキルは、Azure OpenAIや他のモデルプロバイダーでデータチャンクを埋め込みモデルに渡す埋め込みスキルなど、下流のスキルで最大テキスト長の要件がある場合に役立ちます。 このシナリオの詳細については、 ベクトルサーチに関するチャンク文書を参照してください。

いくつかのパラメータはバージョンごとに異なります。 スキルパラメータ表はパラメータが導入されたAPIバージョンを示しており、 バージョンアップグレード が必要かどうかを判断できます。 2024-09-01-previewでトークンチャンキングなどのバージョン固有の機能を使用するには、Azureポータルを使うか、REST APIバージョンをターゲットにするか、Azure SDKの変更ログで対応しているかを確認できます。

Azureポータルはほとんどのプレビュー機能をサポートし、スキルセットの作成や更新に利用できます。 Text Splitスキルのアップデートについては、スキルセットのJSON定義を編集して新しいプレビューパラメータを追加してください。

@odata.type

Microsoft.Skills.Text.SplitSkill

スキルのパラメーター

パラメータは大文字・小文字を区別します。

スキルの入力

スキルの出力

サンプル定義

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

サンプル入力

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

サンプル出力

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "pages": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    }
                ],
                "lengths": [
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    },
                    {
                        "utf8": 211,
                        "utf16": 211,
                        "codePoint": 211
                    }
                ],
                "ordinalPositions" : [
                    1,
                    2
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "pages": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    }
                ],
                "lengths": [
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    },
                    {
                        "utf8": 209,
                        "utf16": 209,
                        "codePoint": 209
                    }
                ],
                 "ordinalPositions" : [
                    1,
                    2
                ]
            }
        }
    ]
}

チャンク化とベクトル化の例

この例は積分ベクトル化のためのものです。

• pageOverlapLength:重複するテキストは、同じ文書から生成されるチャンク間の連続性を保つため、 データチャンク作成 のシナリオで有用です。

• maximumPagesToTakeページ数の制限は ベクトル化 のシナリオで有用で、ベクトル化を提供する埋め込みモデルの最大入力限界を抑えるのに役立ちます。

サンプル定義

この定義は100文字の pageOverlapLength と1文字の maximumPagesToTake を加えます。

maximumPageLengthが5,000文字(デフォルト)であると仮定すると、"maximumPagesToTake": 1各ソースドキュメントの最初の5,000文字を処理します。

この例は textItems を myPages から targetNameに設定します。 targetName設定されているので、テキストスプリットスキルの出力を選択するにはmyPages値を使うべきです。 /document/myPages/*を下流スキル、インデクサー出力フィールドマッピング、ナレッジストアプロジェクション、インデックスプロジェクションに活用しましょう。

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "myPages"
        }
    ]
}

サンプル入力(前例と同じ)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

サンプル出力(重なりに注意)

各「textItems」配列内で、最初の項目の後ろにあるテキストが2番目の項目の冒頭にコピーされます。

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "myPages": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "myPages": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

エラー ケース

言語がサポートされていない場合は警告が表示されます。

こちらも参照ください

• 組み込みスキル
• スキルセットの定義方法