Distribuisci un modello di diarizzazione degli altoparlanti Hugging Face (PyAnnote) su Amazon SageMaker come endpoint asincrono

from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the mannequin from the required mannequin listing
mannequin = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Exchange-with-the-Hugging-face-auth-token")
return mannequin

with open("mannequin/code/necessities.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess isn't None:
    sagemaker_session_bucket = sess.default_bucket()

attempt:
    function = sagemaker.get_execution_role()
besides ValueError:
    iam = boto3.shopper("iam")
    function = iam.get_role(RoleName="sagemaker_execution_role")("Function")("Arn")

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker function arn: {function}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session area: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/mannequin/mannequin.tar.gz"
!aws s3 cp mannequin.tar.gz $s3_location

from sagemaker.huggingface.mannequin import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Mannequin Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your mannequin and script
    function=function,  # iam function with permissions to create an Endpoint
    transformers_version="4.17",  # transformers model used
    pytorch_version="1.10",  # pytorch model used
    py_version="py38",  # python model used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # The place our outcomes will likely be saved
    # Add nofitication SNS if wanted
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Exchange with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(information=information)
print(f"Response output path: {res.output_path}")
print("Begin Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  variety of makes an attempt
  delay=10#  time in seconds to attend between makes an attempt
  )
res.get_result(config)
#import waiterconfig

(0.9762308998, 8.9049235993, "SPEAKER_01")

(9.533106961, 12.1646859083, "SPEAKER_01")

(13.1324278438, 13.9303904924, "SPEAKER_00")

(14.3548387097, 26.1884550085, "SPEAKER_00")

(27.2410865874, 28.2258064516, "SPEAKER_01")

(28.3446519525, 31.298811545, "SPEAKER_01")

# Frequent class representing software autoscaling for SageMaker 
shopper = boto3.shopper('application-autoscaling') 

# That is the format by which software autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Outline and register your endpoint variant
response = shopper.register_scalable_target(
    ServiceNamespace="sagemaker", 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The variety of EC2 situations to your Amazon SageMaker mannequin endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Se desideri eliminare l'endpoint, utilizza il seguente codice:

async_predictor.delete_endpoint(async_endpoint_name)

Vantaggi della distribuzione asincrona degli endpoint

Questa soluzione offre i seguenti vantaggi:

• La soluzione può gestire in modo efficiente file audio multipli o di grandi dimensioni.
• Questo esempio utilizza una singola istanza per la dimostrazione. Se desideri utilizzare questa soluzione per centinaia o migliaia di video e utilizzare un endpoint asincrono per l'elaborazione su più istanze, puoi utilizzare un politica di ridimensionamento automatico, progettato per un gran numero di documenti di origine. Il dimensionamento automatico regola dinamicamente il numero di istanze predisposte per un modello in risposta alle modifiche del carico di lavoro.
• La soluzione ottimizza le risorse e riduce il carico del sistema separando le attività a lunga esecuzione dall'inferenza in tempo reale.

Conclusione

In questo publish, abbiamo fornito un approccio semplice per distribuire il modello di diarizzazione degli altoparlanti di Hugging Face su SageMaker utilizzando script Python. L'utilizzo di un endpoint asincrono fornisce un mezzo efficiente e scalabile per fornire previsioni di diarizzazione come servizio, soddisfacendo senza problemi le richieste simultanee.

Inizia oggi con la diarizzazione asincrona degli altoparlanti per i tuoi progetti audio. Contattaci nei commenti se hai domande su come rendere operativo il tuo endpoint di diarizzazione asincrona.

Riguardo agli Autori

Sanjay Tiwary è uno specialista di soluzioni architetto AI/ML che trascorre il suo tempo lavorando con clienti strategici per definire i requisiti aziendali, fornire sessioni L300 su casi d'uso specifici e progettare applicazioni e servizi AI/ML scalabili, affidabili e performanti. Ha contribuito a lanciare e ampliare il servizio Amazon SageMaker basato su AI/ML e ha implementato various show di concetto utilizzando i servizi Amazon AI. Ha inoltre sviluppato la piattaforma di analisi avanzata come parte del percorso di trasformazione digitale.

Kiran Challapalli è uno sviluppatore di enterprise deep tech con il settore pubblico AWS. Ha più di 8 anni di esperienza nel campo dell'intelligenza artificiale/ML e 23 anni di esperienza complessiva nello sviluppo di software program e nelle vendite. Kiran aiuta le aziende del settore pubblico in tutta l'India a esplorare e co-creare soluzioni basate sul cloud che utilizzano tecnologie di intelligenza artificiale, machine studying e intelligenza artificiale generativa, inclusi modelli linguistici di grandi dimensioni.