Parallélisme Powershell pour accélerer vos traitements

15 mars 2016

Commentaires fermés

L’industrialisation et la performance sont deux sujets qui reviennent souvent dans l’informatique. Voici la base d’un script Powershell permettant de paralléliser l’exécution d’une tâche plutôt que de rester en mode séquentiel. La finalité est bien évidement d’accélérer vos traitements. Pour la mise en oeuvre du parallélisme Powershell, le principe est le suivant, il y a 3 étapes à retenir :

On indique le nombre de tâches maximum en parallèle :

PowerShell

$Throttle = 60

1

$Throttle = 60
On parcourt le fichier computer.txt dans lequel on a consigné des noms de serveurs, ligne à ligne. Ça pourrait tout aussi bien être un DataTable.

PowerShell

$Computers = get-content C:\Temp\computers.txt foreach ($ComputerName in $Computers) { }

1
2
3
4

$Computers = get-content C:\Temp\computers.txt
foreach ($ComputerName in $Computers)
{
}

Sur chacun de ces serveurs, on exécute une commande lambda. On aurait pu exécuter un autre script Powershell en cascade.

PowerShell

$Command = "Get-WmiObject -Class Win32_BIOS -NameSpace 'root\CIMV2' -ComputerName $ComputerName"

1

$Command = "Get-WmiObject -Class Win32_BIOS -NameSpace 'root\CIMV2' -ComputerName $ComputerName"

Voici le script complet qui permet de gérer le parallélisme.

clear-host

$ScriptDirectory = Split-Path $MyInvocation.MyCommand.Path

$Throttle = 60
 
$ScriptBlock = {
   Param (
      [guid]$RunGuid,[string]$ComputerName,[string]$Command
   )
    $RunResult = New-Object PSObject -Property @{
      RunGuid = $RunGuid
      ComputerName = $ComputerName
      Command = $Command
    }
     
    invoke-expression -Command $Command
   
   Return $RunResult
}
 
$RunspacePool = [RunspaceFactory]::CreateRunspacePool(1, $Throttle)
$RunspacePool.Open()
$Jobs = @()

Try
{

    $RunGuid = [guid]::NewGuid()

    $Computers = get-content C:\Temp\computers.txt

    foreach ($ComputerName in $Computers)
    {
      
        $Command = "Get-WmiObject -Class Win32_BIOS -NameSpace 'root\CIMV2' -ComputerName $ComputerName"                       

        $Job = [powershell]::Create().AddScript($ScriptBlock).AddArgument($RunGuid).AddArgument($ComputerName).AddArgument($Command)
        $Job.RunspacePool = $RunspacePool
        $Jobs += New-Object PSObject -Property @{
        		    RunGuid = $RunGuid
        		    Pipe = $Job
        		    Result = $Job.BeginInvoke()
                 }
        
    }
    
    Write-Host "Waiting.." -NoNewline
    Do {
       Write-Host "." -NoNewline
       Start-Sleep -Seconds 1
    } While ( $Jobs.Result.IsCompleted -contains $false)
    Write-Host "All jobs completed!"
     
    $Results = @()
    ForEach ($Job in $Jobs)
    {   $Results += $Job.Pipe.EndInvoke($Job.Result)
    }
     
    $Results | Out-GridView
    
}
Catch
{   
    Write-Host ($_.Exception.Message)
}
Finally
{
    Write-Host "Done and now ?"
}

clear-host

$ScriptDirectory = Split-Path $MyInvocation.MyCommand.Path

$Throttle = 60

$ScriptBlock = {

Param (

[guid]$RunGuid,[string]$ComputerName,[string]$Command

)

$RunResult = New-Object PSObject -Property @{

RunGuid = $RunGuid

ComputerName = $ComputerName

Command = $Command

}

invoke-expression -Command $Command

Return $RunResult

}

$RunspacePool = [RunspaceFactory]::CreateRunspacePool(1, $Throttle)

$RunspacePool.Open()

$Jobs = @()

Try

{

$RunGuid = [guid]::NewGuid()

$Computers = get-content C:\Temp\computers.txt

foreach ($ComputerName in $Computers)

{

$Command = "Get-WmiObject -Class Win32_BIOS -NameSpace 'root\CIMV2' -ComputerName $ComputerName"

$Job = [powershell]::Create().AddScript($ScriptBlock).AddArgument($RunGuid).AddArgument($ComputerName).AddArgument($Command)

$Job.RunspacePool = $RunspacePool

$Jobs += New-Object PSObject -Property @{

RunGuid = $RunGuid

Pipe = $Job

Result = $Job.BeginInvoke()

}

Write-Host "Waiting.." -NoNewline

Do {

Write-Host "." -NoNewline

Start-Sleep -Seconds 1

} While ( $Jobs.Result.IsCompleted -contains $false)

Write-Host "All jobs completed!"

$Results = @()

ForEach ($Job in $Jobs)

{ $Results += $Job.Pipe.EndInvoke($Job.Result)

}

$Results | Out-GridView

}

Catch

{

Write-Host ($_.Exception.Message)

}

Finally

{

Write-Host "Done and now ?"

}

L’objet de cet article était d’aborder sereinement le parallélisme Powershell, il en est de même dans un autre article mais traitant cette fois de SSIS.

Auteur

Sarah Béquet

Archietcte Data Microsoft, les maîtres mots sont : performance, industrialisation, méthodologie & bonne humeur.

Derniers articles

2019.12.02BI & Big Data Etude des contextes en DAX (4/4) : Transition de contexte
2019.11.25BI & Big Data Etude des contextes en DAX (3/4) : Contexte de requête
2019.11.17BI & Big Data Etude des contextes en DAX (2/4) : Contexte de filtre
2019.11.11BI & Big Data Etude des contextes en DAX (1/4) : Contexte de ligne

Articles liés

Scripter la création d'une base données

Erreur : Transaction log for database 'xxx' is full due to 'ACTIVE_TRANSACTION'

Exécuter un script sur toutes les tables d'une base de données

Exécuter un script sur toutes les bases de données d'une instance

Blog