Processamento Paralelo

CUDA é uma plataforma de computação paralela e um modelo de API criado pela NVIDIA para aproveitar o poder das GPUs.

NCCL é uma biblioteca desenvolvida pela NVIDIA para comunicação coletiva de alto desempenho em aplicações de GPU.