Stage KV Cache design for efficient transformer deployment in edge systems-Saclay H/F

Source de l'offre

Offre diffusée par LEGACY50. L'employeur reste confidentiel ; LEGACY50 n'est pas présenté comme l'employeur de ce poste.

Descriptif du poste

Stage KV Cache design for efficient transformer deployment in edge systems-Saclay-H/F. Sujet de stage. L'engouement pour les modèles de réseaux de neurones type Transformers dédiés aux tâches IA dites génératives ne se dément pas. De nombreux modèles ont été mis à disposition par les différents acteurs du marché. S'appuyant sur la disponibilité et l'exploitation d'immense base de données et d'un apprentissage profond coûteux, les performances atteintes pour la création de contenu sont très élevées sur des architectures GPU. Cependant, ces larges modèles sont gourmands en mémoire et par conséquent très énergivore ce qui rend leur utilisation dans le domaine de l'embarqué très ardue. Dans le cas d'un LLM, le principal verrou repose notamment sur un accès massif à la mémoire. Un module dit « KV Cache » permet de pallier ce problème. Aussi, le LIAE s'intéresse à l'étude et la faisabilité de l'implémentation de ce type de fonctionnalité. L'idée principale est d'analyser et de quantifier les besoins et les limites pour un déploiement sur des architectures type CPU, GPU ou SoC.... Durée du contrat (en mois). 6 mois. Description de l'offre.…

Informations principales

Employeur confidentiel. Diffuseur : LEGACY50.

Localisation : Saclay, France, Ile-de-France.

Rémunération détaillée non communiquée dans les données publiques disponibles.

Cette fiche individuelle présente les informations disponibles lorsque l'offre est active et suffisamment exploitable.