Zvibel de Weka lors de la rationalisation du pipeline de données qui alimente AI / ML

This exclusive Q&A interview was conducted by Nages Sieslack of the ISC 2022 conference organization, with Liran Zvibel, co-founder and CEO of WEKA, which offers a data platform built for I/O-intensive workloads and latency-sensitive applications at exabyte scale.Weka sera un exposant à la conférence ISC, 30 mai-juin1.

Nages Sieslack: Quels défis aidez-vous les clients à résoudre?

Liran Zvibel: Today, organizations are increasingly looking to harness the power of artificial intelligence (AI) and machine learning (ML) to support their research and discovery initiatives, drive business innovation, and increase operational efficiencies.Mais l'exécution de projets d'IA / ML à l'échelle d'entreprise nécessite des quantités massives de données et de performances pour les alimenter, et de nombreuses organisations ont du mal à faire avancer leurs initiatives commerciales critiques et leurs projets de recherche en conséquence.Une raison clé est que leur infrastructure de données héritées n'est pas équipée pour prendre en charge les exigences de performance et d'évolutivité insatiables de ces charges de travail de prochaine génération - et elle les retient.

Weka est en mission qui est de relever ce défi avec une plate-forme de données logicielle qui est spécialement conçue pour rationaliser et accélérer les pipelines de données qui alimentent l'IA / ML et d'autres charges de travail modernes à forte performance.

La plate-forme de données Weka offre une simplicité radicale, des performances épiques, une échelle infinie et une portabilité des données transparentes pour prendre en charge les charges de travail de l'IA d'entreprise dans pratiquement n'importe quel emplacement.Que ce soit sur site, dans le nuage, au bord ou à l'écart entre les plates-formes, Weka accélère à chaque étape du pipeline de données de l'IA d'entreprise, de l'ingestion de données, du nettoyage et de la modélisation, à la validation de la formation ou à l'inférence.

Sieslack: Pouvez-vous fournir un exemple de la façon dont vous avez aidé un client avec un défi important?

Zvibel: In the U.S., l'équipe informatique de l'Oklahoma Medical Research Foundation (OMRF) cherchait à architer un système qui pourrait fournir une puissance plus calculaire, un stockage plus rapide et des volumes de données plus importants avec une vitesse accrue pour répondre à ses besoins en informatique croissants pour la recherche scientifique.

Un flux de travail courant est une analyse de séquençage de nouvelle génération (NGS) utilisant le pipeline GATK pour l'alignement de séquence et l'appel variant.Cependant, le cluster prend en charge de nombreux travaux de recherche exécutés simultanément avec des ensembles d'outils uniques qui doivent être soigneusement orchestrés afin de ne pas avoir un impact négatif sur d'autres emplois ou charges de travail.

En mettant en œuvre la plate-forme de données Weka, l'équipe OMRF a pu réaliser un meilleur débit et exécuter plus de travaux de recherche simultanément.En conséquence, leurs résultats de recherche ne sont plus limités par la quantité de données stockées localement et leurs workflows de recherche ont été grandement simplifiés.De plus, la complexité de la mise en scène des données dans et hors des données dans le SSD local d'un nœud de calcul a été éliminée;Les délais de revirement étaient meilleurs parce que les emplois se terminaient plus rapidement, obtenant des résultats à leurs scientifiques plus rapidement et accélérant la prochaine étape de leur recherche.

En fin de compte, les emplois de recherche de l'OMRF ont été réduits de 10x - un travail a été réduit de 70 jours à sept, et un autre flux de travail d'analyse commun a été réduit de 12 heures à deux.Les chercheurs de l'OMRF n'ont plus besoin de penser à leur environnement d'infrastructure de données - en place, ils sont libres de se concentrer sur la sauvegarde des vies.

Sieslack: Quel est le cas échéant que la pandémie a eu sur les entreprises de vos clients et comment les aidez-vous à surmonter ces problèmes?

Liran Zvibel de Weka

Zvibel: The COVID-19 pandemic was a wake-up call on many fronts around the world.Ce virus a provoqué des chercheurs clés qui cherchent à résoudre le problème avec les vaccins et autres solutions pharmaceutiques.Les chercheurs en génomique devaient examiner les séquences d'ARN du nouveau coronavirus et les comparer rapidement à celles d'autres virus pour mieux comprendre le comportement des virus et trouver des traitements potentiels.

Pour contribuer à l'effort de lutte contre la crise Covid-19, Weka a offert des chercheurs en sciences de la vie à utiliser gratuitement de la plate-forme de données Weka sur AWS pendant 120 jours.En partenariat avec AWS, Weka a également fourni des crédits pour les services de stockage et de calcul AWS complémentaires.Nous avons également suivi la façon dont Covid a affecté le travail de nos clients et trouvé des résultats intéressants:

Plus d'un tiers de nos clients nous ont dit que leur adoption du cloud avait augmenté en raison de la covide.Les verticales qui prétendaient avoir une adoption plus élevée du cloud en raison de la pandémie sont les sciences de la vie (pas de surprise ici), le cloud (en raison de l'augmentation globale de la demande d'instances cloud) et la banque, qui montrait déjà une forte adoption du nuage et des signes de croissance.De plus, Covid-19 a augmenté la demande de calcul et d'utilisation des données dans les verticales telles que les semi-conducteurs, l'automobile et les médias.

Sieslack: Quelle est votre stratégie de partenariat pour les fournisseurs de serveurs?

Zvibel: WEKA generally does not sell direct.Nous nous associons à une large gamme de fournisseurs de serveurs et de fournisseurs de cloud pour permettre aux clients de choisir le stockage sous-jacent qui correspond le mieux à leurs préférences et besoins.Le modèle commercial de Weka rend le partenariat attrayant pour les sociétés de serveurs et d'infrastructure de données établies.

Nos partenaires de serveur ainsi que leurs partenaires de revendeur proposent des appareils électroménagers complets et des offres de services basées sur le logiciel de plate-forme de données de Weka et leur matériel.Cette stratégie donne à nos clients le choix du serveur le plus large tout en permettant à nos partenaires de serveur des meilleures offres d'adaptation qui combinent leur matériel et leur expertise de mise sur le marché.

Sieslack: À quoi attribuez-vous votre croissance rapide au cours des deux dernières années?Qu'est-ce qui nous attend pour l'entreprise?

Zvibel: Over the past few years, use of AI has moved from boutique science experiments to full-fledged enterprise deployments that are delivering new ways to support customer innovation and drive business forward.Les entreprises de toutes tailles utilisent désormais des charges de travail d'IA pour prendre en charge une variété de cas d'utilisation, comme l'amélioration des processus de fabrication, la prédiction du désabonnement des clients, l'optimisation des chaînes d'approvisionnement, le rasage de la conception des systèmes techniques, l'accélération de la recherche génomique et bien plus encore.Et ils déploient ces projets dans le cloud, au bord et sur site - ou une combinaison de celui-ci - en fonction de leurs besoins uniques.

Étant donné que les technologies de gestion des données et d'infrastructures héritées ne sont pas bien adaptées pour soutenir les demandes de performance uniques de l'IA dans ces environnements divers, les clients se tournent de plus en plus vers des solutions modernes comme la plate-forme de données de Weka.En conséquence, Weka est maintenant dans une période d'hyperprowth qui est alimentée par l'adoption et la demande des clients.Nous avons doublé notre clientèle au cours de la dernière année et nous nous attendons à ce qu'elle continue de croître arithmétiquement - mais nous ne pouvons y parvenir que si nous continuons à ravir nos clients.Aujourd'hui, nous avons des scores exceptionnellement élevés des clients sur Gartner Peer Insights - un 4.9 des 5 étoiles sur 5 - et tous les personnes interrogées ont dit qu'ils recommandent Weka.

Alors que nous regardons vers l'avenir, nous avons l'intention de continuer à élargir les capacités de notre technologie de plate-forme de données pour nous assurer que nous aidons nos clients à capitaliser pleinement sur l'IA pour atteindre leurs objectifs de recherche et commerciaux aujourd'hui et de les préparer à exploiter les applications et charges de travail de prochaine génération de laavenir.

Filed Under: HPC Software, Machine Learning, News Tagged With: Data Management, data platform, I/O, ISC 2022, latency, Weekly Newsletter Articles, Weka

Les réseaux Supermicro et Préférés (PFN) collaborent pour développer le supercalculateur le plus efficace au monde

Supermicro et Networks Preferred (PFN) ont collaboré pour développer le supercalculateur le plus efficace du monde sur Terre, gagnant la position n ° 1 sur la liste Green500.Ce supercalculateur, le MN-3, est composé de conseils CPU et MN-Core ™ Intel® Xeon® développés par les réseaux préférés.Dans ce livre blanc, en savoir plus sur cette collaboration et comment un supercalculateur record a été développé.

DownloadSee More White Papers »