يعد دمج المعلومات المرئية (الصور المجهرية وصور الأشعة السينية، والأشعة المقطعية والتصوير بالرنين المغناطيسي، على سبيل المثال) مع النص (ملاحظات الامتحانات، والاتصالات بين الأطباء من تخصصات مختلفة) عنصرًا أساسيًا في رعاية مرضى السرطان. ولكن في حين أن الذكاء الاصطناعي يساعد الأطباء على مراجعة الصور وتحديد الحالات الشاذة المرتبطة بالأمراض مثل الخلايا ذات الشكل غير الطبيعي، إلا أنه كان من الصعب تطوير نماذج محوسبة يمكنها دمج أنواع متعددة من البيانات.
الآن، طور الباحثون في جامعة ستانفورد للطب نموذجًا للذكاء الاصطناعي قادرًا على دمج المعلومات المرئية واللغوية. وبعد التدريب على 50 مليون صورة طبية لشرائح علم الأمراض القياسية وأكثر من مليار نص متعلق بعلم الأمراض، تفوق النموذج على الأساليب القياسية في قدرته على التنبؤ بتشخيص آلاف الأشخاص المصابين بأنواع مختلفة من السرطان، وتحديد الأشخاص الذين يعانون من أمراض الرئة أو السرطان. من المرجح أن تستفيد سرطانات المعدة والأمعاء من العلاج المناعي، ولتحديد الأشخاص المصابين بالورم الميلانيني والذين هم الأكثر عرضة للتعرض لتكرار المرض.
