MedARC为医学开发了基础AI模型，他们的最新模型MindEye可以告诉你一直在看什么。
MindEye是一种fMRI到图像的AI模型，可以将大脑活动的功能磁共振成像(FMRI)映射到OpenAI的剪辑图像空间。
他们使用的fMRI扫描来自自然场景数据集（NSD）。NSD由8名健康成人受试者的全脑高分辨率fMRI扫描组成，他们在30—40次扫描过程中观察了数千个彩色自然场景。
MindEye可以分析功能磁共振成像扫描，然后从测试图像列表中检索出该人正在查看的原始图像。即使这些图像非常相似，比如斑马的不同照片，MindEye仍然有93.2%的时间识别出正确的图像。
它甚至可以从像LAION—5B数据库这样的数十亿图像的巨大图像数据库中识别出类似图像。
基于功能磁共振成像脑扫描的图像识别。资料来源：MedARC
一旦MindEye将fMRI扫描转换到剪辑图像空间，这些图像就可以输入到预先训练的图像生成模型中，如稳定扩散或类似模型。MedARC使用多功能扩散技术试图重现受试者正在观看的原始图像。
MindEye没有得到这一部分100%正确，但它仍然非常令人印象深刻。以下是他们的结果与以前的研究结果的比较。
与其他功能磁共振成像图像重建模型的输出并排进行重建。资料来源：MedARC
潜力和问题
说MindEye可以知道你一直在看什么有点过于简单化了。为了获得功能磁共振成像数据，受试者必须躺在核磁共振成像仪中大约40个小时，而模型训练的图像是有限的。
即便如此，能够深入了解一个人如何感知视觉刺激将是神经科学家的极大兴趣。
向患者展示图像，扫描他们的大脑，然后重建他们对图像的感知，可以帮助临床诊断。该研究报告解释说，“患有重度抑郁症的患者可能会产生图像中情绪消极方面更突出的重建。
这项研究还有助于与患有闭锁综合征(假性昏迷)的患者进行交流。
为了实现这些应用的全部好处，我们需要等待更好的脑机接口或不需要人躺在核磁共振仪上数小时的可穿戴设备。
MedARC承认他们的研究也值得谨慎。他们的研究论文指出：“从大脑活动中准确重建感知的能力引发了关于更广泛社会影响的问题。”
如果最终开发出有效的非侵入性方法，你就有可能读取一个人的思想，知道他们在看什么。
在神经科学中使用人工智能的进展令人着迷，无疑将有助于心理健康临床医生。但它也引发了一系列道德和隐私问题，即我们如何继续保持自己的想法。
