换季肠胃容易“闹情绪”专家注意保暖、加强锻炼

原标题:专家支招应对换季肠胃“闹情绪”

新华社北京9月5日电(记者温竞华)每逢夏秋换季,也是胃肠道不适的高发期。专家提示,除注意饮食和保暖外,还需加强锻炼、调节情绪。

模型接收一个彩色帧和一个灰度视频作为输入,并预测下一帧的颜色。模型学会从参考系复制颜色,这使得跟踪机制可以在没有人类监督的情况下学习。[资源链接]

在实现中,我们将使用(256 x 256)图像扩展相同的概念。

RGB往往比LAB具有更多的相关性。  LAB将迫使模型学习不变性,它将迫使其学习更强大的表示形式,而不是依赖于本地颜色信息。 可以使用sklearn的KMeans软件包进行聚类。  

通知要求,要进一步加强建档立卡信息系统的动态管理,在县财政专项扶贫资金中统一安排补助资金,做到应补尽补、直补到户。同时,加强就业扶贫工作,提供就业信息和服务,促进贫困家庭子女毕业后尽快就业。

相似度矩阵中的每一行代表参考帧的所有像素i和目标帧的像素j之间的相似性,因此为了使总权重为1,我们对每一行应用softmax。  

现在正值开学季,少年儿童上学后该如何注意?陶夏平说,开学后孩子的生活恢复正常,规律的作息和社交都有助于身体和情绪健康。家长应注意调整孩子饮食结构,多吃粗纤维食物和新鲜蔬果,少吃肉类和生冷食品,平时督促孩子多做快走、慢跑等运动,增强脾胃功能。

该模型学习从参考帧为视频帧着色。 [资源链接]

CNN模型学习从灰度图像预测颜色。[资源链接]

此方法的实现可以在这里找到。

类似地,对于目标帧中的每个目标像素((5,5)=> 25个像素),我们将具有大小为(5,5)的相似度矩阵,即大小为(5,5,25)的完整相似度矩阵Aᵢⱼ =(25,25)。  

按正确的顺序放置视频帧       

  (a)为2帧大小(5,5),(b)为参考帧嵌入与目标像素在j =2处嵌入的内积,(c) softmax后的相似度矩阵,(d)相似度矩阵与参考帧真颜色的线性组合[资源链接]

无论是图像、参考帧还是目标帧都经过模型学习后对每个像素进行了低层次的嵌入,这里fᵢ是像素i在参考帧中的嵌入,类似地,f是像素j在目标帧中的嵌入。然后,计算相似度矩阵:

 这类将用于制作颜色的簇,我们将把它存储为一个pickle。

注意:我使用pytorch来实现,它遵循(N,C,H,W)格式。 处理矩阵重塑时,请记住这一点。 如果您对形状有任何疑问,请随时与我们联系。

  2. 相似度矩阵

夏秋之交,为何肠胃好像变脆弱了,总是容易“闹情绪”?中国中医科学院广安门医院脾胃病科主任医师陶夏平说,一方面,夏天饮食生冷多,可能会对脾胃造成损伤,夏秋之交天气转凉,不注意保养也会出现消化不良、腹泻等症状;另一方面,由于疫情原因,长时间窝在家里,缺少活动和与外界接触,情绪、体力受影响,也会导致脾胃功能弱、消化道动力差,造成腹泻或便秘。

该模型的输入是四个灰度视频帧,其下采样为256×256。三个参考帧和一个目标帧。

代理任务的几个例子是:

SORT是最著名的多目标跟踪算法之一,它以卡尔曼滤波器为核心,并且非常成功。  

我们都知道监督和非监督学习技术。这是一种被称为自监督学习的新型学习方式。在这些类型的学习中,我们试着利用数据中已经存在的信息,而不是任何外部标签,或者有时我们说模型是自己学习的。 在现实中,我们所做的是训练CNN模型去完成一些其他的任务,这些任务间接地帮助我们实现目标,这个模型自我监督。这些任务称为”代理任务”或“借口任务”。

训练可以分为以下三个步骤:  

我们将使用SET 2的预处理帧,即将四个降采样为(32 x 32)并量化的帧用于着色。 将三个参考帧与相似度矩阵组合以获得预测的量化帧。 我们发现了具有预测颜色的交叉熵损失(请记住,我们将帧量化为16个簇,现在我们有16种类别。我们发现了这些颜色的多类别交叉熵损失。)  

我们已经了解了什么是自监督模型,您一定已经猜到了我们将使用着色作为代理任务的名称。  

第一行显示原始帧,第二行显示来自实验室空间的ab颜色通道。第三行将颜色空间量化到离散的容器中,并打乱颜色,使效果更加明显。[资源链接]

通知明确,河北省建档立卡贫困户中接受中、高等职业教育,且取得正式全日制学籍的在校生(含在校期间顶岗实习)家庭,均可享受补助。农村贫困家庭新成长劳动力接受中、高等职业教育,在享受国家职业教育资助政策的同时,每生每学年补助3000元,分秋季、春季两学期发放,每学期1500元。未脱贫和在全国扶贫开发信息系统内标注为“已脱贫(享受政策)”的人员享受这一补助政策。

单目标跟踪:在整个视频序列中跟踪感兴趣的目标。如VOT挑战。 多目标跟踪:在整个视频序列中跟踪多个感兴趣的目标,例如 MOT 挑战。

公式2:用softmax归一化的内积相似度。

在训练深度CNN模型时,我们面临的主要挑战之一是训练数据。 

随着深度学习时代的到来,非常创新的研究进入了该研究领域,并且深度学习方法成功地胜过了传统的CV方法来应对公共跟踪挑战。 尽管在公共挑战方面取得了巨大成功,但深度学习仍在努力为现实世界中的问题陈述提供通用的解决方案。  

在本文中,我们将学习一种新颖的自监督目标跟踪方法。自我监督是模型自我学习的一种方法  ?,这本身就使得这个话题非常有趣。在这里,我们将看到如何学会自己跟踪对象。我们将从基本的目标跟踪开始,然后讨论什么是计算机视觉的自我监督学习,最后详细讨论这种方法。

为了将图像量化为簇,我们将使用LAB颜色空间而不是RGB颜色空间的AB通道。 上图显示了RGB和LAB通道间的相关性,我们可以从图中得出结论:  

颜色的空间频率较低,因此我们可以处理低分辨率的帧。 我们不需要C(255,3)颜色组合,因此我们创建16个聚类并将颜色空间量化为这些聚类。 现在,我们只有16种独特的颜色簇(请参见上图的第三列)。聚类使用k均值完成。 16个群集将丢失一些颜色信息,但足以识别对象。 我们可以增加聚类的数量来提高着色的精度,但要以增加计算为代价。  

许多这样的任务可以用作计算机视觉问题的代理任务。此类训练的一个主要好处是,训练不需要手动注释数据,并且适合解决现实生活中的用例。

陶夏平提示,照顾好自己的肠胃,要从生活方式和饮食上入手。入秋后,早晚天气转凉,要注意保暖,特别要注意睡觉时不将腹部和背部暴露在外面。同时,不熬夜、锻炼身体、保持良好的情绪,也利于增强脾胃功能。

首先,我们将所有培训视频减少到6fps。 然后预处理框架以创建两个不同的集合。 一种用于CNN模型,另一种用于着色任务。 

公式1:预测颜色与参考颜色的线性组合

使用的主干是ResNet-18,因此结果与其他方法相当。ResNet-18的最后一层被更新为尺寸输出为32 x 32 x 256 然后将ResNet-18的输出传递到3D转换网络中,最终输出为32 x 32 x64。(下面的代码块显示了从ResNet-18网络获取输入的3D网络)

如何计算相似度矩阵  

训练数据:深度学习方法需要大量数据,而这几乎每次都成为瓶颈。此外,像多目标跟踪这样的任务很难注释,而且这个过程变得不切实际,而且代价昂贵。  

从图像中提取补丁并将其打乱。模型学习如何解开拼图并按照正确  的顺序排列,如图3所示。[资源链接]

我们将使用SET 1的预处理帧,即通过网络传递大小为(256 x 256)的4个灰度帧,以获得具有64个通道的(32 x 32)空间图。 对于(32 x 32)图像的每个像素,这可以解释为64维嵌入。 因此,我们有四个这样的像素级嵌入,三个用于参考图像,一个用于目标图像 。 

模型将如何学习跟踪  

用简单的语言描述它,可以理解为识别整个视频序列中唯一的对象。要跟踪的对象通常被称为目标对象。跟踪可以通过边界框或实例分割来完成。有两种类型的公共对象跟踪挑战。  

一些著名经典的用于解决目标跟踪CV算法的是  :

         深度模型数据永远不嫌多

我们将取两个帧,一个目标帧(时刻t),一个参考帧(时刻t-1),并通过模型。该模型期望通过对参考帧颜色的先验知识来预测目标帧的颜色。通过这种方式,模型内部学会了指向正确的区域,以便从参考框架复制颜色,如图所示。这种指向机制可以用作推理期间的跟踪机制,我们将很快看到如何做到这一点。 

通过给视频着色来实现跟踪。 我们使用大量的未标记视频学习模型的视觉跟踪无需人工监督。 arxiv.org

饮食方面,为避免病从口入,要注意勤洗手,采取分餐制、公筷制,自带餐具等。三餐定时定量,细嚼慢咽,多吃容易消化吸收的食物,减小肠胃负担。忌辛辣、过甜、过咸、高油等易增加胃酸的食物,可适当用红枣、薏仁、红豆等食材熬粥,健脾化湿。同时,秋季气候干燥,应注意多补充水分,促进排便通畅。

通过视频着色进行自监督跟踪

我们不复制网络中的颜色,而是训练我们的CNN网络学习目标帧的像素与参考帧的像素之间的相似度(相似度在灰度像素之间),然后线性组合时使用此相似度矩阵参考帧中的真实颜色会给出预测的颜色。从数学上讲,令Cᵢ为参考帧中每个像素i的真实颜色,而Cⱼ为目标帧中每个像素j的真实颜色。 该模型给出了目标框架和参考框架之间的相似度矩阵Aᵢⱼ。 我们可以通过线性组合获得预测的颜色yᵢ。                          

通过这五个嵌入,我们在参考帧和目标帧之间找到了一个相似矩阵。 对于目标帧中的像素,我们将获得一个相似度值,其中所有三个参考帧中的所有像素均通过softmax归一化为1。  

着色是代理任务或借口任务,目标跟踪是主要任务或下游任务。采用大规模的无标记视频对模型进行训练,不需要人工进行任何单一像素的标注。该模型利用视频的时间相干性对灰度视频进行着色。这看起来可能有点混乱,但我会慢慢给大家讲明白。

该模型学习在视频序列中对打乱的帧进行排序。[资源链接]

将图像补丁放在正确的位置