首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

你还在纠结单个GPU怎么训练GPT-3吗?快来看看HP调优新范式吧!

大数据文摘转载自微软研究院AI头条 编者按:伟大的科学成就不能仅靠反复试验取得。在构建大规模人工智能系统时,基础研究所形成的理论见解能够帮助研究员大大减少试错次数并提高成本效益。在今天的文章中,微软研究院的研究员们将介绍基础研究如何首次能够调整庞大的神经网络。由于庞大的神经网络训练十分昂贵,所以研究员们通过展示特定参数化在不同模型大小上保留最佳超参数来解决这一问题。通过与 OpenAI 合作,微软研究院的研究员们在一系列现实场景中也验证了该技术的实际优势。 伟大的科学成就不能仅靠反复试验取得。例如太空计划中

01

DrawText

DrawText  函数功能:该函数在指定的矩形里写入格式化文本,根据指定的方法对文本格式化(扩展的制表符,字符对齐、折行等)。   函数原型:int DrawText(HDC hdc, LPCTSTR lpString, int nCount, LPRECT lpRect, UINT uFormat);   参数:   hdc:设备环境句柄。   lpString:指向将被写入的字符串的指针,如果参数nCount是-1,则字符串必须是以\0结束的。    如果uFormat包含DT_MODIFYSTRING,则函数可为此字符串增加4个字符,存放字符串的缓冲区必须足够大,能容纳附加的字符。   nCount:指向字符串中的字符数。如果nCount为-1,则lpString指向的字符串被认为是以\0结束的,DrawText会自动计算字符数。   lpRect:指向结构RECT的指针,其中包含正文将被置于其中的矩形的信息(按逻辑坐标)。   uFormat:指定格式化正文的方法。它可以下列值的任意组合,各值描述如下:   DT_BOTTOM:将正文调整到矩形底部。此值必须和DT_SINGLELINE组合。   DT_CALCRECT:决定矩形的宽和高。如果正文有多行,DrawText使用lpRect定义的矩形的 宽度,并扩展矩形的底训以容纳正文的最后一行,如果正文只有一行,则DrawText改变矩形 的右边界,以容纳下正文行的最后一个字符,上述任何一种情况,DrawText返回格式化正文 的高度而不是写正文。   DT_CENTER:使正文在矩形中水平居中。   DT_VCENTER:使正文在矩形中垂直居中。   DT_EDITCONTROL:复制多行编辑控制的正文显示特性,特殊地,为编辑控制的平均字符 宽度是以同样的方法计算的,此函数不显示只是部分可见的最后一行。   DT_END_ELLIPSIS或DT_PATH_ELLIPSIS:可以指定DT_END_ELLIPSIS来替换在字符串末尾 的字符,或指定DT_PATH_ELLIPSIS来替换字符串中间的字符。如果字符串里含有反斜扛,DT _PATH_ELLIPSIS尽可能地保留最后一个反斜杠之后的正文。   DT_EXPANDTABS:扩展制表符,每个制表符的缺省字符数是8。   DT_EXTERNALLEADING:在行的高度里包含字体的外部标头,通常,外部标头不被包含在 正文行的高度里。   DT_INTERNAL:用系统字体来计算正文度量。   DT_LEFT:正文左对齐。   DT_MODIFYSTRING:修改给定的字符串来匹配显示的正文,此标志必须和DT_END_ELLIPS IS或DT_PATH_ELLIPSIS同时使用。   DT_NOCLIP:无裁剪绘制当DT_NOCLIP使用时DrawText的使用会有所加快。   DT_NOPREFIX:关闭前缀字符的处理,通常DrawText解释助记前缀字符,&为给其后的字 符加下划线,解释&&为显示单个&。指定DT_NOPREFIX,这种处理被关闭。   DT_RIGHT:正文右对齐。   DT_RTLREADING:当选择进设备环境的字体是Hebrew或Arabicf时,为双向正文安排从右 到左的阅读顺序都是从左到右的。   DT_SINGLELINE:显示正文的同一行,回车和换行符都不能折行。   DT_TABSTOP:设置制表,参数uFormat的15″C8位(低位字中的高位字节)指定每个制表 符的字符数,每个制表符的缺省字符数是8。   DT_TOP:正文顶端对齐(仅对单行)。DT_VCENTER:正文水平居中(仅对单行)。   DT_WORDBREAK:断开字。当一行中的字符将会延伸到由lpRect指定的矩形的边框时,此 行自动地在字之间断开。一个回车一换行也能使行折断。   DT_WORD_ELLIPSIS:截短不符合矩形的正文,并增加椭圆。    注意:DT_CALCRECT, DT_EXTERNALLEADING, DT_INTERNAL, DT_NOCLIP, DT_NOPREFIX值 不能和DT_TABSTOP值一起使用。    返回值:如果函数调用成功,返回值是正文的高度;如果函数调用失败,返回值是0。   Windows NT:若想获得更多错误信息,请调用GetLastError函数。    备注:函数DrawText用设备环境中的字体选择、正文颜色和背景颜色来写正文,除非DT_NOCLIP被使用, DrawText裁剪正文,所以它不会出现在指定矩形的外面,除DT_SINGLELINE 格式化,其余的格式都认为正文有多行。    如果选择的字体对指定的矩形而言太大,DrawText不会试图去换成一种小字体。    Windows CE:如果为参数uFormat

02

每日论文速递 | 【ICLR'24 Oral】LoftQ: 更好地将LLM量化与LoRA微调结合

摘要:量化是为服务大语言模型(LLMs)不可或缺的技术,最近已经应用到LoRA微调中。在这项工作中,我们关注的是在一个预训练模型上同时应用量化和LoRA微调的情景。在这种情况下,通常会观察到在下游任务性能上的一致差距,即在完全微调和量化加LoRA微调方法之间。为了应对这一问题,我们提出了LoftQ(LoRA微调感知量化),这是一个新颖的量化框架,可以同时对LLM进行量化并找到LoRA微调的适当低秩初始化。这种初始化缓解了量化和全精度模型之间的差异,并显著提高了在下游任务中的泛化性能。我们在自然语言理解、问答、摘要和自然语言生成任务上评估了我们的方法。实验证明我们的方法非常有效,并在具有挑战性的2比特和2/4比特混合精度区域中优于现有的量化方法。

01

港中文 和 上海 AI Lab提出 GTP-4o 异构图技术突破多模态学习难题 !

每种模态都有自己的视角来反映特定的数据特征。整合多模态数据使模型能够在宏观、微观和分子层面上获得关于受试者状况的各种洞察,从而实现准确全面的疾病诊断。例如,各种成像技术的多模态融合显著提高了在内镜场景中胃肠道病变的检测和表征。同样,将基因信息与病理图像结合可以提高癌症分级的预测准确性。相关任务,如生存预测(旨在预测重大事件如死亡或疾病复发的时间间隔),也可以从这种多模态融合中受益[7]。此外,由病理图像中的细胞核分割构建的细胞图显示提供了更细粒度的微观信息[70]。视觉语言模型在生物医学图像和文本学习方面的最新进展也激发了一系列工作[78],其中诊断文本通常包含抽象的语义信息[10]。这些进展为扩展生物医学多模态模型的容量边界至全模态表示,以处理更广泛的临床模态提供了潜力。

01
领券