• Guiding Large Language Models to Generate Computer-Parsable Content

    分类: 计算机科学 >> 计算机软件 提交时间: 2024-04-23

    摘要: We propose a method to guide Large Language Models (LLMs) in generating structured content adhering to specific conventions without fine-tuning. By utilizing coroutine-based content generation constraints through a pre-agreed context-free grammar (CFG), LLMs are directed during decoding to produce formal language compliant outputs. This enhances stability and consistency in generating target data structures, types, or instructions, reducing application development complexities. Experimentally, error rates of GPT-2 and Gemma exceed 95% for DSLs longer than 36 and 282 tokens, respectively. We introduce YieldLang, a coroutine-based DSL generation framework, and evaluate it with LLMs on various tasks including JSON and Mermaid flowchart generation. Compared to benchmarks, our approach improves accuracy by 1.09 to 11.6 times, with LLMs requiring only about 16.5% of the samples to generate JSON effectively. This enhances usability of LLM-generated content for computer programs.

  • SteganoDDPM: A high-quality image steganography self-learning method using diffusion model

    分类: 计算机科学 >> 信息安全 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-04-23

    摘要: Image steganography has become a focal point of interest for researchers due to its capacity for the covert transmission of sensitive data. Traditional diffusion models often struggle with image steganography tasks involving paired data, as their core principle of gradually removing noise is not directly suited for maintaining the correspondence between carrier and secret information. To address this challenge, this paper conducts an in-depth analysis of the principles behind diffusion models and proposes a novel framework for an image steganography diffusion model. The study begins by mathematically representing the steganography tasks of paired images, introducing two optimization objectives: minimizing the secrecy leakage function and embedding distortion function. Subsequently, it identifies three key issues that need to be addressed in paired image steganography tasks and, through specific constraint mechanisms and optimization strategies, enables the diffusion model to effectively handle paired data. This enhances the quality of the generated stego-images and resolves issues such as image clarity. Finally, on public datasets like CelebA, the proposed model is compared with existing generation model-based image steganography techniques, analyzing its implementation effects and performance parameters. Experimental results indicate that, compared to current technologies, the model framework proposed in this study not only improves image quality but also achieves significant enhancements in multiple performance metrics, including the imperceptibility and anti-detection capabilities of the images. Specifically, the PSNR of its stego-images reaches 93.14dB, and the extracted images’ PSNR reaches 91.23dB, an approximate improvement of 30% over existing technologies; the attack success rate is reduced to 2.4x10-38. These experimental outcomes validate the efficacy and superiority of the method in image steganography tasks.

  • 引导大语言模型生成计算机可解析内容

    分类: 计算机科学 >> 计算机软件 分类: 语言学及应用语言学 >> 语言学及应用语言学 提交时间: 2024-04-21

    摘要: 此幻灯片从背景、动机、方法、效果、展望和致谢六方面讲述了《引导大语言模型生成计算机可解析内容》的研究。全文请参考:https://arxiv.org/abs/2404.05499

  • 基于大语言模型的中英文整合复杂性建模研究

    分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-04-10

    摘要: 整合复杂性是心理学中用来测量个体思维结构的一个概念,主要涉及两个方面:区分性和整合性。区分性是指个体能够识别和理解信息中存在的不同观点或元素的能力;整合性是指个体能够将这些不同的观点或元素合并成一个有逻辑性和连贯性的整体的能力。整合复杂性的测量主要依靠人工对于文本内容进行分析,这些文本可以是书面材料、演讲稿、面试记录或任何其他形式的口头或书面表达。针对当前整合复杂性人工测评方法成本高、自动化评估方法精度低以及缺乏中文文本评估方案等问题,本研究基于大语言模型文本数据增强技术和模型迁移技术为整合复杂性的评估设计了对于中英文文本的自动化评估方案,并探索了整合复杂性两种子结构:精细整合复杂性和辩证整合复杂性的自动化评估方法。本文设计并实施了两个研究,首先基于大语言模型文本数据增强技术实现了对于英文文本整合复杂性的预测模型,其次基于模型迁移技术实现了对于中文文本整合复杂性的预测模型。研究结果显示:1)使用GPT-3.5-Tubo对于英文文本数据进行增强,使用预训练多语言Roberta模型进行词向量提取,使用文本卷积神经网络模型作为下游模型。与人工标注相比,整合复杂性Spearman相关系数为0.62,辩证整合复杂性相关系数为0.51,精细整合复杂性Spearman相关系数为0.60。优于机器学习方法以及未经过数据增强的神经网络模型。2)本文在研究二中建立了与研究一中的神经网络结构一致的模型,并将研究一中最终的模型参数迁移至本研究的模型中,对于中文文本整合复杂性进行训练。在零样本的情况下,迁移学习模型整合复杂性Spearman相关系数为0.31,辩证整合复杂性Spearman相关系数为0.31,精细整合复杂性相关系数为0.33,均优于随机参数情况下的模型表现(整合复杂性:0.17,辩证整合复杂性:0.10,精细整合复杂性:0.10)。在小样本情况下迁移学习模型整合复杂性Spearman相关系数为0.73,辩证整合复杂性Spearman相关系数为0.51,精细整合复杂性相关系数为0.73。

  • 大模型与标准文献知识库的融合应用探索

    分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-04-10

    摘要: 在人工智能与大数据技术背景下,利用大模型及构建标准文献知识库对于科研创新、知识挖掘和信息检索具有重要价值。标准文献知识库为各行业的规范化、标准化提供了坚实的支撑。本研究首先探讨了标准文献的现状,然后基于检索增强搭建大模型与标准文献知识库集成的框架,并提出各阶段增强优化探索。最后展望了未来的研究方向和应用前景。

  • 简体中文LIWC2024(SCLIWC2024)词典的修订与验证

    分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-04-09

    摘要: 近年来,字词分析取向的方法逐渐受到重视,特别是语言探索与字词计数(Linguistic Inquiry and Word Count, LIWC)工具,它的问世让许多心理学家对语言分析研究重新燃起热情。最新版本LIWC-22词典的修订新增了许多心理变量,在增加了LIWC工具的应用潜力的同时也使其更加完善。为进一步推动LIWC工具中文化的进程,我们对多个版本的中文LIWC词典进行汇总,修订形成了SCLIWC2024,并对其效度进行了检验。研究一中,我们对照LIWC-22词典和CLIWC2015词典,以SCLIWC词典为基础,修订形成了SCLIWC2024词典。研究二中,我们进行了两项实验来检测SCLIWC2024在不同类型网络文本心理表达的有效性,并回答了如何更有效地使用SCLIWC2024来检测社交网络平台短文本的心理表达的重要问题。

  • Multimodal Physical Fitness Monitoring (PFM) Framework Based on TimeMAE-PFM in Wearable Scenarios

    分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-04-07

    摘要: Physical function monitoring (PFM)plays a crucial role in healthcare especially for the elderly. Traditional assessment methods such as the Short Physical Performance Battery (SPPB) have failedto capture the full dynamic characteristics of physical function. Wearable sensors such as smart wristbands offer a promising solution to this issue. However, challenges exist, such as the computational complexity of machine learning methods and inadequate information capture. This paper proposes a multi-modal PFM framework based on an improved TimeMAE, which compresses time-series data into a low-dimensional latent space and integrates a self-enhanced attention module. This framework achieves effective monitoring of physical health, providing a solution for real-time and personalized assessment. The method is validated using the NHATS dataset, and the results demonstrate an accuracyof 70.6% and an AUC of 82.20%, surpassing other state-of-the-art time-series classification models.

  • 引导大语言模型生成计算机可解析内容

    分类: 计算机科学 >> 计算机软件 分类: 语言学及应用语言学 >> 语言学及应用语言学 提交时间: 2024-04-07

    摘要: 大语言模型 (Large Language Models, LLMs) 能够从大量语料的上下文中学习到模式,其包括词语之间的关系、句子的结构甚至更复杂的语义和语用信息。然而,让预训练语言模型生成结构化、严格遵循约定的内容仍然是一项挑战。本文提出了一种引导LLMs生成计算机高可用内容的方案,无需微调和额外的神经网络推理,通过提前约定的上下文无关文法 (Context-Free Grammar, CFG) 引入基于协程的内容生成约束机制,在自回归模型Transformer的解码阶段引导模型采样正确的词元,以构成符合程序约定的形式语言。这将有效地提升LLMs生成目标数据结构、类型或指令的稳定性和一致性,降低应用开发和集成的难度。本文作者先通过“匹配括号对”实验验证了GPT-2和Gemma等模型在生成DSL长度分别大于36和282时错误率就达到了95%,说明了当前LLMs在特定DSL生成上的性能问题。本文作者还提出了基于协程的DSL生成框架YieldLang,并使用LLMs在多个任务数据集上进行了实验,包括JSON、Mermaid流图和函数调用表达式生成等任务。这些实验表明本文的方法相比基准,其准确率提升到了原来的109%到1160%,并且在最好的情况下能够将LLMs生成JSON的采样次数降低到基准的约16.5%,这将有效地提高LLMs生成内容对计算机程序的可用性。

  • Terrain Point Cloud Inpainting via Signal Decomposition

    分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-04-05

    摘要: The rapid development of 3D acquisition technology has made it possible to obtain point clouds of real-world terrains. However, due to limitations in sensor acquisition technology or specific requirements, point clouds often contain defects such as holes with missing data. Inpainting algorithms are widely used to patch these holes. However, existing traditional inpainting algorithms rely on precise hole boundaries, which limits their ability to handle cases where the boundaries are not well-defined. On the other hand, learning-based completion methods often prioritize reconstructing the entire point cloud instead of solely focusing on hole filling. Based on the fact that real-world terrain exhibits both global smoothness and rich local detail, we propose a novel representation for terrain point clouds. This representation can help to repair the holes without clear boundaries. Specifically, it decomposes terrains into low-frequency and high-frequency components, which are represented by B-spline surfaces and relative height maps respectively. In this way, the terrain point cloud inpainting problem is transformed into a B-spline surface fitting and 2D image inpainting problem. By solving the two problems, the highly complex and irregular holes on the terrain point clouds can be well-filled, which not only satisfies the global terrain undulation but also exhibits rich geometric details. The experimental results also demonstrate the effectiveness of our method.

  • 基于 Python 中 MeCab 库对日语文章进行文本分析处理实现

    分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-04-04

    摘要: 文本分析处理日益变成重要的课题之一,关于 jieba 中文分词的示例已有许多,但 是关于日语语言分词的相关研究甚少,本文旨在介绍 Python 中 MeCab 库对日语进行分词的 功能,并且给出相关案例代码,以便根据需要实现日语分词功能。

  • 基于大语言模型的中庸思维对心理健康的影响机制研究——道德中心性的中介作用

    分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-03-23

    摘要: 近年来,研究者们已较为一致地认识到中庸思维对心理健康的积极影响,然而其潜在的作用机制还不甚明晰。以往研究表明,当个体能较好地协调代表“利己”的能动动机和代表“利他”的共生动机时,就会拥有相对高的道德中心性水平。道德中心性体现了内部动机系统的平衡状况,其能降低内在动机之间的冲突,促使两种动机相互支持、相互激励。道德中心性或许在中庸思维对心理健康的影响中发挥了潜在中介作用。当前对于个体道德中心性的测量存在较为成熟的评估方法——Values Embedded in Narratives(VEIN),但其涉及到对个人奋斗文本的价值观编码工作,因此测量过程较为复杂且人力成本较高。然而,近几年大型语言模型(比如ChatGPT)的发展显示出了其卓越的上下文理解能力,为心理学领域的文本分析和编码工作提供了新的可能性。本研究希望借助大型语言模型前沿技术,将其应用于心理学研究编码工作,降低个体道德中心性测量过程中所需要的时间以及人力成本,同时探究中庸思维对心理健康的影响机制,了解文化是如何通过影响道德中心性进而影响个体心理健康水平。研究一通过提示工程设计差异化提示词来训练GPT-3.5 Turbo识别个人奋斗中包含的价值观(成就/权力/博爱/仁爱),并对识别准确率、精确率和召回率进行评估,以得到符合要求、满足应用条件的识别模型。在研究二中将上述模型应用于道德中心性的测量中,验证道德中心性在中庸思维对心理健康(抑郁和焦虑)影响中的中介作用。研究结果如下:(1)GPT-3.5 Turbo大型语言模型在识别权力、成就、博爱和仁爱价值观的准确率不低于0.80,展现了ChatGPT在心理学研究中的应用潜力;(2)道德中心性在中庸思维对抑郁/焦虑的影响中起到了中介作用,高中庸思维的个体能更有效地整合能动与共生动机,增强其道德中心性,从而降低个体的抑郁/焦虑水平。综上所述,本研究利用大型语言模型技术突破了传统心理学研究技术上的限制,探究了中庸思维对心理健康的影响机制,验证了道德中心性在其中起到的中介作用。一方面证明了大型语言模型在心理学研究领域的应用潜力,另一方面也加深了我们对文化因素影响心理健康机制的认识,丰富了该领域的理论基础,启示了政策制定者,可以尝试发挥中庸文化优势,倡导重视个人发展同时注重集体福祉的价值观,帮助民众形成协调的思维模式,维护和促进人民精神健康与社会的良性发展。

  • 收入分配不平等对心理健康的影响机制研究——道德中心性的中介作用

    分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-03-23

    摘要: 近年来,研究者们已较为一致地认识到收入分配不平等对心理健康的影响,然而对于其内在的心理作用机制还不甚明晰。经济环境作为个体所处的宏环境,塑造着人们不同的价值观,使个体拥有不同水平的动机取向。以往研究表明,当个体能较好地协调代表“利己”的能动动机和代表“利他”的共生动机时,就会拥有相对高的道德中心性水平。道德中心性体现了内部动机系统的平衡状况,其能降低内在动机之间的冲突,促使两种动机相互支持、相互激励,帮助个体高效实现个人价值,通过寻找生活意义提高幸福感,进而减少产生心理健康问题的风险。因此,道德中心性或许在收入分配不平等对心理健康的影响中发挥了潜在中介作用。本研究希望探究收入分配不平等是如何通过影响道德中心性进而影响民众的心理健康水平,一方面丰富心理健康领域的理论基础,同时也为心理健康干预提供理论依据,有助于制定针对性的策略,以提升公众的心理福祉。借助社交媒体大数据以及自然语言处理技术,我们利用地区微博用户发布的帖子,通过心理语义词典提取代表群体道德中心性以及群体心理健康水平的词频特征,采用面板数据分析考察收入分配不平等如何通过道德中心性影响地区群体的负面情绪和自杀风险。研究结果证实了道德中心性在地区收入分配不平等对群体负性情绪/自杀风险的影响中起到了中介作用,收入分配不平等程度越高的地区往往伴随着越低的群体道德中心性水平,进而导致该地区群体的负性情绪/自杀风险增加。

  • Federated Learning based on Pruning and Recovery

    分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2024-03-16

    摘要: A novel federated learning training framework for heterogeneous environments is presented, taking into account the diverse network speeds of clients in realistic settings. This framework integrates asynchronous learning algorithms and pruning techniques, effectively addressing the inefficiencies of traditional federated learning algorithms in scenarios involving heterogeneous devices, as well as tackling the staleness issue and inadequate training of certain clients in asynchronous algorithms. Through the incremental restoration of model size during training, the framework expedites model training while preserving model accuracy. Furthermore, enhancements to the federated learning aggregation process are introduced, incorporating a buffering mechanism to enable asynchronous federated learning to operate akin to synchronous learning. Additionally, optimizations in the process of the server transmitting the global model to clients reduce communication overhead. Our experiments across various datasets demonstrate that: (i) significant reductions in training time and improvements in convergence accuracy are achieved compared to conventional asynchronous FL and HeteroFL; (ii) the advantages of our approach are more pronounced in scenarios with heterogeneous clients and non-IID client data.

  • Application of Deep Learning Methods Combined with Physical Background in Wide Field of View Imaging Atmospheric Cherenkov Telescopes

    分类: 天文学 >> 天文仪器与技术 分类: 物理学 >> 核物理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-03-10

    摘要: The HADAR experiment, which will be constructed in Tibet, China, combines the wide-angle advantages of traditional EAS array detectors with the high sensitivity advantages of focused Cherenkov detectors. Its physics objective is to observe transient sources such as gamma-ray bursts and counterparts of gravitational waves. The aim of this study is to utilize the latest AI technology to enhance the sensitivity of the HADAR experiment. We have built training datasets and models with distinctive creativity by incorporating relevant physical theories for various applications. They are able to determine the kind, energy, and direction of incident particles after careful design. We have obtained a background identification accuracy of 98.6 %, a relative energy reconstruction error of 10.0 %, and an angular resolution of 0.22-degrees in a test dataset at 10 TeV. These findings demonstrate the enormous potential for enhancing the precision and dependability of detector data analysis in astrophysical research. Thanks to deep learning techniques, the HADAR experiment’s observational sensitivity to the Crab Nebula has surpassed that of MAGIC and H.E.S.S. at energies below 0.5 TeV and remains competitive with conventional narrow-field Cherenkov telescopes at higher energies. Additionally, our experiment offers a fresh approach to dealing with strongly connected scattered data.

  • 基于文本数据增强的生活满意度预测模型优化

    分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-02-29

    摘要: 目的 随着网络大数据以及机器学习的方法的发展,越来越多研究结合文本分析与机器学习来预测满意度。在建立生活满意度预测模型的研究中,针对获取大量有效的有标注数据困难的问题,本研究提出基于文本数据增强以优化生活满意度预测模型。 方法 改编大连理工词典后,以357份生活现状描述为原始文本、生活满意度量表自评分为标注,经过EDA和回译进行文本数据增强,利用传统机器学习算法建立预测模型。 结果 结果显示,大连理工词典改编后,各模型预测能力大大提高;数据增强后,仅在线性回归模型上观察到回译和EDA的提升作用。使用原始数据进行训练的岭回归模型预测值与实际值的皮尔逊相关系数最高,达0.4131。 结论 特征提取精度的提升可优化目前的生活满意度预测模型,但对于以词频为特征建立的生活满意度预测模型,基于回译和EDA进行的文本数据增强可能并不十分适用。

  • Does GPT-4 Play Dice?

    分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-02-20

    摘要: OpenAI's Generative Pre-trained Transformer 4 (GPT-4) is a powerful large language model with a certain degree of intelligence in understanding and generating coherent text. We are exploring whether GPT-4 is capable of acting as a die, i.e. generating random numbers. We show that GPT-4 does not appear to generate independent and identically distributed random numbers. Examples imply that GPT-4 tries to compensate for the uniformity of random numbers by sacrificing independence when acting as a die.

  • 面向人脸视频防伪检测的大规模中文数据评测基准

    分类: 计算机科学 >> 信息安全 提交时间: 2024-01-22

    摘要: 随着AIGC技术的快速发展,逼真的伪造人脸视频已经可以欺骗人类视觉感知.因此,大量人脸防伪检测算法被提出用于伪造人脸视频的检测.然而如何有效评估这些伪造检测算法的有效性与可应用性,仍面临着诸多挑战.为有效推动人脸防伪检测成效的量化评估与防伪检测技术迭代发展,本文提出了一项面向人脸视频防伪检测的大规模中文数据评测基准,发布了全球首个CHN-DF中文数据集(https://github.com/HengruiLou/CHN-DF).填补了人脸视频防伪数据集在大规模中文数据方面的空白.本文详细介绍了构建CHN-DF数据集和中文数据评测基准的流程,并通过实验验证了CHN-DF数据集的复杂性和贴近真实场景水平.期望该评测基准能帮助研究人员构建更实用有效的人脸视频防伪检测模型,推动防伪检测领域技术发展.同时,本文指出了中文人脸视频防伪检测基准数据集和防伪检测技术所面临的挑战,提出了未来可能的研究方向,为推动人脸视频防伪检测技术发展提供了有益思路.

  • 大语言模型时代的语言学研究新机遇-以歧义分析为例

    分类: 语言学及应用语言学 >> 语言学及应用语言学 分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-01-11

    摘要: 以GPT系列为代表的大规模预训练语言模型的快速发展,深刻改变了自然语言处理领域的科研与工程范式,对医疗、教育、司法、金融等相关领域产生了深远影响。同时,这也为语言本身的研究带来了一些新的可能性。本文从歧义分析出发,简要评估GPT4、百川2、ChatGLM3等模型对以歧义为代表的复杂语言现象的理解和分析能力。实验结果表明,GPT4可以融合歧义消解和句法分析等方法,有效感知和理解复杂的语言现象。对于百川2,我们可以通过提示词工程引导其对语言现象进行深入思考,在不进行参数优化时,提升其分析能力。此外,通过监测大模型在处理不同语言现象时的内部特征与神经元活动,可以直观展现语言现象与大模型之间的关系。实验结果表明,大语言模型可以辅助人类更好地理解语言的本质,揭示语言现象深层次规律,从而为语言学研究提供新的思路。

  • 不良光照条件对深度学习目标检测的影响研究

    分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-09

    摘要: 不良光照条件下的目标检测是一个重要的图像处理任务,目前的研究主要通过图像增强来减少图像噪声,同时改进网络结构和数据集来适应不良光照条件下的目标检测。然而,很少有人研究不良光照条件对目标检测的具体影响。因此在本文中,我们通过算法生成模拟不良光照条件的数据集,在不同的噪声条件下进行目标检测,统计检测结果,对影响进行研究。由于实验是在模拟数据中进行的,为了保证结果的准确性,我们利用实际场景的不良光照图像对结论进行了验证。

  • Confident Association for Long-term Tracking

    分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-07

    摘要: Aiming at the exponential growth of solution scale in multiple hypothesis tracking (MHT), a continuous consistency model (CCM) is proposed. The key to improve MHT performance is to improve the effi#2;ciency of branch management. However, due to the inevitable detector failure, when the tree is expanded and each detection is organized as the root node of the new tree, a large number of virtual nodes are used. This leads to rapid growth of branches. Different from previous MHT implementations, CCM divides detection into four categories, in#2;cluding continuous, left continuous, right continuous and discontinuous. Comparative experiments show that CCM has significantly improved the computational efficiency and obtained the most advanced results on MOT challenge benchmark.