数据处理

介绍

• 本地上传csv文件并读取
• 和其他数据联合使用

实现

dai处理文件

• 生成一个csv文件作为测试，包括日期、股票代码、当日涨跌幅。
• 使用dai直接操作csv，如果是本地csv文件则直接拖拽至资源管理器。

输入特征联合使用

• 将操作后的csv输入：mafactor.csv中的factor_001因子。
• 表达式特征中输入cn_stock_prefactors中的股息率排名作为sc

导语

大家在使用平台过程中常常会遇到一些问题，有些问题出现频率很高，这里，小编为大家进行了整理， 包含“数据”、“策略开发”、“模拟实盘”、“订阅”等多类问题 ，大家在遇到问题后可以先尝试在本贴中寻找答案，希望可以帮助大家第一时间解决心中的疑惑。

数据问题

BigQuant平台提供哪些数据?

答： 平台支持包括 沪深A股、期货、场内基金、期权数据、宏观经济数据、部分港股、美股 等丰富的数据，详细内容均在 “数据” 板块中列出，大家可以直接前往文档板块查

导语

不熟悉BigQuant平台的回测机制，可能使刚接触BigQuant平台的小伙伴有些困惑，不知该如何编写策略。当使用某一回测平台时，如果不能对其回测处理机制了解清楚，我们很可能出现偷价漏价、未来函数等问题，这些问题对策略的影响是致命的。即使不出现这样的问题，很多时候，用户可能写的策略并没有达到预期的目的，因此了解回测机制非常重要。

事件驱动机制

在策略回测中应用最为广泛的就是 事件驱动机制。先看定义：某个新的事件被推送到程序中时，程序立即调用和这个事件相对应的处理函数进行相关的操作。举个“栗子”让大家更好理解。

比如开发一个股指策略，交易程序对股指TICK数据进

{{use_style}}

添加指数数据

添加指数数据。

表名：add_index_data_to_trade_data.v1

导语

完成了数据处理，接下来就可利用平台集成的各算法进行模型训练和模型预测啦。本文将详细介绍“模型训练”、“模型预测”两大模块操作、原理。

模型训练和模型预测是AI策略区别于传统量化策略的核心，我们通过模型训练模块利用训练集因子和标注数据构建一个模型，并通过模型预测模型将预测集的因子数据输入模型进行预测。 \n

在模块列表的 机器学习 、 **深度学习

neutralize(sum(turn_0,90), total_market_cap) as hsl, 报错。

介绍

BigQuant是专业但易用的AI量化投资平台。如下知识可以帮助我们更好的开始策略开发。

如果没有特别说明，请在 AIStuido 3.0使用。

编程

BigQuant平台同时支持可视化编程开发和代码编程开发，并且两种模式可以无缝切换和融合

• 可视化：无需学习复杂的编程，支持低代码/零代码开发策略。BigQuant提供策略了海量模块、模版、学院、策略社区、知识库

SELECT
    sf.instrument,
    sf.date as date,
    sf.total_market_cap,

    -- 从技术指标表中选择的字段
    ta.ma_golden,
    ta.ma_long,
    ta.volume_golden,
    ta.volume_long,
    ta.three_red_soldiers,
    ta.hammer,
    ta.morning_star,
    ta.kdj_golden,
    ta.kdj_long,

最近读到中金量化多因子系列中提到一些高频因子，比如50分钟K线最高与最低价相关系数平方的均值、成交量最高50根K线成交量收益率动量等等，那么根据分钟行情数据构建出来的话，应该是计算出多行的数据，那么对于我们量化爱好者来说，做因子测试的话是利用这些日内多行的数据吗？还是需要做降频处理到每日只取一行数据？之前听万老师讲课听过一般会对高频因子做降频处理，这样处理数据算力负担不会太大。所以有些疑惑，一、想确认下刚才所讲的这两个高频因子是需要取多行数据还是可以降频处理？二、如果可以做降频处理，那么采用什么方式处理比较好？比如取它们均值还是什么？

    with t1 as (
    SELECT
        date,
        date_format(date,"%Y-%m-%d") as new_date,
        instrument,
        close,
    FROM
        cn_stock_bar1m
    WHERE
        1 = 1
        AND date >= '2024-03-01'
        AND date <= '2024-03-02'
    )   
    SELECT * FROM t

模拟交易中使用到CSV文件怎么处理呢

选取了IC较高的因子后，如何合成一个策略，一般步骤是什么

在因子开发研究完之后，选取了|IC|较高的几个因子后，一般如何合成一个策略，即在工程方法论上的一般步骤是什么？比如应该如何选择哪些模型进行合成（树模型or深度学习模型，是否有规律），分别是否都必须在训练前进行特征工程的处理再训练（去极值、中性化去除相关性），比如是否需要探查各个因子的相关性（如果多个因子存在一定的相关性，一般相关度大于多少需要进行处理，是否需要逐对特征两两取残差）

\

“水中行舟”研报如何用dai的SQL方式来实现？

方正的==“水中行舟”研报==中提到“取市场上所有股票在当日“不分化时刻”的成交额序列

/home/aiuser/work/因子分析.ipynb

https://bigquant.com/wiki/doc/5zug5a2q5yig5p6q-Tzo0w3iZgs

“因子分析”的使用文档是如下的调用，实际操作可行

\

m2 = M.input_features.v1(
    features='f

• 默认可视化线性模板里，sql就加了几个条件，其他没改，就回测不了，提示日期为空或属性不存在，能帮忙看下吗？\n策略：https://bigquant.com/codeshare/6316cf34-e449-4b15-87b1-1754a9b5a2e5

  回测时出现错误
  ValueError: NaTType does not support strftime
  添加“缺失数据模块”后，出现这个错误
  AttributeError: 'DataSource' object has no attribute 'iter_df'
  怎么解决？
  

join_area_data = M.sql_join_2.v1(
    sql1=ori_data.data,  # 标签数据
    sql2=area_ds,  # 地区数据
    sql_join="""WITH
sql1 AS (
    {sql1}
),
sql2 AS (
    {sql2}
)

SELECT * FROM sql1 JOIN sql2 USING (instrument)
"""
)

area_ds是自定义数据集，类型为dai.DataSource，在使用Join的时候报错：**ArrowInva

• [2024-02-05 12:37:18.977789] INFO StockRanker训练: 31d53250 准备训练: 686765 行数, test: 0 rows
• [2024-02-05 12:37:18.997786] INFO StockRanker训练: AI模型训练，将在686765*18=1236.18万数据上对模型训练进行3轮迭代训练。预计将需要2～3分钟。请耐心等待。
• [2024-02-05 12:37:19.348217] ERROR: moduleinvoker:2279671359.py:392:<module> module name

Numpy（Numerical Python）和Pandas两个库是Python编程语言中两个极其重要的库，尤其在数据科学、金融分析和量化投资领域。尽管它们在处理数据方面有所重叠，但各自设计的初衷和优势领域有所不同。

Numpy简介

• 核心功能：Numpy是一个开源的Python库，用于科学计算。它提供了一个高性能的多维数组对象和这些数组的操作工具。
• 设计初衷：为数学运算、尤

如何构建跨周期数据项，并利用这些数据项构建因子？

平时处理的都是日线数据，但如果需要用日线和上月的月线数据进行一些计算形成一些因子，我应该如何构建？

#提取一级行业，可以获得5000多只股票的行业列表。

sql ='''
select *
from cn_stock_industry_component
where date between '2023-0-01' and '2023-01-07'
'''
import dai
ww = dai.query(sql).df()
www_uni = ww.drop_duplicates(subset='instrument')

www_uni

#获取cn_stock_bar1d表数据

sql = '''
select *

OPEN/DELAY(CLOSE,1)-1 这代码中的DELAY 的函数 是什么意思

OPEN/DELAY(CLOSE,1)-1   这个函数中DELAY 是什么意思

\

请教一下，用1000多个股票一年的收益率数据和20个因子做多元回归模型，这里有多只股票和多个日期，应该要怎么处理呢？如何预测股票收益率？

https://bigquant.com/experimentshare/1e185519774149e6803c36f1e6ecb1e6

\

导语

本文继续讲解Pandas库在数据分析和处理上的一些应用。

https://bigquant.com/experimentshare/07c4ac37ae7946909653473c22b73bd3

本文由BigQuant宽客学院推出，版权归BigQuant所有，转载请注明出处。

\