用infix读入不完整？用import delimited试试吧

前一段时间我们在帮一位老师收集数据的时候遇到这么一个网页，在这个网页的源代码中有一个图片的链接，是一长串无意义的乱码。而且这一段代码长度为一百多万个字符。

如下所示：

然而，用infix读入固定宽度的文本内容，其长度是有限制的，我们可以用help limits来查看，最长的长度为50多万个字符。

这个时候如果我们用infix命令读入，会怎么样呢？

提示record too long，只读入了711个观测值，但实际上应该是有1000多行，也就是应当有1000多个观测值，这就是由于那一行太长，导致后面的内容都没有读入。但是偏偏那一行最长的源代码后面也有我们需要的内容，这个时候用infix显然是无法完整读入的，那我们应该用什么命令呢？

这个时候忽然发现不对啊，为什么变量反而多了？这是因为在默认情况下，import delimited命令会把字符串中的每一个字符视为一个分隔符，要把整个字符串视为分隔符，需要在选项中加入asstring。

import delimited using temp.txt, clear delimiters("uabcuiabef23ocn.wievyq;bo.nqc,nc\oqwj1[389y19[3yr8ocalsn", asstring) encoding("utf-8")

这个时候，我们就把观测值和变量的数量的问题都解决了。这里大家可能会注意到我又加入了一个选项encoding("utf-8")，这是说明这个文本文档的编码是utf-8。Import delimited命令可以设置读入的编码，能在一定程度上方便我们把ASCII编码的文本文档读入到Stata14中，但是这么做也可能会出现一些问题。例如我们在之前介绍unicode命令的推文识得庐山真面目中介绍过有些网页会把复杂的汉字直接采用utf8编码，也就是说我们获得的源代码文件可能不是单纯的ASCII编码，我们使用unicode命令转码是就需要加上transutf8这个选项。那如果用import delimited读入呢？例如我们还用新浪财经上市公司高管页面作为例子。

clear

set more off

copy "http://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpManager/stockid/000001.phtml" temp.txt, replace

import delimited using temp.txt, clear delimiters("asbifeqbfi13981", asstring) encoding("gb2312")

keep if index(v1, "</div></td>")

replace v1 = ustrregexra(v1, "^\s+", "")

drop if index(v1, "</strong>") | v1 == "</div></td>"

replace v1 = ustrregexra(v1, "<.*?>", "")

gen v2 = v1[_n + 1]

gen v3 = v1[_n + 2]

gen v4 = v1[_n + 3]

keep if mod(_n, 4) == 1

compress

这个时候我们发现了第98个观测值中间的“·”变成了无法识别的字符。但是如果我们先用unicode命令转码，在读入时将选项改为encoding("utf-8")，就不会出现这样的情况。