工業学校を卒業後、藤井毛織株式会社に就職。
主にウールを中心とした素材の設計開発に従事。3件の織物の製造特許を取得。

糸井 徹氏が起業したキッカケは、藤井毛織在職時にアメリカ輸出プロジェクトを任されたことだった。

当時糸井氏は悩んでいた。

営業から「こんな生地を作って欲しい」と要望が来るが、それはどれも流行に沿ったものばかりで、オリジナリティが無かった。
いわゆる「本質」のないモノづくりに苛立ちすら覚えていたのだ。

藤井毛織時代から世界中のテキスタイル収集をしていて、歴史のある会社のテキスタイルには、必ずオリジナリティが存在することを知っていた。

そんな時、突然任されたアメリカへの輸出プロジェクトのアメリカ側の担当者として、デイビッド・フリードマンが来日した。

フリードマン来日当初は、言葉が通じず、中々上手くいかなかったが、そこは国は違えど生地のプロ同士、手描き図と身振り手振りで十分理解し合えるようになった。
そのやり取りの中で、糸井氏は、アメリカという国との文化の違いに衝撃を受けた。

なぜなら、日本とは違い、良いアイディアは何でも取り入れてくれる、発注量も日本の10倍、一緒に働いたフリードマンの給料に至っては当時の糸井氏の1,000倍だったのだ。

その衝撃から間も無く、入社から11年経った1966年藤井毛織株式会社を退社。
退社した糸井氏が真っ先に向かったのが、アメリカ。
そこから、イングランド、スコットランド、イタリアを中心に毛織物の原産地を尋ね、毛織物の文化と製造を学んだ。

帰国後、1970年（株）イトイテキスタイルセンターを設立し、代表取締役に就任。
まず開発型の工場を設立し毛織物を中心とした研究開発に従事。

そこからは、HERMES、GUCCI、PRADA、GIORGIO ALMANI、PAUL STUART、RALPH LAUREN、CHRISTIAN DIOR等、
世界で名だたるブランドに生地を提供し、最盛期には年商45億円になるに至った。